혐오 표현은 온라인 플랫폼에서 지속적이며 아직 해결되지 않은 과제로 남아 있다. 혐오 표현으로부터 시청자를 보호하기 위해 사용자 생성 콘텐츠를 검토하는 일선에서 근무하는 콘텐츠 조정자들은, 공격적인 언어에 지속적으로 노출되면서도 종종 그로 인한 정신적 부담으로부터 보호받지 못한 상태에 놓이게 된다. 조정자의 정신 건강을 보호하기 위해 우리는 HateBuffer를 설계했는데, 이는 혐오 표현의 대상(대상자)을 익명화하고 공격적인 표현을 덜 공격적인 형태로 바꾸어(의역하여) 제시하며, 조정자가 원할 경우에는 원래 표현을 보여준다. 80명의 참여자를 대상으로 한 사용자 연구에서는, 가상의 뉴스 플랫폼에서 혐오 표현 조정 시뮬레이션 과제를 수행하게 한 뒤 반구조화 면담을 진행하였다. 참여자들은 HateBuffer를 사용할 때 댓글의 혐오 심각도를 더 낮게 평가했지만, 우리의 예상과 달리 대조군에 비해 감정 개선이나 피로도 감소를 경험하지는 못했다. 그러나 면담에서는 참여자들이 HateBuffer를 감정의 전염과 혐오 표현 속 편향된 의견의 정상화에 대한 효과적인 완충장치로 묘사했다. 특히, HateBuffer는 조정 정확도를 손상시키지 않았으며, 오히려 회상을 약간 증가시키는 데 기여했다. 우리는 HateBuffer가 지각된 이점과 정신적 웰빙에 대한 측정된 영향 사이에 존재하는 불일치에 대한 가능한 설명을 탐색한다. 또한 텍스트 기반 콘텐츠 수정 기법이 더 건강한 콘텐츠 조정 환경을 위한 도구로서 지닌 가능성도 강조한다.

자기지도 학습을 통해 획득된 사전학습 표현은 학습 데이터가 적은 과제에서도 높은 정확도를 달성할 수 있다. 시각 및 자연어 처리 영역과 달리, IMU 기반 응용 분야에 대한 사전학습은 일반화 가능한 표현을 학습하기에 충분한 규모와 다양성을 갖춘 공개 데이터셋이 거의 없다는 점에서 어렵다. 이러한 문제를 해결하기 위해, 우리는 대규모 이미지로부터 사전학습된 표현을 다양한 IMU 센싱 과제로 적응시키는 IMG2IMU를 제안한다. 우리는 센서 데이터를 시각적으로 해석 가능한 스펙트로그램으로 변환하여, 모델이 시각 분야에서 얻은 지식을 활용할 수 있게 한다. 또한 IMU 센싱 응용을 위해 특히 유의미한 지식을 획득할 수 있도록 하는 이미지의 센서-인지 사전학습 방법을 제시한다. 이는 센서 데이터의 특성에 맞게 커스터마이즈한 증강 세트에 대해 대조학습을 수행하는 것을 포함한다. 네 가지 서로 다른 IMU 센싱 과제를 대상으로 한 평가는, IMG2IMU가 센서 데이터로 사전학습된 기준선보다 평균 9.6%p F1-score만큼 더 우수함을 보여주며, 제한된 학습 데이터만 사용할 수 있는 IMU 센싱 응용에서 시각 지식을 유용하게 통합할 수 있음을 입증한다.

기존의 웨어러블 센싱 모델은 종종 도메인 이동(domain shift)과 클래스 레이블의 부족 문제에 어려움을 겪는다. 대조학습(contrastive learning)은 클래스 레이블 부족을 해결하기 위한 유망한 기법이지만, 도메인 관련 특성을 포착하는 경향이 있고 품질이 낮은 음성(negative) 샘플로 인해 성능이 저하될 수 있다. 두 문제를 모두 해결하기 위해, 본 연구는 도메인 이동과 클래스 레이블 부족이 동시에 나타나는 현실적인 웨어러블 센싱 시나리오를 위한 도메인 불변(domain-invariant) 대조학습 체계 ContrastSense를 제안한다. 도메인 불변 정보를 포착하기 위해 ContrastSense는 비라벨(unlabeled) 데이터와 사용자 ID 또는 기기를 지정하는 도메인 레이블을 활용하여 도메인 간 불일치(discrepancy)를 최소화한다. 음성 샘플의 품질을 개선하기 위해 시간(time)과 도메인 레이블을 활용하여 샘플을 선택하고 음성을 정제한다. 또한 ContrastSense는 미세조정(fine-tuning) 동안 도메인 불변 지식을 보존하기 위한 매개변수 단위의 패널티를 설계하여 모델의 견고성(robustness)을 더욱 유지한다. 광범위한 실험 결과, ContrastSense는 사용자 간에 도메인 이동이 제시된 인간 활동 인식(human activity recognition)에서 관성측정장치(inertial measurement units) 기반으로 기존 최첨단 기선 대비 8.9% 향상되었고, 근전도(electromyography) 기반 제스처 인식(gesture recognition)에서는 5.6% 향상되었다. 더 나아가, 기기, 착용 부위(on-body position), 데이터셋에 걸쳐 서로 다른 종류의 도메인 이동이 제시된 경우에도 ContrastSense는 최상의 기선 대비 일관된 개선을 달성하였다.

다수의 응용은 모바일 기기와 머신러닝에서 센서를 활용하여 새로운 서비스를 제공한다. 그러나 서로 다른 사용자, 기기, 환경과 같은 다양한 요인들이 이러한 응용의 성능에 영향을 미치므로, 도메인 시프트(즉, 훈련 도메인과 대상 도메인 간의 분포적 변화)는 모바일 센싱에서 핵심적인 문제이다. 이 어려운 문제를 해결하기 위해 도메인 적응(domain adaptation)에 대한 시도들이 있었음에도 불구하고, 다양한 요인들 사이의 복잡한 상호작용으로 인해 그 성능은 신뢰할 수 없게 된다. 원칙적으로는 성능의 불확실성을 식별하고 성능 검증을 통해(정답 라벨에 기반하여) 이를 개선할 수 있다. 그러나 모든 사용자가 고품질의 충분한 라벨 데이터를 수집하는 것은 불가능하다. 이 문제를 해결하기 위해, 우리는 라벨이 없는 대상 데이터만으로 대상 도메인에서의 적응 성능을 추정하는 DAPPER(Domain AdaPtation Performance EstimatoR)를 제시한다. 우리의 핵심 아이디어는 모델 입력과 이에 대응하는 출력 간의 상호정보(mutual information)를 바탕으로 모델 성능을 근사하는 것이다. 네 개의 실제 센싱 데이터셋에 대해 여섯 가지 기준모델과 비교한 평가 결과, 평균적으로 DAPPER는 추정 정확도에서 최신 기술 수준의 기준모델보다 39.8% 더 우수함을 보였다. 또한 기기 온디바이스(on-device) 실험에서는 DAPPER가 기준모델들과 비교하여 최대 396배까지 계산 오버헤드를 감소시킴을 확인하였다.

자기지도 학습은 대규모 비라벨 데이터에 대해 효과적인 모델 사전학습을 가능하게 하며, 이는 모바일 센싱 응용에서 사용자별 미세조정을 위해 중요하다. 그러나 사전학습된 모델은 사용자 다양성으로 인해 미세조정 과정에서 상당한 도메인 변화(shift)에 직면하는 경우가 많아 성능 저하로 이어진다. 이를 해결하기 위해 본 연구는 서로 다른 도메인에 자기지도 모델을 정렬하도록 설계된 적응형 접근법 SelfReplay를 제안한다. SelfReplay는 두 단계로 구성된다. MetaSSL은 자기지도 학습과 메타러닝을 활용하여 도메인 적응 가중치를 사전학습하고, ReplaySSL은 메타-학습된 자기지도 과제를 소수의 사용자별 샘플로 재생(replay)하여 사전학습된 모델을 각 사용자의 도메인에 추가로 적응시킨다. 이를 통해 각 사용자에게 맞춤화된 개인화 모델이 생성된다. 모바일 센싱 벤치마크에 대한 평가 결과, SelfReplay는 기존 기준 방법보다 우수하며 평균적으로 F1-score를 9.4%p 향상시킨다. 또한 보급형 스마트폰에서의 온디바이스 분석은 SelfReplay의 적응 단계가 배치 후 한 번만 수행되면 되며, SimCLR은 10초 만에 완료하면서 100MB 미만의 메모리를 사용함을 보여준다.

웨어러블 기기의 급속한 성장은 여러 기기가 사용자의 필요와 상황에 맞춘 향상된 사용자 경험을 제공하는, 상황 인지형 다중 기기 협업에 대한 흥미로운 기회를 열었다. 그러나 동시에 여러 웨어러블이 동일 개인에 의해 사용되고 있는지 여부를 신뢰성 있게 판단하는 데에 있어 독특한 과제가 제기된다. 실제 환경에서는 기기 공유, 교환 또는 의도치 않은 사용이 개인정보 위험과 기능 저하를 초래할 수 있다. 기존의 해결책은 주로 가속도계 데이터를 활용하여 기기 간 이동 패턴을 매칭하지만, 정지 상태이거나 다양하며 반복되지 않는 활동에서는 성능이 저하된다. 본 논문에서는 신체 착용 상태에서 방해가 적게 웨어러블의 동시 위치(공동 배치)를 감지하는 BioQ라는 방법을 제안한다. BioQ는 생체-단서(bio-cues)를 생성하고 이를 매칭함으로써 이를 수행한다. 이러한 생체-단서는 신체 부착형(wearable) 센서 데이터로부터 생성되며, 공통의 잠재 공간(latent space)에 내재된다. 또한 기기들이 동일한 센서 유형을 공유하는 경우, BioQ는 여러 센서 소스를 효과적으로 통합하여 단서 생성 및 매칭을 개선할 수 있다. 실험 결과, BioQ는 생체-단서 생성과 매칭에서 기존 기준(baseline)들보다 우수하며, 모델 학습, 추론 및 에너지 사용 측면에서 자원 효율적임을 보여준다. 우리의 코드는 https://github.com/Nokia-Bell-Labs/contextual-biological-cues 에서 제공된다.

전기생리학적 신호(ExG)는 인체 생리에 대한 유용한 통찰을 제공하지만, 일상 과제 전반에 걸쳐 일반화하는 기반 모델을 구축하는 일은 두 가지 핵심 한계로 인해 여전히 어렵다. 첫째, 데이터 다양성이 충분하지 않으며, 대부분의 ExG 기록은 부피가 크고 비용이 많이 드는 장비를 갖춘 통제된 실험실에서 수집된다. 둘째, 과제에 특화된 모델 설계는 맞춤형 처리(즉, 표적 주파수 필터)와 이에 맞는 아키텍처를 필요로 하여 과제 간 일반화를 제한한다. 이러한 문제를 해결하기 위해, 우리는 실제 환경에서의 확장 가능하고 과제 비의존적인 ExG 모니터링을 위한 접근법을 제안한다. 우리는 귀마개(이어폰) 기반 하드웨어 프로토타입을 사용하여, 방해가 적은 자유생활(자연 환경) ExG 데이터를 50시간 수집함으로써 데이터 다양성의 격차를 줄였다. 우리의 접근법의 핵심은 생리 기반 다중대역 토큰화(Physiology-informed Multi-band Tokenization; PiMT)로, ExG 신호를 12개의 생리 기반 토큰으로 분해한 뒤, 강건한 표현을 학습하기 위한 재구성(reconstruction) 과제를 수행한다. 이를 통해 전체 주파수 스펙트럼에 걸친 적응적 특징 인식이 가능해지면서도, 과제에 필요한 정보를 포착할 수 있다. 새로 구축한 DailySense 데이터셋(인간의 다섯 가지 감각에 걸쳐 ExG 기반 분석을 가능하게 한 최초의 데이터셋)과, 네 개의 공개 ExG 벤치마크에 대한 실험 결과, PiMT는 다양한 과제에서 항상 최신 기술 수준의 방법들을 일관되게 능가함을 보여준다.

핵심 요지는 HDT의 통합과 광범위한 감지(pervasive sensing)가, 일회성 디지털 복제를 가능하게 하는 것이 아니라 개인의 주변 환경과 행동 변화까지 포함하여 지속적이고 전면적인 모니터링을 가능하게 함으로써, 보편적 헬스케어를 실현하기 위한 기반을 제공한다는 점이다.

혐오 표현은 온라인 플랫폼에서 지속적이며 아직 해결되지 않은 과제로 남아 있다. 혐오 표현으로부터 시청자를 보호하기 위해 사용자 생성 콘텐츠를 검토하는 일선에서 근무하는 콘텐츠 조정자들은, 공격적인 언어에 지속적으로 노출되면서도 종종 그로 인한 정신적 부담으로부터 보호받지 못한 상태에 놓이게 된다. 조정자의 정신 건강을 보호하기 위해 우리는 HateBuffer를 설계했는데, 이는 혐오 표현의 대상(대상자)을 익명화하고 공격적인 표현을 덜 공격적인 형태로 바꾸어(의역하여) 제시하며, 조정자가 원할 경우에는 원래 표현을 보여준다. 80명의 참여자를 대상으로 한 사용자 연구에서는, 가상의 뉴스 플랫폼에서 혐오 표현 조정 시뮬레이션 과제를 수행하게 한 뒤 반구조화 면담을 진행하였다. 참여자들은 HateBuffer를 사용할 때 댓글의 혐오 심각도를 더 낮게 평가했지만, 우리의 예상과 달리 대조군에 비해 감정 개선이나 피로도 감소를 경험하지는 못했다. 그러나 면담에서는 참여자들이 HateBuffer를 감정의 전염과 혐오 표현 속 편향된 의견의 정상화에 대한 효과적인 완충장치로 묘사했다. 특히, HateBuffer는 조정 정확도를 손상시키지 않았으며, 오히려 회상을 약간 증가시키는 데 기여했다. 우리는 HateBuffer가 지각된 이점과 정신적 웰빙에 대한 측정된 영향 사이에 존재하는 불일치에 대한 가능한 설명을 탐색한다. 또한 텍스트 기반 콘텐츠 수정 기법이 더 건강한 콘텐츠 조정 환경을 위한 도구로서 지닌 가능성도 강조한다.

자기지도 학습을 통해 획득된 사전학습 표현은 학습 데이터가 적은 과제에서도 높은 정확도를 달성할 수 있다. 시각 및 자연어 처리 영역과 달리, IMU 기반 응용 분야에 대한 사전학습은 일반화 가능한 표현을 학습하기에 충분한 규모와 다양성을 갖춘 공개 데이터셋이 거의 없다는 점에서 어렵다. 이러한 문제를 해결하기 위해, 우리는 대규모 이미지로부터 사전학습된 표현을 다양한 IMU 센싱 과제로 적응시키는 IMG2IMU를 제안한다. 우리는 센서 데이터를 시각적으로 해석 가능한 스펙트로그램으로 변환하여, 모델이 시각 분야에서 얻은 지식을 활용할 수 있게 한다. 또한 IMU 센싱 응용을 위해 특히 유의미한 지식을 획득할 수 있도록 하는 이미지의 센서-인지 사전학습 방법을 제시한다. 이는 센서 데이터의 특성에 맞게 커스터마이즈한 증강 세트에 대해 대조학습을 수행하는 것을 포함한다. 네 가지 서로 다른 IMU 센싱 과제를 대상으로 한 평가는, IMG2IMU가 센서 데이터로 사전학습된 기준선보다 평균 9.6%p F1-score만큼 더 우수함을 보여주며, 제한된 학습 데이터만 사용할 수 있는 IMU 센싱 응용에서 시각 지식을 유용하게 통합할 수 있음을 입증한다.

기존의 웨어러블 센싱 모델은 종종 도메인 이동(domain shift)과 클래스 레이블의 부족 문제에 어려움을 겪는다. 대조학습(contrastive learning)은 클래스 레이블 부족을 해결하기 위한 유망한 기법이지만, 도메인 관련 특성을 포착하는 경향이 있고 품질이 낮은 음성(negative) 샘플로 인해 성능이 저하될 수 있다. 두 문제를 모두 해결하기 위해, 본 연구는 도메인 이동과 클래스 레이블 부족이 동시에 나타나는 현실적인 웨어러블 센싱 시나리오를 위한 도메인 불변(domain-invariant) 대조학습 체계 ContrastSense를 제안한다. 도메인 불변 정보를 포착하기 위해 ContrastSense는 비라벨(unlabeled) 데이터와 사용자 ID 또는 기기를 지정하는 도메인 레이블을 활용하여 도메인 간 불일치(discrepancy)를 최소화한다. 음성 샘플의 품질을 개선하기 위해 시간(time)과 도메인 레이블을 활용하여 샘플을 선택하고 음성을 정제한다. 또한 ContrastSense는 미세조정(fine-tuning) 동안 도메인 불변 지식을 보존하기 위한 매개변수 단위의 패널티를 설계하여 모델의 견고성(robustness)을 더욱 유지한다. 광범위한 실험 결과, ContrastSense는 사용자 간에 도메인 이동이 제시된 인간 활동 인식(human activity recognition)에서 관성측정장치(inertial measurement units) 기반으로 기존 최첨단 기선 대비 8.9% 향상되었고, 근전도(electromyography) 기반 제스처 인식(gesture recognition)에서는 5.6% 향상되었다. 더 나아가, 기기, 착용 부위(on-body position), 데이터셋에 걸쳐 서로 다른 종류의 도메인 이동이 제시된 경우에도 ContrastSense는 최상의 기선 대비 일관된 개선을 달성하였다.