차선 감지는 미래 모빌리티 솔루션에서 중요한 주제이다. 배경 잡음, 조명 조건의 변화, 가림(occlusions)과 같은 실제 환경의 도전 과제들은, 데이터 수집과 주석(annotation)에 상당한 노력과 비용이 요구되는 데이터 기반 접근에 특히 두드러지게 효과적인 차선 감지를 어렵게 한다. 이러한 문제를 해결하기 위해 차선 감지 방법은 주변 차선 및 객체로부터 맥락적이고 전역적인 정보를 활용할 필요가 있다. 본 논문에서는 사전 학습(pre-trained) 모델을 Oracle로 사용하는 Spatial Attention Mutual Information Regularization을 제안하며, 이를 SAMIRO라고 한다. SAMIRO는 도메인 비의존적(domain-agnostic) 공간 정보를 보존하면서 사전 학습 모델로부터 지식을 전이하여 차선 감지 성능을 향상시킨다. SAMIRO의 플러그-앤-플레이(plug-and-play) 특성을 활용하여, 이를 다양한 최신 차선 감지 접근법에 통합하고 CULane, Tusimple, LLAMAS와 같은 주요 벤치마크에서 광범위한 실험을 수행한다. 실험 결과, SAMIRO는 서로 다른 모델과 데이터셋 전반에서 성능을 일관되게 향상시키는 것으로 나타났다. 코드는 출판과 함께 공개될 예정이다. • 우리는 사전 학습 모델로부터 도메인 비의존적 지식을 전이함으로써 차선 감지의 일반화(generalization)를 향상시키는 새로운 정규화(regularization) 프레임워크인 SAMIRO를 제안한다. • SAMIRO는 플러그-앤-플레이이며 최신 차선 감지 방법과 함께 확장 가능하다. • 우리는 공개 벤치마크(CULane, Tusimple, LLAMAS)에서 SAMIRO를 검증하였으며, 그 결과 SOTA 모델과 동등하거나 이를 능가하는 성능을 달성함을 보였다.

딥러닝의 도입 이후 지난 10년 동안 컴퓨터 비전 분야에서는 상당한 양의 연구가 수행되어 왔다. 특히, 객체 탐지(object detection; OD)에 관한 연구는 빠르게 계속 발전하고 있다. 그러나 이러한 진전에도 불구하고 딥러닝 기반 OD 모델의 실제 적용을 가능하게 하기 위해서는 몇 가지 한계를 극복할 필요가 있다. 그중 하나는 영상 품질이 나쁘거나 대상 물체가 작은 경우의 부정확한 OD이다. 작은 물체에 대한 성능 저하 현상은 수용영역(receptive field) 제약과 같은 OD 모델의 근본적 한계와 유사하며, 이는 OD 모델만으로 해결하기 어려운 문제이다. 따라서 낮은 영상 품질 또는 작은 대상 물체로 인해 OD 성능이 저해될 수 있다. 이를 해결하기 위해 본 연구는 특히 작은 물체에 대해 탐지를 개선하기 위한 초해상도(super-resolution; SR)와 OD 기법의 적합성을 조사한다. 우리는 SR과 OD 모델의 결합을 분석하고, 이를 아키텍처적 특성에 따라 분류한다. 실험 결과, OD 검출기를 SR 모델과 통합할 경우 상당한 성능 향상이 나타났다. 전반적으로, SR 모델의 평가 지표(PSNR, SSIM)가 높을수록 OD 성능 또한 이에 상응하여 높게 나타남이 입증되었다. 특히 MS COCO 데이터셋에 대한 평가에서는 작은 물체에 대한 향상률이 전체 물체에 비해 9.4% 더 높은 것으로 나타났다. 본 연구는 SR과 OD 모델의 적합성을 분석함으로써 두 기법의 상호 시너지적 조합이 제공할 수 있는 잠재적 이점을 보여준다. 실험 코드는 당사 GitHub 저장소에서 확인할 수 있다.

레이블이 드물고 예측이 어려우므로 시계열 데이터로부터 의미 있는 표현을 학습하는 것은 어렵다. 따라서 우리는 시계열 기반 비지도 표현 학습 방법인 부트스트랩 인터–인트라 모달리티를 한 번에 수행하는 BIMO(Bootstrap inter–intra modality at once)를 제안한다. 기존 연구들과 달리, 제안된 BIMO는 음성 페어(negative pairs) 없이 인터-샘플 및 인트라-시간(temporal) 모달리티 표현을 동시에 학습한다. BIMO는 주 네트워크와 두 개의 보조 네트워크, 즉 inter-auxiliary 네트워크 및 intra-auxiliary 네트워크로 구성된다. 주 네트워크는 각 보조 네트워크의 사용을 동적으로 조절함으로써 인터–인트라 모달리티 표현을 순차적으로 학습하도록 훈련된다. 그 결과 BIMO는 인터–인트라 모달리티 표현을 동시에 철저히 학습한다. 실험 결과는 제안된 BIMO 방법이 최신(state-of-the-art) 비지도 방법을 능가하며, 기존의 지도(supervised) 방법들과 비교 가능한 성능을 달성함을 보여준다.

최근 웨어러블 기기와 사물인터넷(Internet of Things, IoT)의 발전으로, 인간 활동 인식(Human Activity Recognition, HAR)은 웨어러블 기술 시장에서 점차 더 큰 관심을 받고 있다. 그러나 센서 기반 HAR의 경우, 딥 신경망 학습을 위한 충분한 라벨 데이터 수집이 어렵다. 이는 전문가가 시계열 데이터에서 시각적으로 인식 가능한 패턴을 찾아야 하기 때문이다. 또한 개인정보 문제로 인해 데이터 수집이 어렵다. 이러한 한계를 극복하기 위해 최근에는 자기지도학습(Self-Supervised Learning, SSL) 기반 HAR 방법이 제안되었으며, 이는 라벨 데이터 없이도 표현(representation)을 학습할 수 있다. 하지만 이러한 방법은 센서 데이터만을 활용하며, 센서 착용자의 생체 정보는 포함하지 않는다. 생체 정보를 제외하는 학습 방법은 전형적인 움직임 패턴은 식별할 수 있으나, 맞춤형 움직임 패턴을 효과적으로 학습할 수는 없다. 따라서 본 논문에서는 학습 과정에서 센서 착용자의 생체 정보를 고려하는 Temporal Fusion Contrastive Learning(TFCL) 방법을 제안하였다. 실험 결과에 따르면, 생체 정보를 사용하여 미세조정(fine-tuning)할 때 제안된 TFCL 방법은 DLR 및 MobiAct 데이터셋에서 각각 0.9791, 0.7433의 최고 F1 점수를 얻었다. 또한 제안된 TFCL 방법으로 표현을 학습한 뒤 이를 다운스트림 과제에 적용했을 때의 결과는, 처음부터 지도학습을 수행하여 얻은 결과와 유사하거나 더 나은 것으로 나타났다. 이러한 결과는 TFCL을 통해 표현을 효과적으로 학습할 수 있음을 시사한다. 실험 코드는 https://github.com/IKKIM00/temporal-fusion-contrastive-learning 에서 확인할 수 있다.

차선 감지는 미래 모빌리티 솔루션에서 중요한 주제이다. 배경 잡음, 조명 조건의 변화, 가림(occlusions)과 같은 실제 환경의 도전 과제들은, 데이터 수집과 주석(annotation)에 상당한 노력과 비용이 요구되는 데이터 기반 접근에 특히 두드러지게 효과적인 차선 감지를 어렵게 한다. 이러한 문제를 해결하기 위해 차선 감지 방법은 주변 차선 및 객체로부터 맥락적이고 전역적인 정보를 활용할 필요가 있다. 본 논문에서는 사전 학습(pre-trained) 모델을 Oracle로 사용하는 Spatial Attention Mutual Information Regularization을 제안하며, 이를 SAMIRO라고 한다. SAMIRO는 도메인 비의존적(domain-agnostic) 공간 정보를 보존하면서 사전 학습 모델로부터 지식을 전이하여 차선 감지 성능을 향상시킨다. SAMIRO의 플러그-앤-플레이(plug-and-play) 특성을 활용하여, 이를 다양한 최신 차선 감지 접근법에 통합하고 CULane, Tusimple, LLAMAS와 같은 주요 벤치마크에서 광범위한 실험을 수행한다. 실험 결과, SAMIRO는 서로 다른 모델과 데이터셋 전반에서 성능을 일관되게 향상시키는 것으로 나타났다. 코드는 출판과 함께 공개될 예정이다. • 우리는 사전 학습 모델로부터 도메인 비의존적 지식을 전이함으로써 차선 감지의 일반화(generalization)를 향상시키는 새로운 정규화(regularization) 프레임워크인 SAMIRO를 제안한다. • SAMIRO는 플러그-앤-플레이이며 최신 차선 감지 방법과 함께 확장 가능하다. • 우리는 공개 벤치마크(CULane, Tusimple, LLAMAS)에서 SAMIRO를 검증하였으며, 그 결과 SOTA 모델과 동등하거나 이를 능가하는 성능을 달성함을 보였다.

딥러닝의 도입 이후 지난 10년 동안 컴퓨터 비전 분야에서는 상당한 양의 연구가 수행되어 왔다. 특히, 객체 탐지(object detection; OD)에 관한 연구는 빠르게 계속 발전하고 있다. 그러나 이러한 진전에도 불구하고 딥러닝 기반 OD 모델의 실제 적용을 가능하게 하기 위해서는 몇 가지 한계를 극복할 필요가 있다. 그중 하나는 영상 품질이 나쁘거나 대상 물체가 작은 경우의 부정확한 OD이다. 작은 물체에 대한 성능 저하 현상은 수용영역(receptive field) 제약과 같은 OD 모델의 근본적 한계와 유사하며, 이는 OD 모델만으로 해결하기 어려운 문제이다. 따라서 낮은 영상 품질 또는 작은 대상 물체로 인해 OD 성능이 저해될 수 있다. 이를 해결하기 위해 본 연구는 특히 작은 물체에 대해 탐지를 개선하기 위한 초해상도(super-resolution; SR)와 OD 기법의 적합성을 조사한다. 우리는 SR과 OD 모델의 결합을 분석하고, 이를 아키텍처적 특성에 따라 분류한다. 실험 결과, OD 검출기를 SR 모델과 통합할 경우 상당한 성능 향상이 나타났다. 전반적으로, SR 모델의 평가 지표(PSNR, SSIM)가 높을수록 OD 성능 또한 이에 상응하여 높게 나타남이 입증되었다. 특히 MS COCO 데이터셋에 대한 평가에서는 작은 물체에 대한 향상률이 전체 물체에 비해 9.4% 더 높은 것으로 나타났다. 본 연구는 SR과 OD 모델의 적합성을 분석함으로써 두 기법의 상호 시너지적 조합이 제공할 수 있는 잠재적 이점을 보여준다. 실험 코드는 당사 GitHub 저장소에서 확인할 수 있다.

레이블이 드물고 예측이 어려우므로 시계열 데이터로부터 의미 있는 표현을 학습하는 것은 어렵다. 따라서 우리는 시계열 기반 비지도 표현 학습 방법인 부트스트랩 인터–인트라 모달리티를 한 번에 수행하는 BIMO(Bootstrap inter–intra modality at once)를 제안한다. 기존 연구들과 달리, 제안된 BIMO는 음성 페어(negative pairs) 없이 인터-샘플 및 인트라-시간(temporal) 모달리티 표현을 동시에 학습한다. BIMO는 주 네트워크와 두 개의 보조 네트워크, 즉 inter-auxiliary 네트워크 및 intra-auxiliary 네트워크로 구성된다. 주 네트워크는 각 보조 네트워크의 사용을 동적으로 조절함으로써 인터–인트라 모달리티 표현을 순차적으로 학습하도록 훈련된다. 그 결과 BIMO는 인터–인트라 모달리티 표현을 동시에 철저히 학습한다. 실험 결과는 제안된 BIMO 방법이 최신(state-of-the-art) 비지도 방법을 능가하며, 기존의 지도(supervised) 방법들과 비교 가능한 성능을 달성함을 보여준다.

최근 웨어러블 기기와 사물인터넷(Internet of Things, IoT)의 발전으로, 인간 활동 인식(Human Activity Recognition, HAR)은 웨어러블 기술 시장에서 점차 더 큰 관심을 받고 있다. 그러나 센서 기반 HAR의 경우, 딥 신경망 학습을 위한 충분한 라벨 데이터 수집이 어렵다. 이는 전문가가 시계열 데이터에서 시각적으로 인식 가능한 패턴을 찾아야 하기 때문이다. 또한 개인정보 문제로 인해 데이터 수집이 어렵다. 이러한 한계를 극복하기 위해 최근에는 자기지도학습(Self-Supervised Learning, SSL) 기반 HAR 방법이 제안되었으며, 이는 라벨 데이터 없이도 표현(representation)을 학습할 수 있다. 하지만 이러한 방법은 센서 데이터만을 활용하며, 센서 착용자의 생체 정보는 포함하지 않는다. 생체 정보를 제외하는 학습 방법은 전형적인 움직임 패턴은 식별할 수 있으나, 맞춤형 움직임 패턴을 효과적으로 학습할 수는 없다. 따라서 본 논문에서는 학습 과정에서 센서 착용자의 생체 정보를 고려하는 Temporal Fusion Contrastive Learning(TFCL) 방법을 제안하였다. 실험 결과에 따르면, 생체 정보를 사용하여 미세조정(fine-tuning)할 때 제안된 TFCL 방법은 DLR 및 MobiAct 데이터셋에서 각각 0.9791, 0.7433의 최고 F1 점수를 얻었다. 또한 제안된 TFCL 방법으로 표현을 학습한 뒤 이를 다운스트림 과제에 적용했을 때의 결과는, 처음부터 지도학습을 수행하여 얻은 결과와 유사하거나 더 나은 것으로 나타났다. 이러한 결과는 TFCL을 통해 표현을 효과적으로 학습할 수 있음을 시사한다. 실험 코드는 https://github.com/IKKIM00/temporal-fusion-contrastive-learning 에서 확인할 수 있다.

본 논문에서는 방향 의도(directional finding) 문제를 방향 의존 상호 결합을 갖는 밀리미터파 통신에 대해 다룬다. 도래방향(direction-of-arrival) 추정을 위해, DNN 입력으로 배열 출력을 사용하고 간단한 전처리 단계를 포함하는 저복잡도 심층 신경망(DNN) 기반 회귀 모델을 제안한다. DNN 구성 요소를 설계하는 것뿐 아니라, 유한 크기의 학습 데이터로 학습된 DNN의 일반화 능력을 향상시키기 위해 정량적 분석을 수행한다. 또한 Cramér-Rao 하한(Cramér-Rao lower bound, CRLB) 관점에서 이론적 성능 상한을 도출한다. 제안된 접근의 유효성은 기존 방법 및 CRLB와의 비교를 통해 검증한다.

연속 추론 시점 적응(Continual Test-Time Adaptation, CTTA)은 환경이 변화하는 상황에서 이전에 학습한 지식을 유지하면서 목표 데이터에 모델을 적응시키는 데 필수적이다. 그러나 기존 방법들은 클래스 불균형을 간과하여 중요하지만 소수에 해당하는 객체에 대한 성능이 제한된다. 이를 해결하기 위해 본 연구에서는 신뢰도 기반 적응 학습(confidence-guided adaptive learning)을 적용하는 AdaCoTTA를 제안한다. 이러한 메커니즘은 CTTA에서 클래스 불균형, 치명적 망각(catasrophic forgetting), 오류 누적(error accumulation)을 완화한다. 우리는 AdaCoTTA를 의미론적 분할을 위한 다양한 CTTA 벤치마크에서 평가한다. 그 결과, ACDC에서 평균 mIoU를 0.6% 향상하고 소수 클래스에 대해서는 4% 이상 개선하여 최첨단 성능을 달성함으로써 실제 시나리오에서의 효과를 입증한다. 코드는 https://github.com/junghyeon0427/AdaCoTTA 에서 제공된다.

초당 수 기가비트 이상에 이르는 데이터 전송률은 제5세대(5G) 무선 네트워크에서 달성 가능하며, 서브테라헤르츠(sub-THz) 통신의 통합은 점점 더 중요해지고 있다. 그러나 국부 발진기(로컬 오실레이터)의 불완전성에서 비롯되는 위상 잡음(phase noise)과 같은 하드웨어 한계는 서브-THz 시스템의 성능을 저해할 수 있다. 본 논문은 직교 주파수 분할 다중화(OFDM) 시스템에서 데이터 복호를 위한 위상 잡음 보상의 과제를 다룬다. 이를 해결하기 위해, 위상 잡음의 부반송파 이동 불변성 특성과 부반송파 의존적 특징인 부반송파 간 간섭(intercarrier interference)의 특성을 모두 포착하도록 설계된 새로운 순차적 특징 학습 메커니즘을 제안한다. 제안된 접근법은 다양한 조건에서의 경험적 성능 평가와, 계산 복잡도 및 신호대 간섭대 잡음 전력비(SINR)를 고려한 이론적 분석을 포함한다. 기존의 해석적 방법 및 딥러닝 기반 방법들과의 포괄적인 비교를 수행함으로써, 파일럿 오버헤드가 극도로 낮은 경우에도 제안 방법의 효과성을 입증한다.

차선 검출은 미래 모빌리티 솔루션에서 중요한 주제이다. 배경 잡음(background clutter), 조명 조건의 변화, 가림(occlusions)과 같은 실제 환경의 어려움은 특히 데이터 기반 접근법에 의존할 때 효과적인 차선 검출을 수행하는 데 중대한 장애물이 된다. 이는 데이터 수집과 라벨링(annotation)을 위해 상당한 노력과 비용이 요구되기 때문이다. 이러한 문제를 해결하기 위해 차선 검출 방법은 주변 차선과 객체로부터 맥락적(contextual) 및 전역적(global) 정보를 활용해야 한다. 본 논문에서는 사전 학습(pre-trained) 모델을 오라클(Oracle)로 사용하는 Spatial Attention Mutual Information Regularization, SAMIRO를 제안한다. SAMIRO는 도메인 비특이적(domain-agnostic) 공간 정보를 보존하면서 사전 학습 모델로부터 지식을 전이(transfer)하여 차선 검출 성능을 향상시킨다. SAMIRO의 플러그-앤-플레이(plug-and-play) 특성을 활용하여 이를 다양한 최신 차선 검출 접근법에 통합하고 CULane, Tusimple, LLAMAS와 같은 주요 벤치마크에서 광범위한 실험을 수행하였다. 그 결과 SAMIRO는 서로 다른 모델과 데이터셋 전반에서 성능을 일관되게 향상시키는 것으로 나타났다. 코드는 출판 시 제공될 예정이다.

최근 거대 언어 모델의 발전은 다양한 과업에서 뛰어난 성과를 보이며, 특히 멀티모달로 확장하는 연구도 활발히 진행되고 있다. 특히 BLIP-2는 Q-Former를 통해 이미지와 문자를 효율적으로 정렬하여 성능을 높였으며, 멀티모달 데이터로 사전 학습되어 고정된 이미지 인코더가 이를 지원한다. 이러한 발전에 영감을 받아 MolCA 모델은 분자 분야에 BLIP-2를 확장하여 성능을 높였지만, 그래프 인코더는 단일모달 데이터로 사전 학습되어 모델 학습 중 갱신이 필요한 한계가 있다. 따라서 본 논문에서는 이를 멀티모달 데이터로 사전 학습된 그래프 인코더로 대체하고 고정하는 방안을 제시한다. 실험 결과, 멀티모달 데이터로 사전 학습된 그래프 인코더를 사용할 때 성능이 대체로 향상되었으며, 단일모달 데이터로 사전 학습된 그래프 인코더는 갱신할 때 성능이 높은 것에 비해 멀티모달 데이터로 사전 학습된 그래프 인코더는 갱신하지 않을 때 모든 지표에서 성능이 더 좋은 것을 확인할 수 있었다.