특징 맵 내에서 다중 규모의 문맥을 포착하는 것은 의미론적 분할에서 매우 중요하다. Vision Transformer(ViT)의 성공 이후, 최근의 모델들은 이를 포착하기 위해 트랜스포머 디코더를 포함하도록 설계되었다. 그러나 이러한 모델들은 어텐션 메커니즘의 본질과 구조적 제약으로 인해 다양한 문맥 정보를 활용하는 데 한계가 있다. 일반적으로, 각 토큰 특징에 대해 유사한 수용영역(receptive field)을 초래하는 멀티-헤드 어텐션은 계산 비용을 크게 증가시키는 대가를 치르며 달성된다. 또한 구조의 특성은 서로 다른 수준들 간에 정보를 결합하는 방식이 일관되지 않게 만들 수 있다. 이러한 문제를 해결하기 위해, 본 논문에서는 컨볼루션 교차-어텐션(convolutional cross-attention, CCA)에 기반한 새롭고 효과적인 디코딩 기법인 CCASeg를 제안한다. 제안하는 CCA와 디코딩 구조는 다양한 크기의 컨볼루션 커널을 통해 국소 및 전역 문맥을 모두 포착할 뿐 아니라, 값싼 컨볼루션 연산을 효율적으로 활용함으로써 높은 효율성을 달성하도록 설계되었다. 더 나아가 다양한 수준에서 정보를 연속적으로 결합하도록 보장하는 디코딩 구조는 다양한 문맥을 이해하는 데 도움을 준다. 그 결과, 본 새로운 디코딩 기법은 특징 맵이 서로 다른 크기의 물체들 간의 관계를 효과적으로 학습할 수 있게 한다. 이와 같은 방식으로, 제안하는 CCASeg는 ADE20K, Cityscapes, COCO-stuff, iSAID를 포함한 널리 사용되는 의미론적 분할 벤치마크에서 기존의 최신(state-of-the-art) 방법들보다 성능이 우수함을 보인다.

주시 추정(gaze estimation)은 인간-컴퓨터 상호작용에서 널리 사용되는 과제로서, 운전자 모니터링 시스템부터 인간 보조 기술에 이르기까지 다양한 응용 분야를 포괄한다. 그러나 제한된 연산 자원과 높은 에너지 효율이 요구된다는 점 때문에, 엣지 기기에서 견고하고 실시간 성능을 달성하는 것은 여전히 도전적이다. 본 연구에서는 향상된 효율을 위해 딥러닝 가속기(Deep Learning Accelerators, DLAs)의 고유한 기능을 활용하여 NVIDIA Jetson 플랫폼에 최적화된 새로운 주시 추정 모델을 제안한다. 우리 모델은 DLA 실행을 위해 설계된 보정(calibration) 모듈을 포함하며, 얼굴 검출 단계 이후의 견고성을 개선하기 위해 합성곱 기반의 공간 및 채널 주의(attention)를 통합한다. GPU와 DLA에 연산 작업을 전략적으로 분배함으로써, 본 접근법은 보정 모듈이 없는 시스템과 비교하여 최대 88%까지 에너지 효율을 향상시킨다. 따라서 본 모델은 자원이 제한된 환경에서의 실시간 엣지 기반 응용에 적합하다.

본 서신에서는 흐름 기반 아키텍처를 사용하여 교사와 학생의 중간 블록 사이에 지식을 전달하는 특징 기반 지식 증류 기법을 제안한다. 특히 본 구현에서는 Normalizing flow를 사용한다. 지식 전달 기법 외에도, 증류 위치의 구성이 지식 전달 성능에 미치는 영향을 살펴본다. 제안한 아이디어를 평가하기 위해, 서로 다른 도메인에서 Normalizing flow에 기반한 두 가지 지식 증류 기준(baseline) 모델을 선택한다. 즉, 이상 탐지에는 CS-Flow, 초해상도에는 SRFlow-DA이다. 일반적으로 사용되는 벤치마크 데이터셋을 활용한 기준 모델들과의 성능 비교는 추론 속도의 향상과 함께 유망한 결과를 보여준다. 또한 이러한 비교에는 제안된 기법에서 증류 위치를 다양한 구성으로 설정한 경우에 대한 성능 분석이 포함된다.

계층적 비전 트랜스포머를 포함하는 다중 스케일 아키텍처는 고해상도 의미론적 분할에서, 성능 저하를 최소화하면서 계산 복잡성을 다루기 위해 흔히 적용되어 왔다. 본 논문에서는 이러한 관점에서 의미론적 분할을 위한 새로운 디코딩 스킴을 제안한다. 이 스킴은 다중 스케일 아키텍처를 갖는 인코더로부터 다중 수준의 특징을 활용한다. 다중 수준 비전 트랜스포머에 기반한 디코딩 스킴은 다중 수준 특징의 집계 과정에서 연속적인 크로스-어텐션을 도입함으로써, 계산 비용을 절감할 뿐만 아니라 분할 정확도도 향상시키는 것을 목표로 한다. 또한 집계된 의미론이 다중 수준 특징을 강화하는 방법을 제안한다. 본 연구의 핵심은 어텐션 배분 관점에서 문맥의 일관성을 유지하는 데 있으며, 그 결과 유의미하게 낮은 계산 비용으로 향상된 성능을 달성한다. 널리 사용되는 데이터셋에 대한 일련의 실험은 제안 스킴이 정확도 손실 없이 계산 비용 측면에서 기존 최첨단 의미론적 분할 모델보다 우수함을 보여주며, 광범위한 애블레이션 연구는 제안 아이디어의 효과를 입증한다.

개인 재식별(person re-identification, ReID) 분야에서 부분 ReID 방법은 신체 부위 간 비교를 통해 특징 거리(feature distance)를 측정하는 것을 목표로 하는 주류 접근으로 여겨진다. 그러나 실제로는 기존 방법들이 신체 부위의 해부학적 측면에 대한 충분한 인식을 갖추지 못하여, 서로 다른 샘플 간에 동일한 신체 부위의 특징을 포착하지 못하는 문제가 흔히 발생한다. 이러한 문제를 해결하기 위해, 우리는 정밀한 부위-대-부위 비교를 수행할 수 있는 포즈 추정 기반 ReID 모델인 \textbf{Part Aware Transformer (PAFormer)}를 제안한다. 포즈 토큰에 부위 인식을 주입하기 위해, 각 신체 부위와 영상의 부분 영역(partial regions) 간 상관관계를 추정하는 학습 가능한 매개변수인 `pose token'을 도입한다. 특히 추론 단계에서 PAFormer는 포즈 추정 모델을 활용하여 신체 부위 위치를 파악하는 추가 모듈을 일반적으로 사용하는 기존 ReID 방법론들과 달리, 신체 부위 위치 관련 추가 모듈 없이 동작한다. 또한 신체 부위에 대한 향상된 인식을 바탕으로, PAFormer는 각 신체 부위의 가림(occlusion) 정도를 추정하기 위한 학습 기반 가시성 예측기(visibility predictor)의 사용을 제안한다. 아울러, 정답 가시성 점수(ground truth visibility scores)를 이용한 교사 강제(teacher forcing) 기법을 도입하여 PAFormer가 보이는 부위(visible parts)만으로 학습될 수 있도록 한다. 일련의 광범위한 실험 결과, 본 방법은 널리 알려진 ReID 벤치마크 데이터셋에서 기존 접근들보다 더 우수한 성능을 보임을 확인하였다.

본 논문은 상대 위치 임베딩을 활용한 transformer 기반의 인물 재인식 모델의 학습 방법을 제안한다. 이미지의 시각적 정보에 의존하는 기존 방식의 한계점을 보완하기 위해, 인물의 신체 구조의 형태적 특성을 상대 위치 임베딩을 통해 정의하고, 이들을 추가적인 근거로 활용한다. 제안한 방식의 적용으로 기존 방식 대비 5개의 인물 재인식 datasets에 대해 정량적, 정성적으로 성능이 향상됨을 확인 하였다.

특징 맵 내에서 다중 규모의 문맥을 포착하는 것은 의미론적 분할에서 매우 중요하다. Vision Transformer(ViT)의 성공 이후, 최근의 모델들은 이를 포착하기 위해 트랜스포머 디코더를 포함하도록 설계되었다. 그러나 이러한 모델들은 어텐션 메커니즘의 본질과 구조적 제약으로 인해 다양한 문맥 정보를 활용하는 데 한계가 있다. 일반적으로, 각 토큰 특징에 대해 유사한 수용영역(receptive field)을 초래하는 멀티-헤드 어텐션은 계산 비용을 크게 증가시키는 대가를 치르며 달성된다. 또한 구조의 특성은 서로 다른 수준들 간에 정보를 결합하는 방식이 일관되지 않게 만들 수 있다. 이러한 문제를 해결하기 위해, 본 논문에서는 컨볼루션 교차-어텐션(convolutional cross-attention, CCA)에 기반한 새롭고 효과적인 디코딩 기법인 CCASeg를 제안한다. 제안하는 CCA와 디코딩 구조는 다양한 크기의 컨볼루션 커널을 통해 국소 및 전역 문맥을 모두 포착할 뿐 아니라, 값싼 컨볼루션 연산을 효율적으로 활용함으로써 높은 효율성을 달성하도록 설계되었다. 더 나아가 다양한 수준에서 정보를 연속적으로 결합하도록 보장하는 디코딩 구조는 다양한 문맥을 이해하는 데 도움을 준다. 그 결과, 본 새로운 디코딩 기법은 특징 맵이 서로 다른 크기의 물체들 간의 관계를 효과적으로 학습할 수 있게 한다. 이와 같은 방식으로, 제안하는 CCASeg는 ADE20K, Cityscapes, COCO-stuff, iSAID를 포함한 널리 사용되는 의미론적 분할 벤치마크에서 기존의 최신(state-of-the-art) 방법들보다 성능이 우수함을 보인다.

주시 추정(gaze estimation)은 인간-컴퓨터 상호작용에서 널리 사용되는 과제로서, 운전자 모니터링 시스템부터 인간 보조 기술에 이르기까지 다양한 응용 분야를 포괄한다. 그러나 제한된 연산 자원과 높은 에너지 효율이 요구된다는 점 때문에, 엣지 기기에서 견고하고 실시간 성능을 달성하는 것은 여전히 도전적이다. 본 연구에서는 향상된 효율을 위해 딥러닝 가속기(Deep Learning Accelerators, DLAs)의 고유한 기능을 활용하여 NVIDIA Jetson 플랫폼에 최적화된 새로운 주시 추정 모델을 제안한다. 우리 모델은 DLA 실행을 위해 설계된 보정(calibration) 모듈을 포함하며, 얼굴 검출 단계 이후의 견고성을 개선하기 위해 합성곱 기반의 공간 및 채널 주의(attention)를 통합한다. GPU와 DLA에 연산 작업을 전략적으로 분배함으로써, 본 접근법은 보정 모듈이 없는 시스템과 비교하여 최대 88%까지 에너지 효율을 향상시킨다. 따라서 본 모델은 자원이 제한된 환경에서의 실시간 엣지 기반 응용에 적합하다.

본 서신에서는 흐름 기반 아키텍처를 사용하여 교사와 학생의 중간 블록 사이에 지식을 전달하는 특징 기반 지식 증류 기법을 제안한다. 특히 본 구현에서는 Normalizing flow를 사용한다. 지식 전달 기법 외에도, 증류 위치의 구성이 지식 전달 성능에 미치는 영향을 살펴본다. 제안한 아이디어를 평가하기 위해, 서로 다른 도메인에서 Normalizing flow에 기반한 두 가지 지식 증류 기준(baseline) 모델을 선택한다. 즉, 이상 탐지에는 CS-Flow, 초해상도에는 SRFlow-DA이다. 일반적으로 사용되는 벤치마크 데이터셋을 활용한 기준 모델들과의 성능 비교는 추론 속도의 향상과 함께 유망한 결과를 보여준다. 또한 이러한 비교에는 제안된 기법에서 증류 위치를 다양한 구성으로 설정한 경우에 대한 성능 분석이 포함된다.