의미 분할에서 동일 클래스 내부 변이(intra-class variation)를 정확하게 모델링하는 것은 세부적인 정보를 포착하고 클래스 경계 인근의 모호성을 해소하는 데 필수적이다. 기존의 프록시 기반 임베딩 방법들은 각 클래스를 하나의 프로토타입으로 표현하지만, 특히 복잡한 장면에서는 다양한 클래스 내부 구조를 반영하는 데 한계를 보인다. 본 논문에서는 대표 프록시를 도입하여 공유된 클래스 의미를 인코딩하고, 다수의 변이 벡터를 통해 세밀한 클래스 내부 변이를 포착하는 새로운 표현 학습 프레임워크인 Variation-Aware Proxy Learning을 제안한다. 이러한 구성요소들은 분해 가능(factorized) 유사도 점수를 통해 통합되어, 더 표현력이 뛰어나고 구별력이 향상된 임베딩 구조를 가능하게 한다. 모호한 영역에서의 학습을 추가로 향상시키기 위해, 초점 조절(focal modulation)을 도입하고, 어려운 예제의 기여도를 적응적으로 증폭하는 인력(attraction) 항과 반발(repulsion) 항으로 구성된 새로운 조합 유사도 손실(Compositional Similarity Loss)을 설계한다. 제안 방법은 모델 비종속적(model-agnostic)이며 추가적인 추론 시간 비용이 필요하지 않다. Cityscapes, COCO-Stuff10k, iSAID, ADE20K 등 다수의 분할 벤치마크와 CNN 및 Transformers를 포함한 다양한 백본에 대해 광범위한 실험을 수행한 결과, 특히 클래스 내부 변이가 큰 어려운 영역에서 mIoU와 경계 정밀도(boundary precision)가 일관되게 향상됨을 확인하였다. • Compositional Similarity Loss는 대표 프록시와 변이 벡터의 학습을 가능하게 한다. • 분해 가능 유사도 점수는 프록시 통합을 통해 향상된 클래스 분리를 달성한다. • 초점 조절은 동적 가중치를 통해 모호한 영역을 적응적으로 강조한다. • 다양한 실시간 및 비실시간 모델 전반에서 일관된 분할 성능 향상을 보인다.

본 논문에서는 보이지 않는 도메인에서 얼굴 표정 인식(Facial Expression Recognition, FER) 모델의 범용성을 향상시키기 위한 새로운 접근법인 DIRE(Domain-Invariant Representation Learning for Expression)를 제안한다. 전통적인 FER 모델은 학습 데이터셋과 테스트 데이터셋 간의 분포 변화(distribution shift)에 자주 취약하여 성능이 크게 저하된다. 단일 소스 도메인 일반화(Single-Source Domain Generalization) 개념에 기반하여, 의미적 일관성을 보존하면서 도메인 변이적 영역(domain-variant regions)에 대해 픽셀 수준 및 특징 수준의 교란(perturbations)을 적용하는 새로운 도메인 증강 기법을 도입한다. 또한 얼굴 표정이 도메인 불변 특징(domain-invariant features)으로 효과적으로 표현될 수 있도록 의미 정렬(semantic alignment) 정규화 및 도메인 정보 최소화(domain information minimization) 손실을 통합한다. 다수의 FER 데이터셋에 대해 수행한 광범위한 실험 결과, 본 방법은 단일 소스 도메인에서 학습하더라도 다양한 대상 도메인에 걸친 일반화 성능을 유의미하게 향상시키는 것으로 나타났다. 제안된 DIRE 접근법은 실제 환경의 FER 과제에서, 보이지 않는 도메인에 대한 일반화 가능성이 필수적인 상황에 적용 가능한 견고한 해결책을 제공한다.

최근 딥러닝의 발전과 함께, 얼굴 표정 조작(FEM)은 큰 주목을 받는 분야 중 하나가 되었다. 그러나 많은 연구는 잠재 공간에서의 클래스 구분을 고려하지 않은 채 학습에만 초점을 맞추고 있다. 본 논문은 얼굴 표정과 같은 의미적 속성을 FEM 과제에서 효과적으로 반영하기 위해 자기 주의(self-attention)와 상호 정보(mutual information)를 활용하는 표현 학습 기법을 제안한다. 본 프레임워크는 주의 기반 판별 학습(attention-based discriminative learning)과 감정 강도 인지 대조 학습(emotional intensity-aware contrastive learning)을 사용하며, 압축된 임베딩 공간을 형성할 수 있다. 이러한 압축된 임베딩 공간은 실제 합성 결과에서 더 식별력이 높고 풍부한 얼굴 표정 합성을 가능하게 한다. 그 결과, 우리는 기존 방법들보다 우수한 얼굴 표정 합성 결과를 도출하였다. 또한 FEM에서 얼굴 표정 표현의 정도를 정량화할 수 있는 FED 지표 측면에서도 제안 방법이 다른 방법들보다 성능이 뛰어나다. 이러한 성공적인 결과를 입증하기 위해 t-SNE를 사용하여 각 클래스에 대한 실제 임베딩 결과를 시각화한다. 더 나아가, 제안 방법을 통해 형성된 잠재 공간이 얼굴 표정 인식 측면에서도 도움이 됨을 증명한다.

필터 프루닝(filter pruning)은 경량화(lightweighting)를 위한 컨볼루션 신경망(CNN)에서 가장 대표적인 기법이다. 일반적으로 필터 프루닝은 프루닝(pruning) 단계와 파인튜닝(fine-tuning) 단계로 구성되며, 두 단계 모두 상당한 계산 비용을 여전히 요구한다. 따라서 CNN의 활용도를 높이기 위해서는 필터 프루닝 자체를 경량화할 필요가 있다. 이를 위해 우리는 대비적 지식 전달(contrastive knowledge transfer, CKT)을 기반으로 한 파인튜닝 구조와, 거친-단계에서-정밀 단계로 이어지는 신경 아키텍처 탐색(neural architecture search, NAS) 알고리즘을 제안한다. 먼저, 부분네트워크(subnetwork) 후보군은 필터 중요도 점수(filter importance scoring, FIS) 기법으로 거칠게 탐색하고, 이어서 NAS 기반 프루닝에 기초한 정밀 탐색으로 최적의 부분네트워크를 얻는다. 제안하는 프루닝 알고리즘은 슈퍼넷(supernet)을 필요로 하지 않으며 계산적으로 효율적인 탐색 과정을 채택하므로, 기존 NAS 기반 탐색 알고리즘보다 더 낮은 비용으로 더 높은 성능을 갖는 프루닝 네트워크를 생성할 수 있다. 다음으로, 메모리 뱅크(memory bank)를 구성하여, 위에서 언급한 부분네트워크 탐색 단계의 부산물인 중간 부분네트워크(interim subnetworks)의 정보를 저장한다. 마지막으로 파인튜닝 단계에서는 CKT 알고리즘을 통해 메모리 뱅크의 정보를 전달한다. 제안하는 파인튜닝 알고리즘 덕분에, 프루닝 네트워크는 메모리 뱅크로부터 명확한 지침을 받을 수 있으므로 높은 성능과 빠른 수렴 속도를 달성한다. 다양한 데이터셋과 모델에서의 실험은, 제안 방법이 최신 기술(SOTA) 모델에 비해 성능 저하가 합리적인 수준에서 유지되는 가운데 유의한 속도 효율을 보임을 입증한다. 예를 들어, 제안 방법은 Imagenet-2012에서 학습된 ResNet-50을 정확도 손실 없이 최대 40.01%까지 프루닝하였다. 또한 계산 비용이 210 GPU 시간에 불과하므로, 제안 방법은 SOTA 기법보다 계산적으로 더 효율적이다. 소스 코드는 https://github.com/sseung0703/FFP 에서 공개되어 있다.

자동 방사선 보고서 생성(RRG)은 방사선 전문의의 업무 부담을 완화하면서도 임상적으로 정확한 보고서를 보장하는 것을 목표로 한다. 그러나 기존 방법은 두 가지 근본적인 한계가 있다. 의료 데이터셋에서의 정상(정상 소견) 편향과, 다중 스케일 시각 특징의 정적인 활용이다. 이를 해결하기 위해 본 연구는 두 가지 핵심 구성요소를 갖는 새로운 프레임워크를 제안한다. 첫째, 이미지 특징을 융합하되 정상 편향을 완화하는 이상 병변 인지 지식 그래프(AAKG)를 구성한다. 둘째, LLM 디코더 내에 계층적 크로스-어텐션(HCA) 메커니즘을 도입하여 단어 생성과 정렬된 전역 및 국소 특징을 동적으로 선택한다. MIMIC-CXR 및 IU X-Ray 데이터셋에서의 실험 결과, 본 모델은 여러 지표 전반에서 최첨단 성능을 달성함을 보여준다. 특히 MIMIC-CXR에서는 기준선 대비 임상적 유효성 F1 점수를 9.67% 향상시켜 향상된 임상적 신뢰성을 객관적으로 검증한다.

최근의 효율적인 영상 초해상도(SR) 발전은 지식 증류(knowledge distillation)와 양자화(quantization)와 같은 다양한 압축 기법을 활용해 왔다. 그러나 이러한 방법들은 흔히 상당한 계산 자원과 메모리를 요구한다. 네트워크 가지치기(network pruning)는 매개변수의 수와 전체 모델 크기를 크게 줄이기 위한 효과적인 접근으로 부상하였다. SR 분야에서도 다양한 연구에서 필터 가지치기(filter pruning)를 탐색해 왔다. 기존 방법들은 흔히 잔차 연결(residual connections) 전반에 걸쳐 필터 인덱스를 정렬하는 필터 정렬 전략을 채택해 왔다. 그러나 이러한 정렬 전략이 SR 필터 가지치기의 성능에 어떠한 영향을 미치는지에 대해서는 충분한 분석이 이루어지지 않았다. 본 논문에서는 SR 모델에서 필터 정렬 방법들의 성능 효과를 조사하고, 최적의 정렬 전략 선택을 안내하기 위한 실험적 근거를 제시한다.

의미 분할에서 동일 클래스 내부 변이(intra-class variation)를 정확하게 모델링하는 것은 세부적인 정보를 포착하고 클래스 경계 인근의 모호성을 해소하는 데 필수적이다. 기존의 프록시 기반 임베딩 방법들은 각 클래스를 하나의 프로토타입으로 표현하지만, 특히 복잡한 장면에서는 다양한 클래스 내부 구조를 반영하는 데 한계를 보인다. 본 논문에서는 대표 프록시를 도입하여 공유된 클래스 의미를 인코딩하고, 다수의 변이 벡터를 통해 세밀한 클래스 내부 변이를 포착하는 새로운 표현 학습 프레임워크인 Variation-Aware Proxy Learning을 제안한다. 이러한 구성요소들은 분해 가능(factorized) 유사도 점수를 통해 통합되어, 더 표현력이 뛰어나고 구별력이 향상된 임베딩 구조를 가능하게 한다. 모호한 영역에서의 학습을 추가로 향상시키기 위해, 초점 조절(focal modulation)을 도입하고, 어려운 예제의 기여도를 적응적으로 증폭하는 인력(attraction) 항과 반발(repulsion) 항으로 구성된 새로운 조합 유사도 손실(Compositional Similarity Loss)을 설계한다. 제안 방법은 모델 비종속적(model-agnostic)이며 추가적인 추론 시간 비용이 필요하지 않다. Cityscapes, COCO-Stuff10k, iSAID, ADE20K 등 다수의 분할 벤치마크와 CNN 및 Transformers를 포함한 다양한 백본에 대해 광범위한 실험을 수행한 결과, 특히 클래스 내부 변이가 큰 어려운 영역에서 mIoU와 경계 정밀도(boundary precision)가 일관되게 향상됨을 확인하였다. • Compositional Similarity Loss는 대표 프록시와 변이 벡터의 학습을 가능하게 한다. • 분해 가능 유사도 점수는 프록시 통합을 통해 향상된 클래스 분리를 달성한다. • 초점 조절은 동적 가중치를 통해 모호한 영역을 적응적으로 강조한다. • 다양한 실시간 및 비실시간 모델 전반에서 일관된 분할 성능 향상을 보인다.

본 논문에서는 보이지 않는 도메인에서 얼굴 표정 인식(Facial Expression Recognition, FER) 모델의 범용성을 향상시키기 위한 새로운 접근법인 DIRE(Domain-Invariant Representation Learning for Expression)를 제안한다. 전통적인 FER 모델은 학습 데이터셋과 테스트 데이터셋 간의 분포 변화(distribution shift)에 자주 취약하여 성능이 크게 저하된다. 단일 소스 도메인 일반화(Single-Source Domain Generalization) 개념에 기반하여, 의미적 일관성을 보존하면서 도메인 변이적 영역(domain-variant regions)에 대해 픽셀 수준 및 특징 수준의 교란(perturbations)을 적용하는 새로운 도메인 증강 기법을 도입한다. 또한 얼굴 표정이 도메인 불변 특징(domain-invariant features)으로 효과적으로 표현될 수 있도록 의미 정렬(semantic alignment) 정규화 및 도메인 정보 최소화(domain information minimization) 손실을 통합한다. 다수의 FER 데이터셋에 대해 수행한 광범위한 실험 결과, 본 방법은 단일 소스 도메인에서 학습하더라도 다양한 대상 도메인에 걸친 일반화 성능을 유의미하게 향상시키는 것으로 나타났다. 제안된 DIRE 접근법은 실제 환경의 FER 과제에서, 보이지 않는 도메인에 대한 일반화 가능성이 필수적인 상황에 적용 가능한 견고한 해결책을 제공한다.

최근 딥러닝의 발전과 함께, 얼굴 표정 조작(FEM)은 큰 주목을 받는 분야 중 하나가 되었다. 그러나 많은 연구는 잠재 공간에서의 클래스 구분을 고려하지 않은 채 학습에만 초점을 맞추고 있다. 본 논문은 얼굴 표정과 같은 의미적 속성을 FEM 과제에서 효과적으로 반영하기 위해 자기 주의(self-attention)와 상호 정보(mutual information)를 활용하는 표현 학습 기법을 제안한다. 본 프레임워크는 주의 기반 판별 학습(attention-based discriminative learning)과 감정 강도 인지 대조 학습(emotional intensity-aware contrastive learning)을 사용하며, 압축된 임베딩 공간을 형성할 수 있다. 이러한 압축된 임베딩 공간은 실제 합성 결과에서 더 식별력이 높고 풍부한 얼굴 표정 합성을 가능하게 한다. 그 결과, 우리는 기존 방법들보다 우수한 얼굴 표정 합성 결과를 도출하였다. 또한 FEM에서 얼굴 표정 표현의 정도를 정량화할 수 있는 FED 지표 측면에서도 제안 방법이 다른 방법들보다 성능이 뛰어나다. 이러한 성공적인 결과를 입증하기 위해 t-SNE를 사용하여 각 클래스에 대한 실제 임베딩 결과를 시각화한다. 더 나아가, 제안 방법을 통해 형성된 잠재 공간이 얼굴 표정 인식 측면에서도 도움이 됨을 증명한다.

필터 프루닝(filter pruning)은 경량화(lightweighting)를 위한 컨볼루션 신경망(CNN)에서 가장 대표적인 기법이다. 일반적으로 필터 프루닝은 프루닝(pruning) 단계와 파인튜닝(fine-tuning) 단계로 구성되며, 두 단계 모두 상당한 계산 비용을 여전히 요구한다. 따라서 CNN의 활용도를 높이기 위해서는 필터 프루닝 자체를 경량화할 필요가 있다. 이를 위해 우리는 대비적 지식 전달(contrastive knowledge transfer, CKT)을 기반으로 한 파인튜닝 구조와, 거친-단계에서-정밀 단계로 이어지는 신경 아키텍처 탐색(neural architecture search, NAS) 알고리즘을 제안한다. 먼저, 부분네트워크(subnetwork) 후보군은 필터 중요도 점수(filter importance scoring, FIS) 기법으로 거칠게 탐색하고, 이어서 NAS 기반 프루닝에 기초한 정밀 탐색으로 최적의 부분네트워크를 얻는다. 제안하는 프루닝 알고리즘은 슈퍼넷(supernet)을 필요로 하지 않으며 계산적으로 효율적인 탐색 과정을 채택하므로, 기존 NAS 기반 탐색 알고리즘보다 더 낮은 비용으로 더 높은 성능을 갖는 프루닝 네트워크를 생성할 수 있다. 다음으로, 메모리 뱅크(memory bank)를 구성하여, 위에서 언급한 부분네트워크 탐색 단계의 부산물인 중간 부분네트워크(interim subnetworks)의 정보를 저장한다. 마지막으로 파인튜닝 단계에서는 CKT 알고리즘을 통해 메모리 뱅크의 정보를 전달한다. 제안하는 파인튜닝 알고리즘 덕분에, 프루닝 네트워크는 메모리 뱅크로부터 명확한 지침을 받을 수 있으므로 높은 성능과 빠른 수렴 속도를 달성한다. 다양한 데이터셋과 모델에서의 실험은, 제안 방법이 최신 기술(SOTA) 모델에 비해 성능 저하가 합리적인 수준에서 유지되는 가운데 유의한 속도 효율을 보임을 입증한다. 예를 들어, 제안 방법은 Imagenet-2012에서 학습된 ResNet-50을 정확도 손실 없이 최대 40.01%까지 프루닝하였다. 또한 계산 비용이 210 GPU 시간에 불과하므로, 제안 방법은 SOTA 기법보다 계산적으로 더 효율적이다. 소스 코드는 https://github.com/sseung0703/FFP 에서 공개되어 있다.