전통적인 표(tabular) 분류기는 해석 가능한 특징(개념)을 통해 설명 가능한 의사결정을 제공한다. 그러나 영상 과제에서 이러한 설명가능성을 활용하는 데에는 이미지의 픽셀 표현 때문에 제한이 있어 왔다. 본 논문에서는 표 분류기의 설명가능성을 활용하기 위해, 개념에 의해 이미지를 분류하는 Img2Tabs를 설계한다. Img2Tabs는 StyleGAN 역추정을 통해 이미지 픽셀을 표 형식의 특징으로 인코딩한다. 생성적 특성으로 인해 결과로 얻어진 모든 특징이 분류에 관련되거나 해석 가능하지는 않으므로, Img2Tab 분류기는 StyleGAN 특징으로부터 분류에 관련된 개념을 자동으로 탐색해야 한다. 따라서 우리는 분류 관련성(class-relevancy)과 해석가능성(interpretability)을 동시에 정량화하기 위해 Wasserstein-1 지표를 사용하는 새로운 알고리즘을 제안한다. 이러한 개념 시각화 방법을 통해, 표 분류기가 추출한 중요 특징이 분류에 관련된 개념인지 여부를 정량적으로 조사한다. 그 결과, StyleGAN 특징으로부터 분류 관련 개념을 자동으로 찾아내는 관점에서 Img2Tabs에 가장 효과적인 분류기를 규명한다. 평가에서 우리는 중요도와 시각화를 통해 개념 기반 설명을 제시한다. Img2Tab은 CNN 분류기 및 딥 특징 학습(deep feature learning) 기준 모델과 동등한 수준의 top-1 정확도를 달성한다. 또한, 정확도를 희생하지 않으면서 데이터 편향으로 인한 잘못된 의사결정을 방지하기 위해 사용자가 Img2Tab 분류기를 대화형으로 디버깅할 수 있음을 보여준다. Img2Tab의 소스 및 데모 코드는 https://github.com/songsnim/Img2Tab_pytorch 에서 제공된다.

• 최적화 기반 메타러닝에서, 태스크 전반에 공유된 사전 지식이 태스크 내에서 샘플 수준으로 불균형한 영향을 미친다는 점을 보여준다. • 이러한 불균형은 넓은 손실 분포를 초래하며, 사전 지식과 잘 정렬된 샘플은 낮은 손실 값을 보이는 반면 정렬되지 않은 샘플은 높은 손실 값을 보인다는 것을 확인한다. • 또한 넓은 손실 분포에서 평균으로 계산한 그라디언트는 일반화 성능을 저하시킨다는 것을 실험적으로 입증하는데, 이는 높은 손실 샘플의 기여가 낮은 손실 샘플의 기여에 의해 약화되기 때문이다. • 이 문제를 해결하기 위해, 샘플 인식 정보를 기반으로 그라디언트 노름을 중재(arbitration)하는 새로운 메타러닝 접근법을 제안하여, 사전 지식과 불일치하지만 높은 손실을 갖는 샘플이 충분히 대표되도록 한다. • 실험 결과와 이론적 분석은 제안 방법이 기존 최적화 기반 메타러닝 방법에 비해 경쟁력 있고 일반화 가능한 성능을 달성함을 보여준다. 보지 못한 태스크에 빠르게 적응하는 능력은 소수 샷 학습에서의 근본적인 목표이다. 최적화 기반 메타러닝의 최근 발전은 단 몇 번의 경사하강 단계로 태스크 간 공유 가능한 사전 지식을 학습함으로써 적응성을 향상시켰다. 그러나 우리는 이러한 공유 사전 지식이 태스크 내 개별 샘플에 불균형한 영향을 미칠 수 있으며, 그 결과 사전 지식과 밀접하게 정렬된 샘플은 낮은 손실 값을 보이고 다른 샘플들은 높은 손실 값을 보이는 넓은 손실 분포로 이어질 수 있다고 주장한다. 또한 우리의 실험은 넓은 손실 분포에서 평균으로 계산된 그라디언트가 대표적이지 않고 낮아지는 경향이 있으며, 이로 인해 높은 손실 샘플의 기여가 낮은 손실 샘플에 의해 상쇄되어 일반화 성능이 저하된다는 점을 보여준다. 이를 해결하기 위해, 태스크 적응 과정에서 샘플 인식 정보를 기반으로 그라디언트 노름을 중재하는 새로운 메타러닝 방법을 제안한다. 구체적으로, 우리는 먼저 그라디언트 벡터를 정규화하여 개별 샘플에 대한 사전 지식의 불균형한 영향을 줄인다. 이후 학습 가능한 네트워크인 Arbiter가, 원래 그라디언트 노름과 가중치 노름 사이의 관계를 분석하여 현재 그라디언트 노름을 동적으로 스케일링하는데, 이는 각 샘플에 대한 모델의 민감도와 복잡성을 나타낸다. 이와 같은 방식으로 제안된 방법인 Meta-learning with Gradient Norm Arbitration (Meta-GNA)는, 사전 지식과는 멀리 떨어져 있으나 높은 손실을 갖는 샘플을 적절히 반영하는 더 대표적이고 더 높은 그라디언트를 보존함으로써 일반화 성능을 향상시킨다. 실험 결과는 Meta-GNA가 소수 샷 분류에서 성능을 개선하며, 특히 샘플 간 사전 지식의 불균형이 더 두드러지는 교차 도메인 시나리오에서 두드러진다.

본 논문은 합성곱 신경망(CNN)으로 구성된 트랜스포머 모델에 기반한 다변량 시계열 예측 프레임워크를 제안한다. 제안된 모델은 CNN을 통해 입력 데이터의 시간적 특징을 추출하고, 주의(attention) 메커니즘을 통해 변수 간 상관관계를 해석하는 구조를 가진다. 본 프레임워크는 기존 연구에서 제시된 예측 모델들이 가지는 한계인, 입력 데이터의 시간적 특징과 변수 간 상관관계를 동시에 분석하지 못하는 문제를 해결한다. 제안 모델을 정밀하게 평가하기 위해 다양한 데이터 특성을 가진 여러 시계열 데이터셋을 사용하여 예측 실험을 설계하였다. 또한 제안 모델과 최근 연구에서 제안된 여러 예측 모델 간의 비교 실험을 수행하였다. 더 나아가 모델의 특정 층을 대체하여 예측 모델에서 제안된 CNN 구조의 예측 결과에 대한 영향 정도를 평가하는 절제(ablation) 연구를 수행하였다. 실험 결과, 제안된 예측 모델은 명확한 주기를 가지며 변수 간 상관관계가 높은 시계열 데이터를 예측하는 데 있어 우수한 성능을 보였고, 기존 연구의 시계열 예측 모델에 비해 정확도가 약 3%~5% 향상되는 것으로 나타났다.

전통적인 표(tabular) 분류기는 해석 가능한 특징(개념)을 통해 설명 가능한 의사결정을 제공한다. 그러나 영상 과제에서 이러한 설명가능성을 활용하는 데에는 이미지의 픽셀 표현 때문에 제한이 있어 왔다. 본 논문에서는 표 분류기의 설명가능성을 활용하기 위해, 개념에 의해 이미지를 분류하는 Img2Tabs를 설계한다. Img2Tabs는 StyleGAN 역추정을 통해 이미지 픽셀을 표 형식의 특징으로 인코딩한다. 생성적 특성으로 인해 결과로 얻어진 모든 특징이 분류에 관련되거나 해석 가능하지는 않으므로, Img2Tab 분류기는 StyleGAN 특징으로부터 분류에 관련된 개념을 자동으로 탐색해야 한다. 따라서 우리는 분류 관련성(class-relevancy)과 해석가능성(interpretability)을 동시에 정량화하기 위해 Wasserstein-1 지표를 사용하는 새로운 알고리즘을 제안한다. 이러한 개념 시각화 방법을 통해, 표 분류기가 추출한 중요 특징이 분류에 관련된 개념인지 여부를 정량적으로 조사한다. 그 결과, StyleGAN 특징으로부터 분류 관련 개념을 자동으로 찾아내는 관점에서 Img2Tabs에 가장 효과적인 분류기를 규명한다. 평가에서 우리는 중요도와 시각화를 통해 개념 기반 설명을 제시한다. Img2Tab은 CNN 분류기 및 딥 특징 학습(deep feature learning) 기준 모델과 동등한 수준의 top-1 정확도를 달성한다. 또한, 정확도를 희생하지 않으면서 데이터 편향으로 인한 잘못된 의사결정을 방지하기 위해 사용자가 Img2Tab 분류기를 대화형으로 디버깅할 수 있음을 보여준다. Img2Tab의 소스 및 데모 코드는 https://github.com/songsnim/Img2Tab_pytorch 에서 제공된다.

• 최적화 기반 메타러닝에서, 태스크 전반에 공유된 사전 지식이 태스크 내에서 샘플 수준으로 불균형한 영향을 미친다는 점을 보여준다. • 이러한 불균형은 넓은 손실 분포를 초래하며, 사전 지식과 잘 정렬된 샘플은 낮은 손실 값을 보이는 반면 정렬되지 않은 샘플은 높은 손실 값을 보인다는 것을 확인한다. • 또한 넓은 손실 분포에서 평균으로 계산한 그라디언트는 일반화 성능을 저하시킨다는 것을 실험적으로 입증하는데, 이는 높은 손실 샘플의 기여가 낮은 손실 샘플의 기여에 의해 약화되기 때문이다. • 이 문제를 해결하기 위해, 샘플 인식 정보를 기반으로 그라디언트 노름을 중재(arbitration)하는 새로운 메타러닝 접근법을 제안하여, 사전 지식과 불일치하지만 높은 손실을 갖는 샘플이 충분히 대표되도록 한다. • 실험 결과와 이론적 분석은 제안 방법이 기존 최적화 기반 메타러닝 방법에 비해 경쟁력 있고 일반화 가능한 성능을 달성함을 보여준다. 보지 못한 태스크에 빠르게 적응하는 능력은 소수 샷 학습에서의 근본적인 목표이다. 최적화 기반 메타러닝의 최근 발전은 단 몇 번의 경사하강 단계로 태스크 간 공유 가능한 사전 지식을 학습함으로써 적응성을 향상시켰다. 그러나 우리는 이러한 공유 사전 지식이 태스크 내 개별 샘플에 불균형한 영향을 미칠 수 있으며, 그 결과 사전 지식과 밀접하게 정렬된 샘플은 낮은 손실 값을 보이고 다른 샘플들은 높은 손실 값을 보이는 넓은 손실 분포로 이어질 수 있다고 주장한다. 또한 우리의 실험은 넓은 손실 분포에서 평균으로 계산된 그라디언트가 대표적이지 않고 낮아지는 경향이 있으며, 이로 인해 높은 손실 샘플의 기여가 낮은 손실 샘플에 의해 상쇄되어 일반화 성능이 저하된다는 점을 보여준다. 이를 해결하기 위해, 태스크 적응 과정에서 샘플 인식 정보를 기반으로 그라디언트 노름을 중재하는 새로운 메타러닝 방법을 제안한다. 구체적으로, 우리는 먼저 그라디언트 벡터를 정규화하여 개별 샘플에 대한 사전 지식의 불균형한 영향을 줄인다. 이후 학습 가능한 네트워크인 Arbiter가, 원래 그라디언트 노름과 가중치 노름 사이의 관계를 분석하여 현재 그라디언트 노름을 동적으로 스케일링하는데, 이는 각 샘플에 대한 모델의 민감도와 복잡성을 나타낸다. 이와 같은 방식으로 제안된 방법인 Meta-learning with Gradient Norm Arbitration (Meta-GNA)는, 사전 지식과는 멀리 떨어져 있으나 높은 손실을 갖는 샘플을 적절히 반영하는 더 대표적이고 더 높은 그라디언트를 보존함으로써 일반화 성능을 향상시킨다. 실험 결과는 Meta-GNA가 소수 샷 분류에서 성능을 개선하며, 특히 샘플 간 사전 지식의 불균형이 더 두드러지는 교차 도메인 시나리오에서 두드러진다.

본 논문은 합성곱 신경망(CNN)으로 구성된 트랜스포머 모델에 기반한 다변량 시계열 예측 프레임워크를 제안한다. 제안된 모델은 CNN을 통해 입력 데이터의 시간적 특징을 추출하고, 주의(attention) 메커니즘을 통해 변수 간 상관관계를 해석하는 구조를 가진다. 본 프레임워크는 기존 연구에서 제시된 예측 모델들이 가지는 한계인, 입력 데이터의 시간적 특징과 변수 간 상관관계를 동시에 분석하지 못하는 문제를 해결한다. 제안 모델을 정밀하게 평가하기 위해 다양한 데이터 특성을 가진 여러 시계열 데이터셋을 사용하여 예측 실험을 설계하였다. 또한 제안 모델과 최근 연구에서 제안된 여러 예측 모델 간의 비교 실험을 수행하였다. 더 나아가 모델의 특정 층을 대체하여 예측 모델에서 제안된 CNN 구조의 예측 결과에 대한 영향 정도를 평가하는 절제(ablation) 연구를 수행하였다. 실험 결과, 제안된 예측 모델은 명확한 주기를 가지며 변수 간 상관관계가 높은 시계열 데이터를 예측하는 데 있어 우수한 성능을 보였고, 기존 연구의 시계열 예측 모델에 비해 정확도가 약 3%~5% 향상되는 것으로 나타났다.

클라이언트 기여도 평가는 연합학습(FL)에서 영향력 있는 클라이언트를 효과적으로 선택하기 위해 중요하다. 중앙집중식 환경에서의 데이터 가치 평가와 달리, FL에서의 클라이언트 기여도 평가는 데이터 접근성의 부재로 인해 데이터 이질성의 영향에 대한 안정적인 정량화에 어려움이 따른다. 이러한 클라이언트 기여도 평가의 불안정성을 해결하기 위해, 우리는 데이터 크기를 클라이언트 기여도 평가의 도구로 활용하는 경험적 방법 Federated Client Contribution Evaluation through Accuracy Approximation(FedCCEA)를 제안한다. 여러 FL 시뮬레이션 후, FedCCEA는 표본으로 추출된 데이터 크기를 사용하여 테스트 정확도를 근사하고, 학습된 정확도 근사기로부터 클라이언트 기여도를 도출한다. 또한 FedCCEA는 data size diversification 을 부여함으로써 게임이론적 전략에서 비롯되는 정확도의 막대한 변동을 감소시킨다. 여러 실험을 통해 FedCCEA가 다양한 이질적 데이터 환경에 대한 견고성을 강화하고, 부분 참여의 실용성을 향상시킴이 입증되었다.

제로샷 3D 시각적 근거화(ZS-3DVG)는 자연어 설명을 바탕으로 3D 장면 내에서 객체를 위치(근거)시키는 작업을 말하며, 특히 학습 중에는 등장하지 않았던 범주(미관측 범주)에 대해 수행하는 것을 목표로 한다. 이 작업에서 색상은 중요한 단서이지만, 정확성과 속도 측면에서 모두 어려움이 있어 그 활용이 제한된다. 정확도는 서로 다른 조명 조건에서 RGB 색공간의 불안정성, 그리고 표준 색상 정의와 인간의 지각 사이의 의미적 간극으로 인해 저하된다. 속도는 3D 포인트 클라우드를 여러 개의 2D 뷰로 렌더링하는 과정에서 발생하는 계산 오버헤드 때문에 저하된다. 더 많은 뷰를 사용하면 색상 인식이 향상될 수 있으나, 이로 인해 상당한 지연이 발생하여 실시간 응용이 불가능해진다. 이러한 문제를 해결하기 위해 우리는 속도와 정확도 모두를 향상시키는 경량 모듈을 제안한다. 속도 측면에서, 본 모듈은 렌더링 파이프라인을 우회하고 3D 포인트 클라우드에서 추출한 HSV 히스토그램에 직접 동작함으로써 계산을 크게 감소시킨다. 정확도 측면에서, 본 모듈은 HSV 색공간의 핵심 성질을 활용한다. 즉, 유색(chromatic) 색은 색조(hue) 축을 따라 집중되는 반면, 무채색(achromatic) 색은 명도(value) 축에 놓인다. 이를 바탕으로 입력 데이터를 관련 축에 초점을 두는 특화 분류기로 라우팅하여 RGB의 불안정성을 완화한다. 또한, 지각적으로 유사한 색을 그룹화함으로써 의미적 불일치를 해결하였다. 실험 결과는 본 방법이 RGB 또는 CLIP 기반 기준모델보다 더 높은 정확도와 더 빠른 추론 속도를 달성함을 보여주며, ZS-3DVG에서 견고하고 효율적인 색상 인식을 가능하게 한다.

영상 요약(video summarization)은 영상의 전체 길이를 줄이면서도 필수 콘텐츠와 핵심 장면을 포착하여 간결한 영상 표현을 생성하는 것을 목표로 한다. 장기 의존성을 처리하기 위해 여러 방법이 주의(attention) 메커니즘을 사용하지만, 종종 프레임에 내재된 시각적 중요성을 충분히 포착하지 못한다. 이러한 한계를 해결하기 위해, 단일 비디오로부터 각 프레임의 특징을 적층하여 이미지와 유사한 프레임 표현을 형성한 뒤, 이러한 프레임 특징에 2D CNN을 적용하는 CNN 기반 시공간 주의(CSTA) 방법을 제안한다. 본 방법론은 CNN의 특성을 활용하여 영상 내에서 절대적 위치를 학습함으로써 프레임 간 및 프레임 내 관계를 이해하고, 비디오에서 핵심 속성을 찾아내는 데에 기반을 둔다. 공간적 중요성에 초점을 맞추기 위한 추가 모듈을 설계하여 효율을 저해했던 기존 연구와 달리, CSTA는 CNN을 슬라이딩 윈도우로 사용하므로 연산 오버헤드가 최소이며, 효율성이 유지된다. SumMe와 TVSum의 두 벤치마크 데이터셋에서의 광범위한 실험 결과, 제안한 접근법은 이전 방법들에 비해 더 적은 MACs를 사용하면서도 최첨단 성능을 달성함을 보여준다. 코드는 https://github.com/thswodnjs3/CSTA 에서 제공된다.

비디오 요약은 비디오의 전체 길이를 줄이면서도 필수 내용과 핵심 장면을 포착하여, 간결한 표현(representation)을 생성하는 것을 목표로 한다. 여러 방법들이 장기 의존성을 처리하기 위해 어텐션 메커니즘을 사용하지만, 그러한 방법들은 종종 프레임에 내재된 시각적 중요성을 충분히 포착하지 못한다. 이러한 한계를 해결하기 위해, 우리는 단일 비디오로부터 얻은 프레임들의 각 특징을 적층하여 이미지와 유사한 프레임 표현을 형성하고, 이러한 프레임 특징에 2D CNN을 적용하는 CNN 기반 공간-시간 어텐션(CSTA) 방법을 제안한다. 우리의 방법론은 CNN의 능력을 활용하여 이미지 내에서의 절대적 위치를 학습함으로써, 프레임 간 및 프레임 내 관계를 이해하고 비디오에서 중요한 속성을 찾아내는 데에 기반한다. 공간적 중요성에 집중하기 위해 추가 모듈을 설계함으로써 효율을 저하시키던 기존 연구와 달리, CSTA는 CNN을 슬라이딩 윈도우로 사용하므로 최소한의 연산 오버헤드만 필요로 한다. SumMe와 TVSum의 두 벤치마크 데이터셋에 대한 광범위한 실험 결과, 제안된 접근법은 이전 방법들에 비해 더 적은 MACs로도 최신(state-of-the-art) 성능을 달성함을 보여준다. 코드는 https://github.com/thswodnjs3/CSTA 에서 제공된다.

흉부 X선 촬영(Chest radiography, CXR)은 심장 관련 또는 기타 흉부 질환을 진단하는 데 유용하므로 의료 영상 처리 분야에서 가장 널리 연구된 분야이다. 그러나 라벨이 부재한 데이터의 부족으로 인해 완전 지도학습에 기반한 접근을 사용하는 데 제약이 있다. 라벨이 없는 데이터로부터 의미 있는 표현을 획득할 수 있는 자기지도학습(Self-supervised learning, SSL)은 이러한 문제를 해결하기 위한 효과적인 방법이다. 불행히도 기존의 대부분 자기지도학습 인스턴스 판별(instance discrimination) 방법은 전역적 불변 표현(global invariant representations)을 학습하는 데 초점이 맞춰져 있는 반면, CXR 도메인에서 질병 진단을 위해서는 국소적 공간 표현(local spatial representations)이 중요하다. 또한 자연 영상과 CXR 영상 사이에는 색 분포와 텍스처(texture)와 같은 주목할 만한 차이가 존재하므로, SSL 방법이 CXR 데이터에 대해 얼마나 잘 수행되는지 불명확하다. 이러한 문제를 완화하기 위해, 우리는 CXR 데이터로부터 적절한 표현을 학습하여 다양한 하위 과제(downstream tasks)에 대해 보다 세분화되고 구별력 있는 특징을 제공하는 새로운 단위인 Recalibrating and Importance Scaling Layer(RS-Layer)를 제안한다. RS-Layer는 압축된 특징(squeezed features)으로부터 일반적 특징을 추출하는 재조정(recalibrating) 모듈과, 각 특징의 중요도를 결정하는 중요도 스케일링(importance scaling) 모듈로 구성된다. 계산된 중요도에 따라 특징의 핵심 부분을 강조하고 필수적이지 않은 특징을 억제함으로써, RS-Layer는 유용한 부분을 학습하여 가치 있는 표현을 명시적으로 포착할 수 있도록 SSL 방법을 가능하게 한다. RS-Layer의 효능을 다음 세 관점에서 체계적으로 분석하였다: 1) 다양한 하위 과제에 대한 일반화 가능성과 전이 가능성의 증명, 2) 특징 공간 분석, 3) RS-Layer를 구성하는 구성 요소들에 대한 광범위한 절제(ablation) 연구. 또한 RS-Layer는 기존 SSL 인스턴스 판별 방법에 적용될 수 있다는 장점이 있다.