확산 모델은 이미지 생성 분야에서 괄목할 만한 성과를 거두었으며, 그 응용은 다양한 영역으로 확장되고 있다. 마스킹된 영역 채우기(inpainting)는 확산 모델의 이점을 크게 활용할 수 있는 대표적 응용 중 하나이다. 기존 방법들은 대개 사전학습된 확산 모델의 역과정을 무단으로 활용하거나, 문제를 더 큰 틀, 즉 조건부 생성(conditional generation)으로 전환한다. 그러나 이러한 접근법들은 종종 생성 과정에서 중첩 반복 루프가 필요하거나, 조건화를 위한 추가 구성요소가 요구된다. 본 논문에서는 바닐라(vanilla) 확산 모델을 단순하면서도 효과적으로 재구성한 방식으로 마스킹된 영역 채우기를 위한 영역 인지 확산 모델(region-aware diffusion models, RAD)을 제안한다. RAD는 각 픽셀마다 서로 다른 노이즈 스케줄을 사용함으로써, 전역 이미지 맥락을 고려하면서도 국소 영역을 비동기적으로 생성할 수 있게 한다. 단순한 역과정은 추가 구성요소를 필요로 하지 않으므로, RAD는 최신 기술 대비 최대 100배까지 더 빠른 추론 시간을 달성한다. 또한 우리는 다른 사전학습 확산 모델을 기반으로 RAD를 미세조정하기 위해 저랭크 적응(low-rank adaptation, LoRA)을 활용하여 학습 시의 계산 부담을 함께 감소시킨다. 실험 결과, RAD는 FFHQ, LSUN Bedroom, ImageNet 데이터셋에서 정성적 및 정량적으로 모두 최신 수준의 성능을 제공함을 확인하였다.

최근 시공간 Transformer 구조는 3D 인간 자세 추정 문제에 널리 적용되었으며, 최첨단 성능을 달성하였다. 이러한 접근들 가운데 다수는 단일 프레임에서의 단일 관절을 토큰으로 간주하고, 동일 프레임 또는 동일 궤적(trajectory)에 속한 토큰들에 대해 attention을 적용한다. 이러한 구조는 개별 관절 간의 상관관계를 계산하는 데에는 효과적이지만, 프레임이나 궤적과 같은 전역(global) 특징이 충분히 전달되지 못한다는 점에서 지나치게 제한적이다. 본 논문에서는 이러한 문제를 해결하기 위해 GaLFormer를 제안한다. GaLFormer는 로컬(local) 및 글로벌(global) Transformer 블록으로 구성되며, 전자는 기존 방법들과 마찬가지로 관절 토큰을 기반으로 하는 반면, 후자인 글로벌 혼합(global mixing) Transformer는 특정 범위의 프레임에 존재하는 모든 관절을 혼합하여 특징 교환(feature exchange)을 위한 귀납적 편향(inductive bias)을 강화한다. 제안된 방법에서는 관절, 형상(shape), 궤적(trajectory) 간의 상관관계를 계산하기 위해 이 두 Transformer 블록을 교대로 반복한다. 실험 결과, 본 접근법은 Human 3.6M, MPI-INF-3DHP, HumanEva 데이터셋에서 기존 방법들에 비해 더 우수하거나 적어도 경쟁력 있는 성능을 달성함을 보였다.

라벨이 부여된 데이터의 양이 증가함에 따라 심층 신경망의 성능은 대체로 향상된다. 그러나 대규모 데이터에 라벨을 부여하는 일은 비용이 많이 들 수 있다. 능동 학습(active learning)은 라벨이 없는 데이터를 선별적으로 라벨링함으로써 이러한 문제를 해결한다. 최근에는 능동 학습에 자기지도 학습(self-supervised learning)을 통합하려는 시도가 있었으나, 자기지도 학습의 결과를 활용하는 데에는 문제가 있다. 즉, 능동 학습의 맥락에서 이러한 결과를 어떻게 해석해야 하는지 불확실하다. 이 문제를 해결하기 위해, 우리는 능동 학습에서 자기지도 학습이 제공하는 정보를 처리하기 위한 다중 팔 밴딧(multi-armed bandit) 접근법을 제안한다. 또한 강화 학습이 효과적으로 수행될 수 있도록 데이터 샘플링 과정을 설계한다. 제안된 방법은 CIFAR-10, CIFAR-100, Caltech-101, SVHN, ImageNet을 포함한 다양한 이미지 분류 벤치마크에서 평가하였으며, 제안된 방법은 기존 접근법을 유의미하게 개선한다.

확산 모델은 이미지 생성 분야에서 괄목할 만한 성과를 거두었으며, 그 응용은 다양한 영역으로 확장되고 있다. 마스킹된 영역 채우기(inpainting)는 확산 모델의 이점을 크게 활용할 수 있는 대표적 응용 중 하나이다. 기존 방법들은 대개 사전학습된 확산 모델의 역과정을 무단으로 활용하거나, 문제를 더 큰 틀, 즉 조건부 생성(conditional generation)으로 전환한다. 그러나 이러한 접근법들은 종종 생성 과정에서 중첩 반복 루프가 필요하거나, 조건화를 위한 추가 구성요소가 요구된다. 본 논문에서는 바닐라(vanilla) 확산 모델을 단순하면서도 효과적으로 재구성한 방식으로 마스킹된 영역 채우기를 위한 영역 인지 확산 모델(region-aware diffusion models, RAD)을 제안한다. RAD는 각 픽셀마다 서로 다른 노이즈 스케줄을 사용함으로써, 전역 이미지 맥락을 고려하면서도 국소 영역을 비동기적으로 생성할 수 있게 한다. 단순한 역과정은 추가 구성요소를 필요로 하지 않으므로, RAD는 최신 기술 대비 최대 100배까지 더 빠른 추론 시간을 달성한다. 또한 우리는 다른 사전학습 확산 모델을 기반으로 RAD를 미세조정하기 위해 저랭크 적응(low-rank adaptation, LoRA)을 활용하여 학습 시의 계산 부담을 함께 감소시킨다. 실험 결과, RAD는 FFHQ, LSUN Bedroom, ImageNet 데이터셋에서 정성적 및 정량적으로 모두 최신 수준의 성능을 제공함을 확인하였다.

최근 시공간 Transformer 구조는 3D 인간 자세 추정 문제에 널리 적용되었으며, 최첨단 성능을 달성하였다. 이러한 접근들 가운데 다수는 단일 프레임에서의 단일 관절을 토큰으로 간주하고, 동일 프레임 또는 동일 궤적(trajectory)에 속한 토큰들에 대해 attention을 적용한다. 이러한 구조는 개별 관절 간의 상관관계를 계산하는 데에는 효과적이지만, 프레임이나 궤적과 같은 전역(global) 특징이 충분히 전달되지 못한다는 점에서 지나치게 제한적이다. 본 논문에서는 이러한 문제를 해결하기 위해 GaLFormer를 제안한다. GaLFormer는 로컬(local) 및 글로벌(global) Transformer 블록으로 구성되며, 전자는 기존 방법들과 마찬가지로 관절 토큰을 기반으로 하는 반면, 후자인 글로벌 혼합(global mixing) Transformer는 특정 범위의 프레임에 존재하는 모든 관절을 혼합하여 특징 교환(feature exchange)을 위한 귀납적 편향(inductive bias)을 강화한다. 제안된 방법에서는 관절, 형상(shape), 궤적(trajectory) 간의 상관관계를 계산하기 위해 이 두 Transformer 블록을 교대로 반복한다. 실험 결과, 본 접근법은 Human 3.6M, MPI-INF-3DHP, HumanEva 데이터셋에서 기존 방법들에 비해 더 우수하거나 적어도 경쟁력 있는 성능을 달성함을 보였다.

라벨이 부여된 데이터의 양이 증가함에 따라 심층 신경망의 성능은 대체로 향상된다. 그러나 대규모 데이터에 라벨을 부여하는 일은 비용이 많이 들 수 있다. 능동 학습(active learning)은 라벨이 없는 데이터를 선별적으로 라벨링함으로써 이러한 문제를 해결한다. 최근에는 능동 학습에 자기지도 학습(self-supervised learning)을 통합하려는 시도가 있었으나, 자기지도 학습의 결과를 활용하는 데에는 문제가 있다. 즉, 능동 학습의 맥락에서 이러한 결과를 어떻게 해석해야 하는지 불확실하다. 이 문제를 해결하기 위해, 우리는 능동 학습에서 자기지도 학습이 제공하는 정보를 처리하기 위한 다중 팔 밴딧(multi-armed bandit) 접근법을 제안한다. 또한 강화 학습이 효과적으로 수행될 수 있도록 데이터 샘플링 과정을 설계한다. 제안된 방법은 CIFAR-10, CIFAR-100, Caltech-101, SVHN, ImageNet을 포함한 다양한 이미지 분류 벤치마크에서 평가하였으며, 제안된 방법은 기존 접근법을 유의미하게 개선한다.

본 논문에서는 신경계 질환을 선별하기 위한 딥러닝 기반 알고리즘을 제안한다. 우리는 신경계 질환 선별을 위한 다양한 검사 프로토콜을 제안하고, 해당 프로토콜을 수행하는 사람들의 영상을 비디오 촬영으로 수집하였다. 또한 영상 데이터를 행동 정보를 포착하는 인간 랜드마크로 변환하여 훨씬 더 작은 데이터 차원으로 표현하였다. 아울러 신경계 장애의 효과적인 지표가 될 수 있는 음성 데이터도 사용하였다. 각 프로토콜에 대해 랜드마크 또는 음성으로부터 특징을 추출하는 서브네트워크를 설계하고, 프로토콜들로부터 추출된 모든 정보를 결합하여 최종 결정을 내리는 특징 통합기를 구성하였다. 다중과제 학습을 적용하여 두 가지 신경계 질환을 선별하였다. 이러한 인간 랜드마크 및 음성에 대한 의미 있는 정보를 포착하기 위해 다양한 사전학습 모델을 적용하여 예비 특징을 추출하였다. 랜드마크의 시공간적 특성은 사전학습된 그래프 신경망을 통해 추출하고, 음성 특징은 사전학습된 시공간 지연(time-delay) 신경망을 통해 추출하였다. 추출된 고수준 특징은 이후 서브네트워크와 추가적인 특징 통합기에 전달되며, 이들 모듈은 동시에 학습된다. 또한 데이터 부족을 극복하기 위해 다양한 데이터 증강 기법을 사용하였다. 데이터의 특성을 고려하는 프레임 길이 고정화(frame-length staticizer)를 사용함으로써 정보의 낭비 없이 순간적인 떨림을 포착할 수 있다. 마지막으로, 광범위한 실험을 통해 서로 다른 프로토콜과 서로 다른 양식(신체 부위 및 음성의 차이)의 효과를 평가한다. 제안된 방법은 뇌졸중에서 AUC 0.802, 파킨슨병에서 AUC 0.780을 달성하여 선별 시스템에 효과적임을 보인다.

한국보건사회연구원에 따르면 2017년에는 65세 이상 노인이 1인당 평균 2.7개의 만성질환을 보유하고 있었다. 저출산, 인구 고령화, 의료 인력 부족으로 인해 노인의 의료복지에 대한 우려가 커지고 있다. 이에 따라 이용자의 연령, 인지 능력, 질병의 난이도를 고려하는 서비스에 대한 수요가 증가하고 있다. 그 결과, 입원 횟수를 낮추고 환자에게 맞춤형 진료를 제공할 수 있는 스마트 헬스케어 시스템에 대한 요구가 커지고 있다. 이러한 배경에서 우리는 비디오를 통해 신경학적 질환을 손쉽게 선별하고 관리할 수 있는 AI 시스템을 개발하고자 하였다. 신경학적 질환은 어느 정도 시각적 분석만으로도 진단될 수 있으므로, 본 연구에서는 비디오로부터 한 사람이 신경학적 질환을 가질 가능성을 추정하고자 하였다. 신경학적 질환 중에서도 우리는 노인 인구에서 흔하며 전 세계적으로 높은 사망률과 이환율을 초래하는 뇌졸중에 초점을 맞추었다. 제안된 방법은 (1) 신경학적 진찰 비디오를 랜드마크 데이터로 변환하고, (2) 랜드마크 데이터를 재귀도(Recurrence plots)로 변환하며, (3) 딥 뉴럴 네트워크를 사용해 뇌졸중 가능성을 추정하는 세 단계로 구성된다. 주요 특징(손, 얼굴, 동공, 신체 움직임)은 여러 신경학적 진찰 프로토콜 하에서 촬영된 검사 비디오로부터 딥러닝 기반 랜드마크 추출기를 통해 추출된다. 이후 이러한 랜드마크 데이터의 연속 시퀀스는 재귀도(Recurrence plots)로 변환되며, 이는 이미지로 해석될 수 있다. 이 이미지들은 특징 융합(feature-fusion) 기법을 사용하여 합성곱 신경망에 입력함으로써 뇌졸중을 분류할 수 있다. 제안된 방법의 수행 능력을 평가하기 위한 질병 선별 검사의 적용에 대한 사례 연구를 제시한다.

최근접 이웃을 사용하여 알고리즘을 가속한다. 또한, 제안된 알고리즘을 기준선과 비교하기 위해 재샘플링된 포인트 클라우드의 균일성을 평가하는 새로운 측정 기준을 제안한다. 실험에서, 우리의 알고리즘은 균일화, 수렴 및 실행 시간 측면에서 우수한 성능을 보인다.

최근 몇몇 연구에서는, 기존의 층이 포착할 수 없는 제약을 부호화하기 위해 특정 유형의 최적화 문제를 심층 신경망 설계에 활용하는 방법들을 제안해 왔다. 그러나 이러한 방법들은 아직 초기 단계이며, 역전파 공식을 도출하기 위해 카루시-쿤-터커(Karush-Kuhn-Tucker, KKT) 조건의 분석과 같은 특수한 처리가 필요하다. 본 논문에서는 심층 네트워크에서 더 복잡한 연산의 활용을 용이하게 하는 고정점 반복(fixed-point iteration, FPI) 층이라는 새로운 정식을 제안한다. 순환 역전파(recurrent backpropagation, RBP) 알고리즘에 의해 동기가 부여된 역방향 FPI 층도 함께 제안한다. 다만 RBP와 달리, 역방향 FPI 층은 야코비안(Jacobian)을 명시적으로 계산하지 않고도 작은 네트워크 모듈을 통해 그래디언트를 산출한다. 실제 적용에서는 순방향 및 역방향 FPI 층 모두를 계산 그래프에서의 노드로 취급할 수 있다. 본 방법의 모든 구성요소는 고수준의 추상화 수준에서 구현되어, 노드 상에서 효율적인 고차 미분을 가능하게 한다. 또한 두 가지 실용적 방법, 즉 신경망 FPI(neural net FPI, FPI_NN) 층과 경사하강 FPI(gradient descent FPI, FPI_GD) 층을 제시한다. 여기서 FPI 갱신 연산은 각각 작은 신경망 모듈과 학습 가능한 비용 함수에 기반한 단일 경사하강 단계로 구성된다. FPI_NN은 직관적이고 단순한 반면, FPI_GD는 최근 연구된 에너지 함수 네트워크를 효율적으로 학습하는 데 사용할 수 있다. RBP 및 관련 연구는 실제 예시에 적용된 바가 없었으나, 본 연구의 실험 결과는 FPI 층이 영상 노이즈 제거, 광류(optical flow), 다중 라벨 분류와 같은 현실 세계의 문제에 성공적으로 적용될 수 있음을 보여준다.

결함이 있는 알약의 전용(전이/변질) 탐지는 최근의 광범위한 연구에도 불구하고, 결함 데이터의 부재로 인해 여전히 어렵다. 본 논문에서는 알약 검출 모듈과 자동인코더 기반 결함 검출 모듈로 구성된 파이프라인을 제안하여 알약 포장 내 결함 알약을 탐지한다. 또한 본 모델을 검증하기 위한 새로운 데이터셋을 구축하였다. 알약 검출 모듈은 알루미늄-플라스틱 포장 내 알약을 개별 알약으로 분할한다. 분할을 위해 얕은 분할(segmentation) 네트워크를 사용한 뒤, watershed 알고리즘으로 이를 개별 알약으로 분할하였다. 결함 검출 모듈은 개별 알약에서 결함을 식별한다. 이 모듈은 정상 데이터에 대해서만 학습된다. 따라서 모듈이 결함 데이터를 올바르게 재구성하지 못할 것으로 기대된다. 그러나 실제로는, 네트워크를 정상 데이터만으로 학습하더라도 기존의 자동인코더가 결함 데이터를 예상보다 더 잘 재구성하는 현상이 나타난다. 이에 본 연구에서는 이러한 문제를 방지하기 위해 패치 분할(patch division) 방법을 도입한다. 패치 분할은 합성곱 인코더 네트워크의 출력을 패치 단위 특성으로 나눈 다음, 패치 단위 인코더 레이어를 적용하는 과정으로 이루어진다. 이때 각 잠재 패치는 독립적인 가중치와 바이어스를 가진다. 이는 입력 이미지를 여러 개의 국소 자동인코더로 재구성하는 것으로 해석할 수 있다. 패치 분할은 네트워크가 전체 재구성 능력(용량)을 감소시키면서 국소 영역만을 재구성하는 데 집중하도록 만들어, 제안된 네트워크가 보지 못한 데이터에 대해서는 잘 재구성하지 못하게 한다. 실험 결과, 제안된 패치 분할 기법은 결함 검출 성능을 실제로 향상시키며 기존의 딥러닝 기반 이상 탐지(anomaly detection) 방법을 능가함을 보였다. 또한 절제(ablation) 연구를 통해 패치 단위 특성의 결합 이후 압축(compression)과 패치 분할의 효능이 확인되었다.