본 논문에서는 새로운 오류-마스크-적응 동적 필터링(error-mask-adaptive dynamic filtering, EMDF) 알고리즘을 제안한다. 이 알고리즘은 연속적인 오류 마스크를 사용하여 영상을 적응적으로, 그리고 충실하게 복원(inpainting)한다. EMDF 층에서 우리는 오류 마스크에 따라 공간적으로 가변하는 필터를 적응적으로 결정하고, 분리형(separable) 동적 필터링을 수행한다. 한편, 필터링 동안의 오류 전파를 모델링하여 오류 마스크를 갱신한다. 여러 개의 EMDF 층을 거쳐 복원의 결과를 예측한 후, 이를 더욱 정교하게 다듬어 더 충실한 영상을 재구성한다. 다양한 데이터셋에 대한 실험 결과는 제안된 EMDF 알고리즘이 기존의 복원 알고리즘보다 유의하게 우수함을 보여준다. 소스 코드는 https://github.com/keunsoo-ko/EMDF에서 제공된다.

최근에는, 과거에 분할된 프레임들과 질의 프레임 간에 비국소(non-local) 매칭을 수행하는 메모리 기반 접근법이 비디오 물체 분할에서 상당한 성능 향상을 이끌어 왔다. 그러나 질의 프레임과 로컬 메모리(이전 프레임) 사이에서 목표 물체의 위치가 가깝다는 점, 즉 시간적 매끄러움(temporal smoothness)은 종종 간과된다. 이러한 문제를 해결하려는 시도들이 있으나, 목표 물체의 큰 이동에 취약하고 민감하다. 본 논문에서는 이 문제를 해결하기 위해 로컬 메모리 읽기 및 비교(read-and-compare) 연산을 제안한다. 첫째, 인접 프레임들 사이의 시간적 매끄러움을 탐색하기 위해 로컬 메모리 읽기 및 순차적 로컬 메모리 읽기(sequential local memory read) 모듈을 제안한다. 둘째, 전역 메모리와 로컬 메모리의 친화도(affinity)를 비교하여, 전역 메모리와 로컬 메모리를 적응적으로 읽는 메모리 비교기(memory comparator)를 제안한다. 실험 결과, 제안한 알고리즘은 최근의 최신(state-of-the-art) 알고리즘들보다 더 엄격한 분할 결과를 산출함을 보여준다. 예를 들어, 제안한 알고리즘은 가장 널리 사용되는 데이터셋인 DAVIS2016과 DAVIS2017에서 각각 J&F 기준으로 비디오 물체 분할 성능을 0.4% 및 0.5% 향상시킨다.

대비 향상은 많은 응용 분야에서 필요하다. 많은 연구가 대비 향상을 자동으로 수행하기 위해 진행되어 왔으나, 대부분의 연구는 대비에 대한 다양한 개인적 선호를 고려하지 않는다. 본 연구에서는 사용자가 자신의 선호에 따라 영상 대비를 손쉽게 조절할 수 있도록 하는, 경계(에지) 인지형 대화형 대비 향상 알고리즘을 제안한다. 사용자는 영상의 전역 밝기를 제어하기 위한 매개변수와, 국소 영역을 어둡게 또는 밝게 하기 위한 두 가지 유형의 낙서(scribble)를 제공한다. 이후 제안된 알고리즘은 낙서를 인근 영역으로 전파하여 경계 인지형 마스크를 생성하고, 신경망인 e-IceNet을 통해 향상된 영상을 복원한다. 사용자는 원하는 영상을 얻을 때까지 주석(annotations)을 반복적으로 제공할 수 있다. 우리는 다양한 입력 영상에 대해 신뢰할 수 있는 결과를 산출하기 위해 e-IceNet을 지도(guidance) 영상으로 학습한다. 또한 e-IceNet을 효과적이고 신뢰성 있게 학습하기 위해 두 가지 미분가능 손실(differentiable losses)을 제안한다. 광범위한 실험 결과, 제안된 e-IceNet은 간단한 낙서만으로도 사용자가 영상을 만족스럽게 향상할 수 있을 뿐 아니라, 영상을 자동으로 향상하는 결과도 생성할 수 있음을 보여준다.

본 논문에서는 새로운 오류-마스크-적응 동적 필터링(error-mask-adaptive dynamic filtering, EMDF) 알고리즘을 제안한다. 이 알고리즘은 연속적인 오류 마스크를 사용하여 영상을 적응적으로, 그리고 충실하게 복원(inpainting)한다. EMDF 층에서 우리는 오류 마스크에 따라 공간적으로 가변하는 필터를 적응적으로 결정하고, 분리형(separable) 동적 필터링을 수행한다. 한편, 필터링 동안의 오류 전파를 모델링하여 오류 마스크를 갱신한다. 여러 개의 EMDF 층을 거쳐 복원의 결과를 예측한 후, 이를 더욱 정교하게 다듬어 더 충실한 영상을 재구성한다. 다양한 데이터셋에 대한 실험 결과는 제안된 EMDF 알고리즘이 기존의 복원 알고리즘보다 유의하게 우수함을 보여준다. 소스 코드는 https://github.com/keunsoo-ko/EMDF에서 제공된다.

최근에는, 과거에 분할된 프레임들과 질의 프레임 간에 비국소(non-local) 매칭을 수행하는 메모리 기반 접근법이 비디오 물체 분할에서 상당한 성능 향상을 이끌어 왔다. 그러나 질의 프레임과 로컬 메모리(이전 프레임) 사이에서 목표 물체의 위치가 가깝다는 점, 즉 시간적 매끄러움(temporal smoothness)은 종종 간과된다. 이러한 문제를 해결하려는 시도들이 있으나, 목표 물체의 큰 이동에 취약하고 민감하다. 본 논문에서는 이 문제를 해결하기 위해 로컬 메모리 읽기 및 비교(read-and-compare) 연산을 제안한다. 첫째, 인접 프레임들 사이의 시간적 매끄러움을 탐색하기 위해 로컬 메모리 읽기 및 순차적 로컬 메모리 읽기(sequential local memory read) 모듈을 제안한다. 둘째, 전역 메모리와 로컬 메모리의 친화도(affinity)를 비교하여, 전역 메모리와 로컬 메모리를 적응적으로 읽는 메모리 비교기(memory comparator)를 제안한다. 실험 결과, 제안한 알고리즘은 최근의 최신(state-of-the-art) 알고리즘들보다 더 엄격한 분할 결과를 산출함을 보여준다. 예를 들어, 제안한 알고리즘은 가장 널리 사용되는 데이터셋인 DAVIS2016과 DAVIS2017에서 각각 J&F 기준으로 비디오 물체 분할 성능을 0.4% 및 0.5% 향상시킨다.

대비 향상은 많은 응용 분야에서 필요하다. 많은 연구가 대비 향상을 자동으로 수행하기 위해 진행되어 왔으나, 대부분의 연구는 대비에 대한 다양한 개인적 선호를 고려하지 않는다. 본 연구에서는 사용자가 자신의 선호에 따라 영상 대비를 손쉽게 조절할 수 있도록 하는, 경계(에지) 인지형 대화형 대비 향상 알고리즘을 제안한다. 사용자는 영상의 전역 밝기를 제어하기 위한 매개변수와, 국소 영역을 어둡게 또는 밝게 하기 위한 두 가지 유형의 낙서(scribble)를 제공한다. 이후 제안된 알고리즘은 낙서를 인근 영역으로 전파하여 경계 인지형 마스크를 생성하고, 신경망인 e-IceNet을 통해 향상된 영상을 복원한다. 사용자는 원하는 영상을 얻을 때까지 주석(annotations)을 반복적으로 제공할 수 있다. 우리는 다양한 입력 영상에 대해 신뢰할 수 있는 결과를 산출하기 위해 e-IceNet을 지도(guidance) 영상으로 학습한다. 또한 e-IceNet을 효과적이고 신뢰성 있게 학습하기 위해 두 가지 미분가능 손실(differentiable losses)을 제안한다. 광범위한 실험 결과, 제안된 e-IceNet은 간단한 낙서만으로도 사용자가 영상을 만족스럽게 향상할 수 있을 뿐 아니라, 영상을 자동으로 향상하는 결과도 생성할 수 있음을 보여준다.

본 논문에서는 성능과 네트워크 복잡성 간의 우수한 절충을 달성하기 위한 경량 블라인드(blind) 영상 노이즈 제거기인 blind compact denoising network (BCDNet)를 제안한다. 제안된 BCDNet은 330K 파라미터만으로도 구성되며, compact denoising network (CDNet)과 guidance network (GNet)으로 이루어진다. 노이즈가 포함된 영상으로부터 GNet은 노이즈의 심각도를 인코딩하는 가이드 특징을 추출한다. 이후 가이드 특징을 이용하여 CDNet은 심각도에 따라 영상을 적응적으로 필터링함으로써 노이즈를 효과적으로 제거한다. 또한 성능을 저하시키지 않으면서 파라미터 수를 감소시킴으로써, CDNet은 효과적일 뿐만 아니라 효율적인 노이즈 제거를 달성한다. 실험 결과는 제안된 BCDNet이 다양한 데이터셋에서 최신 또는 경쟁 수준의 노이즈 제거 성능을 제공하면서도, 유의미하게 더 적은 파라미터를 필요로 함을 보여준다.

우리는 OpenLane-V에 더 다양한 도전적 장면을 포함하도록 확장한 비디오 차선 검출 데이터셋인 OpenLane-V2를 소개하고, 이러한 복잡한 장면에서 eigenlane 표현의 성능을 평가한다. 새 데이터셋에는 만곡된 차선, 저조도 조건, 가림(occlusion), 그리고 문맥으로부터만 추론할 수 있는 보이지 않는 차선과 같은 추가 샘플이 포함된다. 우리는 차선의 저랭크 근사(즉, eigenlanes)에 기반한 순환적 비디오 차선 검출기(recursive video lane detector, RVLD)를 OpenLane-V2에서 다른 최신 검출기들과 비교 평가한다. 그 결과는 eigenlane 표현이 복잡한 실제 차선 검출 시나리오를 처리하는 데에도 효과적임을 보여준다.

계산병리(computational pathology)는 계산적 방법과 디지털 영상화를 통합함으로써 질병 진단 및 예후 향상에 효과적인 것으로 보고되어 왔다. 최근 수년간 기계학습(machine learning)과 딥러닝(deep learning)의 발전은 계산병리의 성능을 크게 강화하였다. 그러나 데이터 희소성과 데이터 불균형(data imbalance)이라는 문제는 여전히 존재하며, 이는 어떤 계산적 방법에도 적대적 영향을 미칠 수 있다. 본 논문에서는 기존의 병리 영상을 바탕으로 새로운 병리 이미지를 생성하여 추가적인 데이터 수집 또는 주석(annotation) 비용 없이 데이터셋을 확충할 수 있는 효율적이고 효과적인 데이터 증강(data augmentation) 전략을 제안한다. 제안된 방법의 평가를 위해 대장암(colorectal cancer) 데이터셋 2개 세트를 사용하였고, 분류 성능이 개선되는 결과를 얻었으며, 이는 제안된 단순한 접근이 계산병리에서의 데이터 희소성과 불균형을 완화할 잠재력이 있음을 시사한다.

우리는 Perfecting Depth라고 명명한 센서 깊이 향상을 위한 새로운 2단계 프레임워크를 제안한다. 이 프레임워크는 확산 모델의 확률적(stochastic) 특성을 활용하여 기하학적 단서를 보존하면서 신뢰할 수 없는 깊이 영역을 자동으로 탐지한다. 첫 번째 단계(확률적 추정)에서 이 방법은 신뢰할 수 없는 측정값을 식별하고, 학습-추론 도메인 간 차이를 활용하여 기하학적 구조를 추론한다. 두 번째 단계(결정론적 정제)에서는 첫 번째 단계로부터 도출된 불확실성 맵을 사용하여 구조적 일관성과 픽셀 수준 정확성을 강제한다. 확률적 불확실성 모델링과 결정론적 정제를 결합함으로써, 본 방법은 향상된 신뢰성을 갖춘 조밀한(밀집) 오류 없는 깊이 맵을 산출한다. 실험 결과는 다양한 실제 환경에서 그 효과를 입증한다. 또한 이론적 분석, 여러 실험, 정성적 시각화는 그 견고성과 확장성을 검증한다. 본 프레임워크는 센서 깊이 향상을 위한 새로운 기준(baseline)을 제시하며, 자율주행, 로보틱스, 몰입형 기술에 대한 잠재적 응용 가능성을 가진다.