우리는 시점 간 의존성을 모델링하여 라이트 필드 재구성 품질을 향상시키는 주의 기반 백-프로젝션 네트워크를 제안한다. 이 네트워크는 픽셀 셔플을 사용하여 초기 특징을 효율적으로 추출한다. 공간 어텐션은 중요한 영역에 초점을 맞추는 동시에 시점 간 의존성을 포착한다. 정제 네트워크의 스킵 연결은 안정성과 재구성 성능을 향상시킨다. 또한, 프로젝션 블록 내의 채널 어텐션은 시점 전반에 걸쳐 구조적 표현을 강화한다. 제안된 방법은 일반적인 장면뿐 아니라 가림과 반사가 포함된 복잡한 장면에서도 고품질의 라이트 필드 영상을 재구성한다. 실험 결과는 제안된 방법이 기존의 접근법보다 성능이 우수함을 보여준다.

라이트 필드 각도 초해상(Light field angular super-resolution, LFASR)은 희소하게 획득된 입력으로부터 조밀하게 샘플링된 각도 뷰를 재구성하여 고충실도 렌더링, 재초점, 그리고 깊이 추정을 가능하게 하는 것을 목표로 한다. 본 논문에서는 Sub-Aperture Images(SAI), Epipolar Plane Images(EPI), Macro-Pixel Images(MacroPI)를 함께 처리하는 삼중 시각화 특징 추출 전략을 활용하는 새로운 LFASR 프레임워크를 제안한다. 이는 라이트 필드의 공간-각도 구조를 포괄적으로 활용하기 위한 것으로, 상호 보완적인 이러한 표현들을 병렬로 처리하여 서로 다르고 유익한 특징들을 추출한 뒤, 잔차 블록으로 구성된 심층 공간 집계 모듈을 통해 이를 정교화한다. 제안하는 파이프라인은 세 가지 핵심 단계로 구성된다: 초기 특징 추출(Early Feature Extraction, EFE), 고급 특징 정교화(Advanced Feature Refinement, AFR), 그리고 각도 초해상(Angular Super-Resolution, ASR). 합성 데이터와 실제 데이터 모두에 대한 광범위한 실험 결과, 본 방법은 PSNR 및 SSIM 측면에서 강력한 성능을 달성하는 동시에, 가림(occlusion)과 큰 시차(disparity) 변동을 포함하는 도전적인 상황에서도 높은 일반화 성능과 견고성을 유지함을 확인하였다. 또한 정성적 평가를 통해, 합성된 뷰 전반에서 시선상 일관성(epipolar consistency)과 구조적 무결성(structural integrity)을 보존하는 본 방법의 능력을 확인하였으며, 이는 실제 LFASR 응용을 위한 신뢰적이고 효율적인 해결책임을 시사한다.

정상 이미지의 전경 영역에 합성 이상을 삽입함으로써 이상 탐지와 분할 성능을 향상시키기 위한, 오토인코더와 분할 모델을 결합한 자기지도 학습 프레임워크를 제안한다. 합성 이상은 새로운 패치 셔플 슈퍼픽셀 이상 삽입 방법(Patch Shuffle Superpixel Anomaly Insertion Method, PSSAIM)을 통해 생성하였으며, 두 단계로 구성된다. 첫째, 정상 이미지를 서로 겹치지 않는 패치들로 분할한 다음 이를 셔플하고 회전시켜 원본 이미지의 왜곡된 버전을 생성한다. 둘째, 왜곡된 이미지에 대해 Simple Linear Iterative Clustering (SLIC) 슈퍼픽셀 추출 기법을 적용하여 실제 이상을 모사하는 비정상 세그먼트를 생성함으로써, 다양한 종류의 합성 이상을 포괄하도록 한다. 실제 결함이 주로 발생하는 관심 영역(RoI)을 식별하기 위해, 우리는 각 데이터셋 클래스마다 경량 오토인코더(AE) 모델을 개발하여 실제 결함이 흔히 나타나는 RoI를 찾아내었다. AE는 Structural Similarity Index Measure(SSIM)를 사용하여 패치 단위의 유사도를 계산함으로써 배경 영역을 지도화하고, 이를 비유사도 맵(dissimilarity map) (1-SSIM)을 통해 전경 영역으로 역변환한다. 문턱값 기반 정제와 영역 기반 분석을 통해 마스크를 정교화하여 노이즈 및 불필요한 작은 블롭을 제거하였다. 실제 테스트 시의 이상에 대해서는, 인코더-디코더 네트워크와 어텐션 블록, 멀티스케일 컨텍스트 집계를 포함하는 향상된 분할 모델(EnSeg)을 설계하였다. PSSAIM으로 증강된 이미지로 학습한 EnSeg는 유망한 결과를 달성하였다. 영상 수준 탐지에서 수신자 조작 특성 곡선 하 면적(area under the receiver operating characteristic curve, AUROC)이 98.9%였고, MVTec 이상 탐지(MVTec AD) 데이터셋에서 픽셀 수준 국소화의 평균 정밀도(average precision, AP)가 77.1%였다. 또한 Kolektor SDD2 벤치마크 데이터셋에서는 AUROC 94.9% 및 AP 67.8%를 보였다. EnSeg는 200 frames per second(fps)의 빠른 추론 속도를 보장하여 정확성과 효율성을 동시에 제공한다.

최근의 조밀 다중시점 이미지 재구성에 관한 연구는 3D 재구성, 시야 가림(De-occlusion), 깊이 측정, 시각적 두드러짐(saliency) 탐지, 주요 객체 식별과 같은 응용 분야를 향상시킬 수 있다는 점에서 상당한 관심을 받고 있다. 본 논문은 센서 해상도라는 제약 내에서 각도 해상도와 공간 해상도의 균형을 맞추는 문제를 다루면서, 고밀도 라이트 필드(light field) 이미지를 재구성하기 위한 방법을 제안한다. 우리는 LF 재구성을 위한 3단계 네트워크 구조를 제안하며, 조밀한 에피폴라(epipolar), 공간(spatial), 각도(angular) 정보를 효율적으로 처리한다. 네트워크는 첫 번째 단계에서 에피폴라 정보를, 두 번째 단계에서 공간 정보를, 세 번째 단계에서 각도 정보를 처리한다. 여러 방향에서 사변형(quadrilateral) 에피폴라 특성을 추출함으로써, 본 모델은 정확한 재구성을 위한 견고한 특징 계층을 구성한다. 초기 단계에서는 가중치 공유(weight sharing)를 사용하여 특징의 품질을 향상시키면서도 모델의 크기를 컴팩트하게 유지한다. 실제 환경 및 합성 데이터셋에 대한 실험 결과, 본 접근법은 추론 시간과 재구성 품질의 두 측면 모두에서 기존의 최신 방법을 능가함을 입증하였다.

우리는 시점 간 의존성을 모델링하여 라이트 필드 재구성 품질을 향상시키는 주의 기반 백-프로젝션 네트워크를 제안한다. 이 네트워크는 픽셀 셔플을 사용하여 초기 특징을 효율적으로 추출한다. 공간 어텐션은 중요한 영역에 초점을 맞추는 동시에 시점 간 의존성을 포착한다. 정제 네트워크의 스킵 연결은 안정성과 재구성 성능을 향상시킨다. 또한, 프로젝션 블록 내의 채널 어텐션은 시점 전반에 걸쳐 구조적 표현을 강화한다. 제안된 방법은 일반적인 장면뿐 아니라 가림과 반사가 포함된 복잡한 장면에서도 고품질의 라이트 필드 영상을 재구성한다. 실험 결과는 제안된 방법이 기존의 접근법보다 성능이 우수함을 보여준다.

라이트 필드 각도 초해상(Light field angular super-resolution, LFASR)은 희소하게 획득된 입력으로부터 조밀하게 샘플링된 각도 뷰를 재구성하여 고충실도 렌더링, 재초점, 그리고 깊이 추정을 가능하게 하는 것을 목표로 한다. 본 논문에서는 Sub-Aperture Images(SAI), Epipolar Plane Images(EPI), Macro-Pixel Images(MacroPI)를 함께 처리하는 삼중 시각화 특징 추출 전략을 활용하는 새로운 LFASR 프레임워크를 제안한다. 이는 라이트 필드의 공간-각도 구조를 포괄적으로 활용하기 위한 것으로, 상호 보완적인 이러한 표현들을 병렬로 처리하여 서로 다르고 유익한 특징들을 추출한 뒤, 잔차 블록으로 구성된 심층 공간 집계 모듈을 통해 이를 정교화한다. 제안하는 파이프라인은 세 가지 핵심 단계로 구성된다: 초기 특징 추출(Early Feature Extraction, EFE), 고급 특징 정교화(Advanced Feature Refinement, AFR), 그리고 각도 초해상(Angular Super-Resolution, ASR). 합성 데이터와 실제 데이터 모두에 대한 광범위한 실험 결과, 본 방법은 PSNR 및 SSIM 측면에서 강력한 성능을 달성하는 동시에, 가림(occlusion)과 큰 시차(disparity) 변동을 포함하는 도전적인 상황에서도 높은 일반화 성능과 견고성을 유지함을 확인하였다. 또한 정성적 평가를 통해, 합성된 뷰 전반에서 시선상 일관성(epipolar consistency)과 구조적 무결성(structural integrity)을 보존하는 본 방법의 능력을 확인하였으며, 이는 실제 LFASR 응용을 위한 신뢰적이고 효율적인 해결책임을 시사한다.

정상 이미지의 전경 영역에 합성 이상을 삽입함으로써 이상 탐지와 분할 성능을 향상시키기 위한, 오토인코더와 분할 모델을 결합한 자기지도 학습 프레임워크를 제안한다. 합성 이상은 새로운 패치 셔플 슈퍼픽셀 이상 삽입 방법(Patch Shuffle Superpixel Anomaly Insertion Method, PSSAIM)을 통해 생성하였으며, 두 단계로 구성된다. 첫째, 정상 이미지를 서로 겹치지 않는 패치들로 분할한 다음 이를 셔플하고 회전시켜 원본 이미지의 왜곡된 버전을 생성한다. 둘째, 왜곡된 이미지에 대해 Simple Linear Iterative Clustering (SLIC) 슈퍼픽셀 추출 기법을 적용하여 실제 이상을 모사하는 비정상 세그먼트를 생성함으로써, 다양한 종류의 합성 이상을 포괄하도록 한다. 실제 결함이 주로 발생하는 관심 영역(RoI)을 식별하기 위해, 우리는 각 데이터셋 클래스마다 경량 오토인코더(AE) 모델을 개발하여 실제 결함이 흔히 나타나는 RoI를 찾아내었다. AE는 Structural Similarity Index Measure(SSIM)를 사용하여 패치 단위의 유사도를 계산함으로써 배경 영역을 지도화하고, 이를 비유사도 맵(dissimilarity map) (1-SSIM)을 통해 전경 영역으로 역변환한다. 문턱값 기반 정제와 영역 기반 분석을 통해 마스크를 정교화하여 노이즈 및 불필요한 작은 블롭을 제거하였다. 실제 테스트 시의 이상에 대해서는, 인코더-디코더 네트워크와 어텐션 블록, 멀티스케일 컨텍스트 집계를 포함하는 향상된 분할 모델(EnSeg)을 설계하였다. PSSAIM으로 증강된 이미지로 학습한 EnSeg는 유망한 결과를 달성하였다. 영상 수준 탐지에서 수신자 조작 특성 곡선 하 면적(area under the receiver operating characteristic curve, AUROC)이 98.9%였고, MVTec 이상 탐지(MVTec AD) 데이터셋에서 픽셀 수준 국소화의 평균 정밀도(average precision, AP)가 77.1%였다. 또한 Kolektor SDD2 벤치마크 데이터셋에서는 AUROC 94.9% 및 AP 67.8%를 보였다. EnSeg는 200 frames per second(fps)의 빠른 추론 속도를 보장하여 정확성과 효율성을 동시에 제공한다.

최근의 조밀 다중시점 이미지 재구성에 관한 연구는 3D 재구성, 시야 가림(De-occlusion), 깊이 측정, 시각적 두드러짐(saliency) 탐지, 주요 객체 식별과 같은 응용 분야를 향상시킬 수 있다는 점에서 상당한 관심을 받고 있다. 본 논문은 센서 해상도라는 제약 내에서 각도 해상도와 공간 해상도의 균형을 맞추는 문제를 다루면서, 고밀도 라이트 필드(light field) 이미지를 재구성하기 위한 방법을 제안한다. 우리는 LF 재구성을 위한 3단계 네트워크 구조를 제안하며, 조밀한 에피폴라(epipolar), 공간(spatial), 각도(angular) 정보를 효율적으로 처리한다. 네트워크는 첫 번째 단계에서 에피폴라 정보를, 두 번째 단계에서 공간 정보를, 세 번째 단계에서 각도 정보를 처리한다. 여러 방향에서 사변형(quadrilateral) 에피폴라 특성을 추출함으로써, 본 모델은 정확한 재구성을 위한 견고한 특징 계층을 구성한다. 초기 단계에서는 가중치 공유(weight sharing)를 사용하여 특징의 품질을 향상시키면서도 모델의 크기를 컴팩트하게 유지한다. 실제 환경 및 합성 데이터셋에 대한 실험 결과, 본 접근법은 추론 시간과 재구성 품질의 두 측면 모두에서 기존의 최신 방법을 능가함을 입증하였다.

라이트 필드(Light field, LF) 재구성은 LF 이미지들 사이의 뷰를 합성하는 기법이며, 고품질 LF 재구성 이미지를 얻기 위한 다양한 방법들이 제안되어 왔다. 본 논문에서는 라이트 필드 재구성을 위한 효율적 채널 융합(efficient channel fusion)을 사용하는 점진적 탐색 네트워크인 Prex-Net을 제안한다. Prex-Net은 고품질 합성 LF 이미지를 신속히 생성하기 위해 세 가지 부분으로 구성된다. 초기 특징 추출 모듈은 3D 합성곱(3D convolution)을 사용하여 여러 LF 입력 이미지 간의 심층적 상관관계를 얻는다. 채널 융합 모듈에서는 추출된 초기 특징 맵이 연속적인 업- 및 다운-퓨전 블록을 거치면서 LF 재구성에 필요한 특징을 지속적으로 탐색한다. 융합 블록은 픽셀 셔플(pixel shuffle)을 통해 채널들의 픽셀을 수집하고, 수집된 픽셀에 합성곱을 적용하여 채널 간에 존재하는 정보를 융합한다. 마지막으로 LF 복원 모듈은 다운-퓨전 블록들의 결합(concatenated) 출력물을 이용한 단순 합성곱을 통해 높은 각 해상도(angular resolution)의 LF 이미지를 합성한다. 제안된 Prex-Net은 기존 LF 복원 방법들보다 LF 이미지 간의 뷰를 더 빠르게 합성하며, 합성된 이미지의 PSNR 성능에서 양호한 결과를 보인다.

3차원 가우시안 스플래팅(Three-Dimensional Gaussian Splatting, 3DGS)은 새로운 시점 합성을 혁신하여 고품질 장면을 실시간으로 렌더링할 수 있게 했다. 2차원 가우시안 스플래팅(Two-Dimensional Gaussian Splatting, 2DGS)은 3D 가우시안을 평면 형태의 2D 가우시안으로 대체함으로써 기하학적 정확도를 향상시킨다. 그러나 2D 가우시안의 평면적 특성은 부피(체적) 표면에서 메쉬 품질을 저하시키고, 과도하게 매끈한(over-smoothed) 재구성을 초래한다. 이를 해결하기 위해 본 연구는 2D와 3D 가우시안을 모두 통합하는 이중 2차원 가우시안 스플래팅(Dual-Dimensional Gaussian Splatting, DDGS)을 제안한다. 먼저 2DGS에 기반한 동차 변환 행렬을 일반화하여 3D에서 모든 가우시안을 초기화한다. 이어서 학습 과정에서는 스케일에 따라 가우시안을 선택적으로 2D 표현으로 변환한다. 이 방법은 2D와 3D 가우시안의 상호 보완적 장점을 활용하여 평면 및 부피 영역 모두에서 보다 정확한 표면 재구성을 가능하게 한다. 또한 과도한 매끄러움을 완화하기 위해 기울기 기반 정규화 항을 도입한다. DTU 및 TnT 데이터셋에 대한 정량 평가 결과, DDGS는 기존 방법들(3DGS, SuGaR, 2DGS)을 일관되게 능가하며, 다양한 장면 전반에서 최우수 Chamfer Distance와 F1 점수를 달성함이 입증되었다.

다중 시점 이미지 재구성은 오랜 기간 연구의 중심 주제였으며, 최근에는 이에 대한 관심이 급격히 증가하고 있다. 다중 시점 이미지를 활용하면 3D 재구성, 비가림(de-occlusion), 깊이 측정(depth sensing), 시선/중요도(saliency) 검출, 그리고 두드러진 물체의 식별을 포함한 다수의 문제에 대한 해법을 제공함과 동시에 다양한 응용의 효과를 증대시킨다. 본 논문은 제한된 센서 해상도로 인해 발생하는 각도 해상도와 공간 해상도 간의 균형이라는 고유한 어려움을 다루면서, 고밀도 라이트 필드(LF) 이미지를 재구성하는 접근법을 제안한다. 우리는 초기 및 심층 특징 추출 단계 모두에서 공간 및 에피폴라(epipolar) 특징을 결합하는 CNN 기반 네트워크를 통해 LF 이미지를 재구성하는 혁신적인 방법을 제안한다. 제안 네트워크는 업샘플링 과정에서 각도 정보를 활용하며, 수평 및 수직 에피폴라 데이터를 효과적으로 분석하기 위해 이중 특징 추출을 사용한다. 또한 수평 및 수직으로 전치된 스택 간의 CNN 블록 내 가중치 공유(weight sharing)는 모델의 경량성을 보존하면서 재구성 품질을 향상시킨다. 실제 데이터와 합성 데이터로 수행한 실험 결과는 본 방법의 효과를 입증하며, 기존의 최신 기법(SOTA)과 비교하여 추론 속도와 재구성 품질 모두에서 우수한 성능을 보여준다.

본 논문에서는 LF(광장) 각 해상도를 향상시키는 새로운 라이트 필드(LF) 재구성 네트워크를 제안한다. 제안하는 방법은 초기 특징 맵을 추출하는 두 부분과, 추출된 초기 특징 맵을 정제(refine)하는 두 부분으로 구성된다. 이를 위해 ef