멀티뷰·멀티스펙트럴 비주얼 신호의 신경 표현학습 기반 코딩 및 재구성

Neural representation for multi-view and multispectral visual signals: coding and reconstruction

연구 내용

모션 선행정보·계층 예측·신경 표현을 기반으로 멀티뷰 영상 코딩 아티팩트를 줄이고, 멀티스펙트럴 영상의 조명 스펙트럼을 추정하는 비주얼 신호 처리 연구

강제원 연구실은 비주얼 신호에서 발생하는 정보 손실을 줄이기 위해 신경 표현학습 기반의 코딩·재구성 기술을 수행합니다. 멀티뷰 영상에서는 모션 선행정보와 참조 블록 기반 in-loop 필터, 계층 예측 구조를 통해 압축 아티팩트를 완화하고 rate-distortion 효율을 높입니다. 또한 4D 볼륨 표현과 저랭크 텐서 분해, 스펙트럼 편향을 고려한 spatiotemporal 표현으로 재구성 품질과 압축 효율을 동시에 다룹니다. 멀티스펙트럴 영상에서는 표면 반사 모델링과 spectral unmixing을 결합하고, 공간-스펙트럼 교차어텐션으로 조명 스펙트럼 추정 성능을 개선합니다. 이와 함께 임베딩 병합 압축을 포함한 멀티모달 데이터 처리 관점의 확장도 수행합니다.

관련 프로젝트

6건

연구 흐름

초기에는 멀티뷰 영상에서 warping-and-fusion 기반 품질 향상을 좌우하는 모션 선행정보의 취약성을 분석하고, 공간·시간 양방향 모션 선행을 통해 정렬 신뢰도를 보강하는 방향으로 연구를 수행했습니다. 이어서 2023년에는 계층적 GOP 구조를 강화학습으로 결정하여 프레임 간 복잡한 의존성을 정책으로 학습하는 연구로 확장했습니다. 2024년에는 QP 변화에 강건한 reference-to-current feature 전이를 설계해 VVC in-loop 필터 성능을 개선했습니다. 2025년 이후에는 동적 볼륨을 계층 코드 표현으로 구성하는 방식과 멀티스펙트럴 조명 스펙트럼 추정 기술을 병행하며, 2026년에는 spatiotemporal spectra-preserving 신경 표현으로 영상 모델링과 압축에서의 편향을 완화하는 흐름으로 심화했습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

차세대 멀티뷰 영상 코덱
뷰 합성 기반 압축·재구성
QP-강건 in-loop 필터링
모션 선행정보 추정 모듈
계층 GOP 선택 및 전송 최적화
저랭크 텐서 기반 신경 코딩
스펙트럼 보존 영상 표현
조명 다양성 강건 멀티스펙트럴 분석
표면 반사 기반 반사율·조명 추정
멀티모달 임베딩 병합 전송