[1] SOTA* 기술 대비 동일 수준의 인지 화질에서 3배 이상의 압축률을 제공하는 신호처리 기반 홀로그램 비디오 부호화 기술 개발 (*Versatile Video Coding(VVC)[5]: 2021년 표준화가 완료된 가장 최신 및 현 최고 수준의 비디오 압축 표준)[2] 홀로그램 신호 특성 및 가상 객체 화질에 최적화된 딥 네트워크 기반 홀로그램 비디...

[1] SOTA* 기술 대비 동일 수준의 인지 화질에서 3배 이상의 압축률을 제공하는 신호처리 기반 홀로그램 비디오 부호화 기술 개발 (*Versatile Video Coding(VVC)[5]: 2021년 표준화가 완료된 가장 최신 및 현 최고 수준의 비디오 압축 표준)[2] 홀로그램 신호 특성 및 가상 객체 화질에 최적화된 딥 네트워크 기반 홀로그램 비디...

1차년도에는 딥러닝 기반 영상압축 네트워크를 개발하는 것을 첫 연구내용으로 시작하며, 구체적으로 엔트로피 모델 기반 단일신경망 영상압축 네트워크 개발 연구를 진행한다. 단일신경망 기반 영상압축 기술은 예측, 변환, 양자화 등의 전 과정을 인공신경망으로 대체하는 기술이라 할 수 있으며, 대표적인 예로 오토인코더 구조를 들 수 있다. 기존의 오토인코더는 입력 영상을 특징추출 네트워크 통해 변환 처리할 때, 대폭적으로 차원이 축소된 은닉변수에 최대한 많은 정보를 담으려는 방식이다. 하지만 이 방식은 학습 단계에서 은닉변수의 엔트로피가 증가하기 때문에 추가적인 압축 성능을 획득하는데 한계가 있다. 이를 극복하기 위해 본 과제에서는 은닉변수 분포에 대해 근사모델을 적용하는 엔트로피 모델 방식을 연구한다. 다음으로, 영상의 왜곡 값을 계산할 때 PSNR 또는 SSIM 등의 전통적인 화질지표들이 일반적으로 사용되어왔다. 하지만 상기 화질 지표들은 사람의 주관적 인지화질을 잘 반영하지 못한다는 사실이 다양한 연구들을 통해 밝혀져 있다. 따라서, 예측 정확도가 개선된 인지화질 자동측정 지표를 개발하는 연구를 진행한다. 3년차에는, 상기 1) 딥러닝 기반 영상압축 네트워크와 2) 인지화질 자동측정 알고리즘을 통합하여, 동일 비트량을 사용하는 환경에서 더 좋은 화질(Visual Quality)의 복원영상을 제공해 줄 수 있는 인지화질 기반 통합 영상압축 네트워크를 개발한다.

1차년도에는 딥러닝 기반 영상압축 네트워크를 개발하는 것을 첫 연구내용으로 시작하며, 구체적으로 엔트로피 모델 기반 단일신경망 영상압축 네트워크 개발 연구를 진행한다. 단일신경망 기반 영상압축 기술은 예측, 변환, 양자화 등의 전 과정을 인공신경망으로 대체하는 기술이라 할 수 있으며, 대표적인 예로 오토인코더 구조를 들 수 있다. 기존의 오토인코더는 입력 영상을 특징추출 네트워크 통해 변환 처리할 때, 대폭적으로 차원이 축소된 은닉변수에 최대한 많은 정보를 담으려는 방식이다. 하지만 이 방식은 학습 단계에서 은닉변수의 엔트로피가 증가하기 때문에 추가적인 압축 성능을 획득하는데 한계가 있다. 이를 극복하기 위해 본 과제에서는 은닉변수 분포에 대해 근사모델을 적용하는 엔트로피 모델 방식을 연구한다. 다음으로, 영상의 왜곡 값을 계산할 때 PSNR 또는 SSIM 등의 전통적인 화질지표들이 일반적으로 사용되어왔다. 하지만 상기 화질 지표들은 사람의 주관적 인지화질을 잘 반영하지 못한다는 사실이 다양한 연구들을 통해 밝혀져 있다. 따라서, 예측 정확도가 개선된 인지화질 자동측정 지표를 개발하는 연구를 진행한다. 3년차에는, 상기 1) 딥러닝 기반 영상압축 네트워크와 2) 인지화질 자동측정 알고리즘을 통합하여, 동일 비트량을 사용하는 환경에서 더 좋은 화질(Visual Quality)의 복원영상을 제공해 줄 수 있는 인지화질 기반 통합 영상압축 네트워크를 개발한다.