Video Understanding and Prediction with Spatiotemporal Memory and Motion Models
연구 내용
로컬·글로벌 메모리 매칭으로 시간 일관성을 강화하고, 대칭·비대칭 모션 워핑으로 가림과 비선형 운동을 처리하며, 윤곽 기반 예측을 수행하는 연구
김창수 연구실은 비디오에서 시간적 일관성과 가림(occlusion)을 함께 다루기 위한 시공간 모델링을 수행합니다. 프레임 보간에서는 대칭 모션과 비대칭 모션 워핑 모듈을 조합해 선형·비선형 운동을 분리 처리하고, 가림 문제에 대응하도록 보간 결과를 재구성합니다. 또한 비디오 오브젝트 세그멘테이션에서는 로컬 메모리의 시간 근접성을 반영하는 읽기·비교 연산을 설계하고, 전역 메모리와 로컬 메모리의 친화도를 비교해 적응적으로 값을 선택합니다. 아울러 윤곽 기반 표현을 활용해 자율주행 환경의 객체 전개를 예측하는 방법을 연구합니다.
관련 연구 성과
관련 논문
3편
관련 특허
0건
관련 프로젝트
0건
연구 흐름
2022년에는 메모리 기반 비디오 오브젝트 세그멘테이션에서 시간 스무딩을 보강하기 위한 로컬 메모리 read-and-compare 연산을 정립했습니다. 2023년에는 프레임레이트 향상을 목표로, 대칭·비대칭 모션 워핑을 동시에 사용하는 보간 네트워크로 확장하며 가림과 비선형 운동에 대한 보간 신뢰도를 높였습니다. 2024년에는 자율주행을 대상으로 윤곽 기반 객체 전개 예측으로 연구 축을 넓혀 비디오 이해의 상위 단계 문제를 다루는 흐름을 구성했습니다.
활용 가능성
활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.
관련 논문
구분
제목
Video Frame Interpolation Based on Symmetric and Asymmetric Motions
Local Memory Read-and-Comparator for Video Object Segmentation
Contour-based object forecasting for autonomous driving