비전-언어 멀티모달의 멀티이미지 추론 및 상호작용 인식

Multimodal Multi-Image Reasoning and Human–Object Interaction Recognition

연구 내용

LVLM의 멀티이미지 추론에서 발생하는 크로스-이미지 정보 누출을 완화하고, CLIP prior 기반으로 영상 상호작용을 인식하는 방법을 개발하는 연구

대규모 비전-언어 모델이 단일 이미지에서는 강인하게 동작하더라도, 다수 이미지 입력에서는 시각 단서가 출력에 얽혀 성능이 저하되는 현상을 다룹니다. 이를 cross-image information leakage로 정의하고, 별도 학습 없이 추론 단계에서 마스킹과 로짓 집계를 활용하는 decoding 전략을 제안합니다. 또한 noise-only 참조 입력을 통해 누출에 의한 영향이 줄어들도록 대비 기반으로 결과를 정제합니다. 동시에 비디오 기반 human–object interaction 인식에서는 CLIP prior knowledge를 활용하여 영상 프레임의 시각-언어 정렬 신호를 보강하고, 상호작용 분류 성능을 향상시키는 방향으로 연구를 수행합니다.

관련 프로젝트

3건

연구 흐름

연구는 멀티모달 인식에서 단일 입력 중심의 성능 특성이 멀티이미지로 확장될 때 어떻게 무너지는지 관찰하는 것으로 시작되었습니다. 이후 LVLM의 출력이 서로 다른 이미지의 단서가 섞여 나타나는 cross-image information leakage 문제를 제기하고, training-free decoding과 로짓 집계, 대비 기반 정제로 완화하는 연구를 수행했습니다. 동시에 비디오 기반 human–object interaction 인식에서는 CLIP prior 지식을 반영해 상호작용 범주의 시각적 단서를 보강하는 방향으로 접근했습니다. 이후 두 흐름은 “시각 단서의 정렬과 결합 방식”이라는 공통 축에서, 멀티이미지 입력과 비디오 인식 모두에 적용 가능한 추론 안정화로 수렴하는 형태로 발전하고 있습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

멀티이미지 질의응답용 추론 안정화
비디오 상호작용 인식 자동화
콘텐츠 생성·검증을 위한 멀티뷰 이해
메타버스 장면 인지 모듈
몰입형 교육용 멀티모달 인터랙션
멀티카메라 기반 객체 행동 추정
추론 단계 마스킹 기반 정보 정제
사고 장면 분석용 증거 정렬
다중 소스 입력 통합형 비전 모델
훈련비 절감형 디코딩 전략