Scene Graph 유사도 기반 이미지-이미지 검색 연구

Image-to-Image Retrieval via Similarity between Scene Graphs

연구 내용

Scene graph로 이미지의 고수준 의미를 구조화하고, scene graph 간 유사도를 그래프 신경망으로 학습해 사람 인지와 정합되는 이미지-이미지 검색을 수행하는 연구

이미지는 장면 내 객체와 관계를 포함한 고수준 정보로 정리될 수 있으므로, 이미지 각각을 scene graph로 표현하고 두 이미지의 의미적 관련성을 graph similarity로 정량화합니다. 이를 위해 그래프 신경망으로 scene graph 유사도가 이미지 검색에서의 관련도 측정치를 예측하도록 학습합니다. 사람 캡션 기반 문장 유사도에서 계산되는 proxy 관련도 개념을 사용하고, 검색 알고리즘 평가를 위한 사람 기반 관련도 데이터셋을 구축하여 모델이 인지되는 유사도와 얼마나 일치하는지 검증합니다.

관련 프로젝트

0건

연구 흐름

초기 연구는 이미지의 고수준 내용을 scene graph로 압축하는 표현을 바탕으로, 두 이미지의 의미 관련성이 scene graph 간 유사도에 반영된다는 가설을 정립하는 데 집중되었습니다. 이후 graph neural network를 활용해 scene graph 유사도를 학습 가능한 형태로 구성하고, 사람 캡션으로부터 계산한 proxy 관련도 신호로 감독 학습을 수행했습니다. 마지막으로 검색 성능을 체계적으로 비교하기 위해 사람 기반 이미지 관련도 데이터셋을 수집·공개하며, 경쟁 방법 대비 인지 정합성을 확인하는 방향으로 확장되었습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

의미 기반 이미지 검색
콘텐츠 추천 랭킹
멀티모달 데이터셋 구축
자동 이미지 주석 생성
장면 관계 인덱싱
검색용 유사도 함수 학습
시각적 질의응답 전처리
이미지 중복/유사도 감지
캡션-기반 검색 고도화
그래프 기반 시각 표현 활용