도메인 일반화 기반의 약지도·오픈시나리오 시맨틱 세그멘테이션 연구

Domain generalization for weakly supervised and open-vocabulary semantic segmentation

연구 내용

도메인 일반화 관점에서 시각 모델의 견고성을 분석하고, CNN과 ViT의 상호보완 정보 및 오브젝트-컨텍스트 지식을 결합해 약지도·오픈보캐뷸러리 시맨틱 세그멘테이션 성능을 향상하는 연구

시각 데이터 분포가 달라지는 환경에서 세그멘테이션 성능이 흔들리는 문제를 도메인 일반화 관점에서 다룹니다. 도메인 정렬 기반 기법이 언제 유효한지 이론적으로 검토하고, 훈련 과정에서의 동적 관점으로 확장합니다. 또한 이미지 수준 분류 정보로부터 CAM 기반의 클래스 정밀도와 비전 트랜스포머 기반의 의미 범위를 함께 활용해 일관된 패치 단위 의사 마스크를 생성합니다. 오픈보캐뷸러리 설정에서는 객체 수준 맥락과 텍스트-비전 정렬을 강화하여 임의 프롬프트에도 객체 경계에 집중된 마스크를 구성하는 방향으로 연구를 수행합니다.

관련 프로젝트

4건

연구 흐름

초기에는 도메인 적응 이론을 바탕으로 DANN 계열 접근이 도메인 일반화에서 어떻게 작동하는지 조건을 분석하고, 학습 중 동역학 관점에서 해석 가능한 확장 알고리즘을 제안했습니다. 이후 2024년에는 이미지 수준 약지도 세그멘테이션에서 CNN의 클래스 인지성과 ViT의 의미 인지를 분리 학습하고 상호보완적으로 결합하는 CoBra 구조를 구축했습니다. 2025년에는 오픈보캐뷸러리 세그멘테이션에서 객체 수준 컨텍스트를 반영하기 위해 스펙트럴 기반 특징을 주의 메커니즘에 증류하고 텍스트 임베딩 정렬을 보강하는 방향으로 발전시켰습니다. 동시에 확률적 생성모델 기반의 잠재 표현 해석 가능성을 높여 하위 작업으로의 전이를 돕는 연구를 병행했습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

도메인 변화에 강인한 세그멘테이션 모델
약지도 기반 영상 마스킹 자동화
오픈보캐뷸러리 질의 기반 인식 파이프라인
객체 수준 컨텍스트 정렬 모듈
의사 마스크 품질 향상 프레임워크
표현 분해를 통한 설명 가능한 비전 모델
의료 영상 라벨 효율화
설명 가능한 예후 예측용 비전 특성 추출
도메인 불일치 환경의 진단 보조
데이터 결핍 상황의 모델 적응 기술