효율적 딥러닝 기반 영상 이해 및 이미지 캡셔닝 연구

Efficient Deep Learning for Visual Understanding and Image Captioning

연구 내용

CNN과 Transformer의 구성 요소를 개별 최적화하고 가지치기·손실함수·전이학습을 적용하여 제한된 연산 자원에서도 영상의 의미를 분석하고 자연어로 설명하는 연구

영상 이해 기술은 시각적 특징 추출뿐 아니라 장면의 의미를 언어 또는 구조화된 정보로 변환하는 과정을 포함합니다. 연구실은 사전 학습된 CNN 인코더, Transformer 인코더와 디코더로 구성된 이미지 캡셔닝 구조를 대상으로 각 구성 요소를 독립적으로 가지치기하는 방법을 개발합니다. 구성 요소별 최적화는 전체 네트워크 구조가 달라지거나 일부 모듈을 공유하는 모델에도 적용할 수 있도록 설계됩니다. 디코더 학습에는 캡션 생성에 적합한 손실 조건을 적용하여 표현 품질을 보완하며, 영문과 한글 캡션에 대한 검증을 수행합니다. 잔차 블록과 스펙트럴 정규화를 활용한 초해상도 연구와 연계하여 시각 정보 복원과 의미 해석을 동시에 고려하는 경량화 방법론을 보유하고 있습니다.

관련 프로젝트

0건

연구 흐름

초기 연구는 CNN과 잔차 구조를 활용한 영상 특징 추출 및 복원 성능 개선에서 출발했습니다. 이후 Residual Dense Network와 Spectral Normalization을 적용하여 네트워크의 안정성, 파라미터 효율과 시각적 품질을 함께 검토했습니다. 이러한 영상 표현 기술은 Transformer 기반 이미지 캡셔닝으로 확장되었으며, 인코더와 디코더의 구성 요소별 가지치기를 통해 모델 복잡도와 연산량을 조정하는 방향으로 발전했습니다. 최근에는 개별 모듈 최적화와 디코더 손실 개선을 결합하고, 다양한 캡션 모델에 대한 적용 가능성과 다국어 영상 설명 성능을 검증하고 있습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

모바일 이미지 검색 및 설명 서비스
시각장애인 보조 영상 해설
저전력 영상 인식 단말
스마트 카메라 자동 메타데이터 생성
콘텐츠 접근성 향상 플랫폼
영상 아카이브 자동 색인
엣지 환경 이미지 캡셔닝
다국어 미디어 콘텐츠 변환
로봇 시각 상황 설명
영상 기반 교육 콘텐츠 생성