비전 트랜스포머의 해석 가능성 및 영상 복원

Vision Transformer Interpretability and Image Restoration

연구 내용

Vision Transformer의 패치 수준 예측으로 해석 가능성을 높이고, 멀티 레벨 저-고해상도 어텐션 구조로 영상 복원 효율을 개선하는 연구

Vision Transformer 기반 모델의 성능뿐 아니라 내부 동작을 확인할 수 있는 해석 가능성 설계를 수행합니다. 특히 패치 단위 마스크 예측을 통해 모델이 어떤 영역을 근거로 추론하는지 학습 과정과 연계해 해석 신호를 구성합니다. 또한 이미지 super-resolution에서 window self-attention의 한계를 완화하기 위해, 채널 및 공간 해상도를 단계적으로 변화시키는 low-to-high multi-level attention 구조를 제안합니다. 이 구조는 국소 정보와 전역 정보를 함께 반영하도록 설계되며, 연산 복잡도와 추론 메모리 사용량을 줄이면서 성능을 유지하거나 개선하는 방향으로 최적화를 진행합니다.

관련 프로젝트

0건

연구 흐름

초기에는 ViT의 해석 가능성 문제를 다루기 위해 patch-level mask prediction 형태의 학습 목표를 구성하고, 모델이 유의미한 패치 근거를 형성하도록 유도했습니다. 이후에는 동일한 트랜스포머 계열의 구조적 한계를 문제 설정으로 전환하여, window self-attention이 처리하는 경계 효과와 고비용 연산을 줄이는 설계로 연구를 확장했습니다. 2024년의 해석 가능성 연구 축적 이후, 저-고 멀티 레벨 attention을 적용한 LMLT 계열의 이미지 super-resolution으로 이어지며, 로컬·글로벌 정보 통합과 효율화를 동시에 달성하는 연구 흐름을 구성했습니다. 최근에는 이 두 축을 연결해 모델 내부 신호와 구조 효율이 함께 개선되는 방향을 점검하고 있습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

해석 가능성 향상 기반 시각 모델 검증
패치 수준 근거 시각화 도구
고해상도 이미지 복원 파이프라인
경량화된 super-resolution 추론
트랜스포머 기반 영상 품질 향상
경계 효과 완화형 attention 설계
GPU 자원 기반 서비스 배치
의료·산업 영상 전처리
저전력 단말용 비전 모델 최적화
품질 지표 중심 모델 튜닝