최근 원격탐사 분야에서 멀티모달(Multi-modal) 모델을 이용한 시각적 질의응답(Visual Question Answering, VQA) 연구가 활발히진행되고 있으나, 방대한 데이터와 복잡한 추론 과정으로 인해 연산 효율성 및 성능 개선의 한계가 있다. 본 논문은 이러한 한계를 극복하기 위해 경량화된 원격탐사 이미지 기반 시각적 질의응답(Remote Sensing Image-Visual Question Answering, RSI-VQA)을 위한전문가 혼합 모델(Mixture-of-Experts, MoE) 프레임워크를 제안한다. 비전과 언어 작업에 특화된 각각의 3개의 전문가 모델에게 데이터 특성에 따른 적응형 가중치를 동적으로 적용함으로써, 모든 전문가에게 동일한 가중치를 부여하던 기존 방식 대비 경량화된 구조로성능을 향상시켰다. 다양한 원격탐사 데이터셋에 실험을 진행한 결과, 제안된 방법은 기존 모델 대비 우수한 문장 생성 능력과 연산효율성을 가짐을 확인하였다.