NAS·양자화·도메인 적응으로 경량화하는 AI 모델 설계

Model Efficientization via NAS, Quantization, and Domain Adaptation

연구 내용

Genetic Algorithm 기반 NAS와 분포 보존 양자화, 무감독 도메인 분리·LoRA 적응으로 데이터 효율적 경량 모델을 만드는 연구

사전학습 모델의 과도한 크기와 자원 요구를 줄이기 위해 Vision Transformer 구조를 유전 알고리즘 기반으로 탐색하고, Dense Relative Localization과 같은 유도편향을 결합하여 소량 데이터에서도 효율적으로 동작하도록 설계합니다. 또한 attention 기반 LSTM에 대해 분포 인지 양자화 절차를 적용하여 양자화로 인한 성능 저하를 완화하고 엣지 환경의 실시간 예측을 지원합니다. 의료 텍스트 작업에서는 무감독 도메인 분리와 domain detector를 통해 서로 다른 전문 영역의 지식을 효율적으로 적응시키며, LoRA 기반의 매개변수 절감 전략을 적용합니다. 이를 통해 모델 경량화와 도메인 특화 성능을 함께 확보하는 차별성을 갖습니다.

관련 프로젝트

4건

연구 흐름

초기에는 비전 트랜스포머의 자원 비효율 문제를 해결하기 위해 구조 탐색 기반 경량화 프레임워크를 구축했습니다. 이후 소형 모델을 넘어 실제 배포 시 요구되는 엣지 자원 제약을 반영하여 양자화 친화적 attention-LSTM 구조를 연구했습니다. 2025년에는 의료 언어 과제에서 도메인 간 지식 경계를 무감독으로 분리하고, LoRA 기반 적응을 통해 전문 영역 성능을 유지하면서 파라미터 사용을 줄이는 방향으로 확장했습니다. 스마트 윈도우 제어와 같이 입력 변수-출력 변색 모델을 학습해 실제 제어 신호를 산출하는 응용 흐름으로도 연결했습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

Vision Transformer 경량 구조 탐색
분포 보존 양자화 모듈
에너지 사용량 예측 파이프라인
엣지 디바이스 실시간 추론
데이터 부족 상황의 비전 모델 학습
의료 도메인 적응형 LLM
전문 분야 QA 시스템
무감독 도메인 분리 학습 체계
스마트 윈도우 제어 모델링
의료 지식 평가용 경량 모델