데이터 제한 환경에서의 적응형 학습과 모델 압축 연구
Adaptive Learning and Model Compression Under Data Constraints
연구 내용
자기지도·연합·생성 기반 샘플 효율 학습과 LLM 증류를 연계하여 데이터 제한 상황에서 성능을 확보하는 연구
본 연구는 학습 데이터의 규모나 품질이 제한된 환경에서 목표 성능을 확보하기 위한 방법론에 초점을 둡니다. 의료 영상 분야에서는 SSL, TL, FL, GAN 기반 데이터 증강을 결합해 데이터 부족 조건에서 burn severity assessment 성능을 안정화하는 절차를 구축합니다. 언어모델 분야에서는 사용자 관점을 반영한 ToD 데이터 생성 후 distillation으로 small language model의 aspect-awareness를 향상시킵니다. 또한 in-context policy adaptation에서 cross-domain skill diffusion과 domain prompting을 통해 제한된 타깃 데이터로 정책을 빠르게 적응시키는 전략을 제시합니다.
관련 연구 성과
관련 논문
4편
관련 특허
0건
관련 프로젝트
2건
연구 흐름
초기에는 2022년에 데이터 확보 비용이 큰 의료 영상 분석에서 SSL 중심 샘플 효율 학습과 데이터 제한 적응 기법의 효과를 체계적으로 실험했습니다. 이후 2025년에는 task-oriented dialogue에서 대형 언어모델의 사용자 관점 능력을 생성·증류 방식으로 소형 언어모델로 압축하는 연구로 확장했습니다. 동시에 2025년에는 no model updates 제약 및 제한된 타깃 데이터 조건에서 diffusion 기반 스킬 학습을 활용한 in-context policy adaptation을 제안했습니다. 관련 프로젝트에서는 on-device AI와 초개인화 관점을 포함해 실사용 제약 아래 적응형 AI를 적용하는 방향으로 연결합니다.
활용 가능성
활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.
- 샘플 효율 학습 파이프라인
- 자기지도 표현학습
- 전이학습 기반 적응
- 연합학습 데이터 정합
- GAN 기반 데이터 증강
- 소형 언어모델 증류
- 사용자 관점 조건화
- 교차도메인 정책 적응
- 온디바이스 추론 최적화
- 의료 영상 분류 보조 모델
관련 논문
구분
제목
Sample-Efficient Deep Learning Techniques for Burn Severity Assessment with Limited Data Conditions
Aspect-augmented distillation of task-oriented dialogues to small language models
In-Context Policy Adaptation via Cross-Domain Skill Diffusion
In-Context Policy Adaptation via Cross-Domain Skill Diffusion
관련 프로젝트
구분
제목
AI스타펠로우십지원(서울대학교)
AI스타펠로우십지원(울산과학기술원)