손실 지형 평탄성·Hessian 근사 기반 일반화 최적화 연구
Generalization Optimization via Flatness and Hessian Approximation
연구 내용
손실 지형의 샤프니스와 평탄성을 정량화하고, 과매개변수화 및 Hessian 근사 전략을 통해 일반화를 강화하는 최적화 이론과 알고리즘을 개발하는 연구
딥러닝 학습에서 일반화가 손실 지형의 샤프니스와 연결된다는 관점을 기반으로 최적화 절차를 설계하는 연구를 수행합니다. Sharpness-aware Minimization의 효과가 과매개변수화와 어떻게 결합되는지 분석하고, 솔루션 공간 확장과 암묵적 편향의 상호작용이 평탄한 영역으로의 수렴에 미치는 영향을 이론·실험으로 설명합니다. 또한 2차 최적화가 일반화 측면에서 손해를 보일 수 있다는 문제를 Hessian 근사의 안정성과 궤적 기반 평탄성 감소 관점에서 다루며, Sassha처럼 근사 Hessian 계산의 안정성을 확보하면서 샤프니스 완화를 목표로 하는 방법을 제안합니다. 아울러 배치 크기와 희소화가 수렴 단계에 미치는 경향을 실험적으로 정리하고, 확률적 경사법의 수렴 성질과 최적화 지형의 매끈함에 근거해 이를 해석합니다.
관련 연구 성과
관련 논문
3편
관련 특허
0건
관련 프로젝트
4건
연구 흐름
초기에는 2020년 무렵 데이터 병렬성과 희소화가 학습 수렴에 미치는 영향을 엄밀하게 측정하고, 최적화 메타파라미터를 함께 조정하면서 수렴 경향을 도출했습니다. 이후 2023년에는 Sharpness-aware Minimization을 과매개변수화의 관점에서 재해석하여 샤프니스 저감이 성립하는 조건과 안정성을 체계적으로 분석했습니다. 2025년에는 기존 2차 방법의 일반화 격차를 손실 지형과 Hessian 근사 안정성으로 연결해 Sassha를 제안하고, 수렴·강건성·효율의 관점에서 검증했습니다. 최종적으로는 희소화 및 압축과 결합 가능한 평탄 최소점 탐지로 확장할 계획을 수립했습니다.
활용 가능성
활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.
- 샤프니스 기반 일반화 예측
- Hessian 근사 안정화 최적화
- 배치·학습단계 튜닝 가이드라인
- 평탄 최소점 기반 모델 선택
- 레이블 노이즈 대응 학습 전략
- 희소 모델 학습 안정화
- 분산 최적화 파라미터 설계
- 수렴 이론 기반 성능 보정
- 효율과 성능의 트레이드오프 최적화
- 샤프니스-비용 균형 스킴
관련 논문
구분
제목
Critical Influence of Overparameterization on Sharpness-aware Minimization
SASSHA: Sharpness-aware Adaptive Second-order Optimization with Stable Hessian Approximation
Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training
관련 프로젝트
구분
제목
효율적 평탄한 최소점 탐지에 의한 일반화 성능의 향상
효율적인 대규모 기계학습을 위한 고급 최적화 이론과 알고리즘
효율적인 대규모 기계학습을 위한 고급 최적화 이론과 알고리즘
효율적인 대규모 기계학습을 위한 고급 최적화 이론과 알고리즘