Theory and complexity for Wasserstein-distance-based generative modeling and learning
연구 내용
Wasserstein 거리와 Kantorovich duality를 활용해 score-based 생성모델과 Wasserstein GAN의 목적함수 관계를 이론적으로 분석하고 학습 알고리즘의 복잡도를 정립하는 연구
권도현 연구실은 최적운송 이론을 학습 문제에 연결하여 Wasserstein 거리 기반 생성모델과 학습 알고리즘의 이론적 토대를 구축합니다. score-based generative modeling에 대해 학습 목적이 Wasserstein 거리 최소화와 연관됨을 보이며, 목적함수에 대한 상계 형태로 거리 지배를 도출합니다. 또한 Wasserstein GAN에서는 Kantorovich duality에서의 c-transform을 이용해 discriminator의 Lipschitz 제약을 안정적으로 강제하면서 gradient penalty 없이 학습을 수행하는 방법을 제시합니다. 더 나아가 비볼록 목적에 대한 block coordinate descent with proximal regularization의 최악 복잡도 경계를 정립하고, 이를 Wasserstein CP-dictionary learning으로 확장하여 dual space에서 엔트로피 및 근접 정규화를 결합한 효율적 절차를 구성합니다.
관련 연구 성과
관련 논문
3편
관련 특허
0건
관련 프로젝트
0건
연구 흐름
연구는 Wasserstein GAN을 gradient penalty 없이 안정적으로 학습시키기 위한 목적함수 재구성과 제약 강제 전략에서 시작되었습니다. 이어서 score-based 생성모델의 학습 목표가 Wasserstein 거리와 어떻게 연결되는지 최적운송 관점에서 이론을 확장했습니다. 이후 생성과 학습을 아우르는 관점에서, 비볼록 최적화에 대한 block coordinate descent의 복잡도 보장을 정식화하고, Wasserstein CP-dictionary learning으로 응용하여 dual space에서의 정규화 구조까지 포함한 알고리즘 설계로 발전하고 있습니다.
활용 가능성
활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.
관련 논문
구분
제목
Score-based Generative Modeling Secretly Minimizes the Wasserstein Distance
Training Wasserstein GANs without gradient penalties
Complexity of Block Coordinate Descent with Proximal Regularization and Applications to Wasserstein CP-dictionary Learning