확산모델 기반 군중 생성과 동적 장면 편집·NeRF 표현 학습 연구

Diffusion-Based Crowd Generation and Dynamic Scene Editing with Neural Radiance Fields

연구 내용

확산모델과 시간 일관성 기법으로 군중의 연속 거동을 생성하고, 동적 조명 환경에서 장면 편집을 가능하게 하는 NeRF 기반 표현을 학습하는 연구

군중 행동을 단일 프레임 생성이 아닌 연속 궤적으로 모델링하기 위해, 입력 이미지에서 레이아웃과 밀도 지도를 추출한 뒤 diffusion 모델로 에이전트의 시작·종료와 행동 특성을 시간축에서 배치합니다. 이후 시뮬레이터에서 마르코프 체인을 활용해 장기 보행의 다양성을 확장하고, 사용자 제어가 가능한 생성 구조를 구성합니다. 생성형 inbetweening에서는 역방향·정방향 경로의 정합 불일치를 완화하기 위해 forward 잔차의 motion prior를 distillation으로 전달하여 시간 일관성을 높입니다. 동적 조명에서는 rehearsal 단계의 안정 조명 정보를 조건으로 사용해 조명 색과 장면 radiance를 분리 학습하며, optical flow 기반 정규화로 편집 안정성을 확보합니다.

관련 프로젝트

8건

연구 흐름

초기 연구는 메타버스와 디지털 트윈 환경에서 활용 가능한 뉴럴 렌더링 기반 표현을 목표로 뉴럴 휴먼 모델링과 사용자 참여형 제작 파이프라인을 정립했습니다. 이후 군중 생성으로 확장하면서, 입력 장면에서 레이아웃·밀도 정보를 추출하고 diffusion 기반 emitter와 장기 시뮬레이터를 결합해 연속 거동을 생성하는 방향으로 발전했습니다. 최근에는 생성형 비디오의 시간 불연속 문제를 motion prior distillation으로 다루고, dynamic illumination이 존재하는 장면에서 NeRF의 조명-복사 분리를 rehearsal 기반 제약으로 해결하며 장면 편집 성능을 향상하는 흐름을 이어가고 있습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

연속 군중 궤적 생성기
디지털 트윈용 행동 시뮬레이터
생성형 비디오 inbetweening 도구
시간 일관성 개선 샘플링 기법
동적 조명 NeRF 편집기
가상현실/확장현실 장면 생성
뉴럴 렌더링 기반 콘텐츠 제작
사용자 제어형 생성 파이프라인
장면 편집용 마스크 기반 복원
메타스테이지 제작 기술 연계 모듈