고주파 영역에 강인한 3D 장면 재구성 네트워크 연구

Robust 3D scene reconstruction against high-frequency regions

연구 내용

RGB에서 edge surface normal 정보를 추출하고 2.5D 스케치·인코더를 결합해 고주파 영역의 누락을 보완하는 3D 재구성 연구

본 연구는 RGB 입력으로부터 장면의 깊이 구조를 복원하되, 각진 서랍부·탁자 모서리처럼 고주파 영역에서 발생하는 표현 한계를 줄이는 데 초점을 둡니다. edge 이미지로 고주파 단서를 보강하고 surface normal 이미지를 통해 저빈도 영역의 정보 부족을 보완하도록 분기(branch) 구조를 설계합니다. ConvNeXt와 Swin Transformer 계열 백본의 계층 표현을 활용해 전체 장면을 계층적으로 표현하고 unprojection을 통해 세부 3D 복원을 수행합니다.

관련 프로젝트

1건

연구 흐름

초기에는 voxel 기반 3D 표현이 고주파 영역에서 성능이 저하되는 원인을 확인하고, edge·surface normal 같은 보조 지도를 통해 정보 보강이 가능한지 검토했습니다. 이후 2.5D 스케치와 인코더를 결합한 네트워크로 여러 3D feature volume을 구성하는 방향으로 확장했습니다. 2023년에는 ScanNet 평가를 통해 고주파·저주파 영역 모두에서의 재구성 강인을 강조한 구조를 제안했습니다. 이후 로봇산업 전문인력 양성 과정을 통해 현장 적용형 3D 지각 기술 역량을 축적하는 흐름으로 이어졌습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

로봇 SLAM 보조 입력
실내 구조 3D 맵 생성
고주파 표면 보존 스캔
장애물 형태 복원
장면 이해 기반 조작 계획
모서리·틈새 검출 전처리
서비스 로봇 내비게이션 지도 고도화
가상 공간 렌더링용 3D 데이터
로봇 작업공간 모델링
2.5D 기반 실시간 지각 모듈