고품질 3D 객체는 디지털 트윈에서 중요한 역할을 하며, 이러한 객체로부터 생성된 합성 데이터는 딥러닝 기반 컴퓨터 비전 응용에서 필수적인 요소가 되었다. 산업용 객체 표면에서 실제 결함을 수집하고 라벨링하는 작업은 여러 도전과 노력이 따르는 반면, 합성 데이터 생성은 라벨링된 데이터를 대량으로 효과적으로 재현할 수 있다. 그러나 합성 데이터셋은 렌더링된 이미지의 현실감이 부족하다. 본 논문은 이러한 문제를 해결하기 위해 디지털 트윈 스마트 팩토리 응용을 위한 3D 산업용 객체 복원과 합성 결함 생성을 단일 프레임워크로 제시한다. 구체적으로, 스마트폰 카메라로 수집한 비디오를 통해 사용자 정의 산업용 3D 객체를 복원하기 위해 NeRF를 적용한다. 결함 생성의 다음 단계에서 3D 객체 표면에 대한 최적의 결과를 선택하기 위해, 여러 NeRF 기반 모델(i.e., Instant-NGP, Nerfacto, Volinga, Tensorf)을 비교한다. 공정한 평가를 위해, 두 개의 객체에 대한 세 가지 사용자 정의 데이터셋을 사용하여 Nerfstudio 프레임워크로 네 가지 모델을 학습한다. 실험 결과에 따르면 Instant-NGP와 Nerfacto가 가장 우수한 성능을 보였으며, 다른 모든 방법을 유의하게 능가한다. 3D 객체의 내보낸 메시는 Blender를 사용해 정교화한 후 NVIDIA Omniverse Code에 로드하여 Replicator로 표면의 결함을 생성한다. 객체 탐지 성능을 평가하고 합성 결함 데이터의 이점을 검증하기 위해, 합성 결함 및 실제+합성 결함에 대해 YOLO 기반 모델을 사용한 실험을 수행하였다. 실험 결과, 합성 결함 데이터는 YOLO 모델의 일반화 능력을 향상시키는 데 기여하였으며, YOLOv6n과 YOLOv8s에서 각각 mAP@0.5 기준 최고 및 최저 정확도 향상이 18.8%와 1.5%로 나타났다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.