1. 스테레오 비전 시스템 및 설치/운용 방법 개발 ￭ 양안 인식(Binocular perception)이 가능한 스테레오 비전 시스템 선정 - 원격 조종자의 기술 요구 수준 분석을 통한 시스템 최소 사양 정의 (예, 해상도, 프레임율, 지연도 등) - 요구 수준에 기반하여 적정 Depth Range선정을 위한 스테레오 카메라 Baseline, Pixel size, Disparity Value 정의 및 Stereo matching ￭ 사각 지대(Blind spot)을 최소화 하는 360도 스테레오 비전 시스템 개발 - 이미지 정합(Stitching) 사용 여부 검토 - 굴삭기 부착 가능 영역(안전, 전원, 부착 안정성 등 검토) 검토 및 위치 선정 2. 3축 짐벌(Gimbal) 연동 FPV (First Person View) 시스템 개발 ￭ 3축 짐벌 및 스테레오 비전 통합 - 구축을 위한 하드웨어 설계 및 통신 방법 선정 - 적정 3축 짐벌 시스템 선정 및 설치 방법 검토 (예, 3D 프린팅을 이용한 마운트 설계 및 제작) ￭ FPV 시스템 설계 및 개발 - Low-latency 전송 방법 선정 - 미디어 트래픽에 따른 네트워크 대역폭 산정 - 통신 규약 및 환경 선정 3. 몰입형 AR/VR 플랫폼 선정 및 헤드 트레킹―짐벌 동기화 기술 개발 ￭ 몰입형 AR/VR 헤드셋 기반 조종자 헤드 트레킹 및 짐벌 동기화 시스템 - 좌표 시스템 및 파라미터값 정의 - 원격 조종자 헤드 트레킹(Head tracking) 및 스마트 헤드 트레킹 기술(360도 영상 transition 기술 및 이종 스테레오 시스템간 이미지 병합) - 지연시간 최소화 기술 적용 4. 몰입형 AR/VR 그래픽 처리 및 굴삭기 멀티모달 인터페이스 기술 ￭ 몰입형 AR/VR 그래픽 처리 - 증강 현실(Augmented Reality)과 증강 가상현실(Augmented Virtuality) 기법/수준 정의 - OpenCV 및 게임 엔진(유니티, 언리얼 엔진 등)기반 그래픽 환경 구축 ￭ Human-Machine Interface - 멀티모달 인터페이를 위한 Ambient noise 및 진동 전송 시스템 사용 검토 및 선정 - 원격 조종 인터페이스 선정(원격 제어 시스템은 개발범위 外) 5. BIM 시공정보 검색, 추출 및 가공 기술 ￭ 토공사 BIM 표준 데이터 분석 - 토공사와 관련된 BIM 제품 데이터 모델에 대한 포맷표준(IFC4 기반), 전자보고서 작성 및 납품 과정에 대한 표준(IDM, MVD, 납품지침), 업무를 위한 주요 속성정보 관련 표준, 웹기반 ICT 관련 표준별로 추출 가능한 BIM 데이터 정의 ￭ AR/VR기반 굴삭기 시공정보 추출 - BIM 모델 AR/VR 플랫폼 운용 가능성 검토 - 각 굴삭 작업 수행에 도움이 되는 정보형태를 굴삭기 조종자, 엔지니어, 사업관리자를 대상으로 한 인터뷰를 통해 조사 - BIM 정보 가공 및 시공 정보(예, 설계고 대비 현재 굴착 깊이) 결과 도출 6. 굴삭 시공 정보 AR/VR 병합 및 업데이트 기술 ￭ Markerless-AR/VR 맵핑 및 병합 기술 - 3차원 객체 모델 확립 - 카메라 교정 및 고유 파라미터 산출 - 추적 객체 및 영역 지정 - 카메라를 이용하여 객체의 위치 및 방향 추적 - 추적 객체의 방향에 따라 2D 랜더링 - 가상 객체 이미지와 현실 이미지의 병합 ￭ BIM 기반 작업 진도 업데이트를 위한 HCI (Human-Computer Interface) - UX를 고려한 영상정보 인터페이스 설계 - 몰입형 VR/AR 인터페이스에서 객체지향 BIM 모델 DB로 각 액티비티별 특성을 고려하여 곧바로 업데이트될 수 있는 표준화 기술을 프로세스별로 정의

1. 스테레오 비전 시스템 및 설치/운용 방법 개발 ￭ 양안 인식(Binocular perception)이 가능한 스테레오 비전 시스템 선정 - 원격 조종자의 기술 요구 수준 분석을 통한 시스템 최소 사양 정의 (예, 해상도, 프레임율, 지연도 등) - 요구 수준에 기반하여 적정 Depth Range선정을 위한 스테레오 카메라 Baseline, Pixel size, Disparity Value 정의 및 Stereo matching ￭ 사각 지대(Blind spot)을 최소화 하는 360도 스테레오 비전 시스템 개발 - 이미지 정합(Stitching) 사용 여부 검토 - 굴삭기 부착 가능 영역(안전, 전원, 부착 안정성 등 검토) 검토 및 위치 선정 2. 3축 짐벌(Gimbal) 연동 FPV (First Person View) 시스템 개발 ￭ 3축 짐벌 및 스테레오 비전 통합 - 구축을 위한 하드웨어 설계 및 통신 방법 선정 - 적정 3축 짐벌 시스템 선정 및 설치 방법 검토 (예, 3D 프린팅을 이용한 마운트 설계 및 제작) ￭ FPV 시스템 설계 및 개발 - Low-latency 전송 방법 선정 - 미디어 트래픽에 따른 네트워크 대역폭 산정 - 통신 규약 및 환경 선정 3. 몰입형 AR/VR 플랫폼 선정 및 헤드 트레킹―짐벌 동기화 기술 개발 ￭ 몰입형 AR/VR 헤드셋 기반 조종자 헤드 트레킹 및 짐벌 동기화 시스템 - 좌표 시스템 및 파라미터값 정의 - 원격 조종자 헤드 트레킹(Head tracking) 및 스마트 헤드 트레킹 기술(360도 영상 transition 기술 및 이종 스테레오 시스템간 이미지 병합) - 지연시간 최소화 기술 적용 4. 몰입형 AR/VR 그래픽 처리 및 굴삭기 멀티모달 인터페이스 기술 ￭ 몰입형 AR/VR 그래픽 처리 - 증강 현실(Augmented Reality)과 증강 가상현실(Augmented Virtuality) 기법/수준 정의 - OpenCV 및 게임 엔진(유니티, 언리얼 엔진 등)기반 그래픽 환경 구축 ￭ Human-Machine Interface - 멀티모달 인터페이를 위한 Ambient noise 및 진동 전송 시스템 사용 검토 및 선정 - 원격 조종 인터페이스 선정(원격 제어 시스템은 개발범위 外) 5. BIM 시공정보 검색, 추출 및 가공 기술 ￭ 토공사 BIM 표준 데이터 분석 - 토공사와 관련된 BIM 제품 데이터 모델에 대한 포맷표준(IFC4 기반), 전자보고서 작성 및 납품 과정에 대한 표준(IDM, MVD, 납품지침), 업무를 위한 주요 속성정보 관련 표준, 웹기반 ICT 관련 표준별로 추출 가능한 BIM 데이터 정의 ￭ AR/VR기반 굴삭기 시공정보 추출 - BIM 모델 AR/VR 플랫폼 운용 가능성 검토 - 각 굴삭 작업 수행에 도움이 되는 정보형태를 굴삭기 조종자, 엔지니어, 사업관리자를 대상으로 한 인터뷰를 통해 조사 - BIM 정보 가공 및 시공 정보(예, 설계고 대비 현재 굴착 깊이) 결과 도출 6. 굴삭 시공 정보 AR/VR 병합 및 업데이트 기술 ￭ Markerless-AR/VR 맵핑 및 병합 기술 - 3차원 객체 모델 확립 - 카메라 교정 및 고유 파라미터 산출 - 추적 객체 및 영역 지정 - 카메라를 이용하여 객체의 위치 및 방향 추적 - 추적 객체의 방향에 따라 2D 랜더링 - 가상 객체 이미지와 현실 이미지의 병합 ￭ BIM 기반 작업 진도 업데이트를 위한 HCI (Human-Computer Interface) - UX를 고려한 영상정보 인터페이스 설계 - 몰입형 VR/AR 인터페이스에서 객체지향 BIM 모델 DB로 각 액티비티별 특성을 고려하여 곧바로 업데이트될 수 있는 표준화 기술을 프로세스별로 정의