카메라-인-핸드(카메라 탑재) 비주얼 서보잉 시스템을 위한 새로운 기하 제약 기반 학습 방법을 제안한다. 이 방법은 카메라 고유 매개변수, 깊이 정보, 그리고 로봇의 기구학 모델이 필요하지 않다. 본 방법은 제어 프레임워크 내에서 온라인 야코비안 추정을 수행하기 위해 소뇌 모델 관절화 컨트롤러(cerebellar model articulation controller; CMAC)를 사용한다. 구체적으로, 투영 호모그래피(projective homography) 행렬에 기반한 고정된 차원의 균일한 크기(error function) 오류 함수를 도입한다. 고정 차원의 오류 함수는 특징점(feature point) 개수와 무관하게 야코비안의 크기가 일정하도록 하여 계산 복잡도를 감소시킨다. 또한 개별 특징점에 의존하지 않음으로써 일부 특징이 가려지는 경우에도 견고성을 유지한다. 오류 벡터 원소들의 균일한 크기는 신경망 입력의 정규화를 단순화하여 온라인 학습 효율을 향상시킨다. 더 나아가, (공선성 보존(collinearity preservation)과 같은) 특징점 간의 기하 제약을 네트워크 업데이트 과정에 통합하여, 모델 예측이 투영 기하의 기본 원리에 부합하도록 하고 물리적으로 불가능한 제어 출력을 제거한다. 실험 및 시뮬레이션 결과는 본 접근법이 다른 모델-프리(image-based) 비주얼 서보잉 방법에 비해 더 우수한 견고성과 더 빠른 학습률을 달성함을 보여준다.

레벨 4 이상 자율주행을 달성하기 위해서는 다양한 환경 변화에 적응할 수 있는 견고하고 안정적인 자율주행 시스템이 필수적이다. 본 논문은 자율주행 시스템을 구성하는 데 있어 핵심 요소인 차량 자세 추정을 보다 보편적이고 견고하게 수행하고자 한다. 자율주행 시스템에서 널리 사용되는 차량 자세 추정 방법은 정확한 위치 획득을 보장하기 위해 Real-Time Kinematic(RTK) 센서 데이터를 활용하는 데 기반한다. 그러나 RTK 센서의 특성상 실내 공간이나 신호 간섭이 있는 지역에서는 정밀한 포지셔닝이 어렵거나 불가능하여, 부정확한 자세 추정이 발생하고 이러한 시나리오에서 자율주행을 저해한다. 본 논문은 고정밀 지도에 등록된 객체를 활용하여 이러한 문제를 극복하는 방법을 제안한다. 제안하는 접근은 추가된 객체를 포함하는 의미론적 고정밀(HD) 지도를 구축하고, 객체 중심의 특징을 형성한 뒤, 이 특징을 사용하여 위치를 인식하며, 인식된 위치로부터 차량의 자세를 정확하게 추정하는 것으로 이루어진다. 제안된 방법은 RTK 센서 데이터 획득이 어려운 환경에서 차량 자세 추정의 정밀도를 향상시켜 보다 견고하고 안정적인 자율주행을 가능하게 한다. 본 논문은 시뮬레이션과 실제 환경 실험을 통해 제안 방법의 효과를 입증하였으며, 보다 정밀한 자세 추정 능력을 보여준다.

보행자 추적은 시각 객체 추적 연구 분야에서 어려운 과제이며, 감시 시스템, 사람을 따라가는 로봇, 자율주행차와 같은 다양한 비전 기반 응용에서 핵심 구성 요소이다. 본 논문에서는 딥러닝과 거리(메트릭) 학습 기반 접근법을 결합하는 tracking-by-detection 패러다임을 통해 모든 비디오 프레임에서 각 사람의 개별 인스턴스를 식별하는 단일 보행자 추적(Single Pedestrian Tracking, SPT) 프레임워크를 제안한다. SPT 프레임워크는 검출(detection), 재식별(re-identification), 추적(tracking)이라는 세 가지 주요 모듈로 구성된다. 본 연구의 기여는 보행자 재식별 모듈에서 Siamese 아키텍처를 사용하는 두 개의 경량(metric learning 기반) 모델을 설계하고, 추적 모듈에서 보행자 검출기와 연관된 데이터에 대해 가장 견고한 재식별 모델 중 하나를 결합함으로써 결과를 유의미하게 향상시킨 데 있다. 우리는 비디오에서의 단일 보행자 추적에 대한 SPT 프레임워크의 성능을 평가하기 위해 여러 분석을 수행하였다. 재식별 모듈의 결과는 제안한 두 가지 재식별 모델이 대규모 데이터셋에서 정확도 79.2%와 83.9%, 소규모 데이터셋에서 92%와 96%로 기존 최첨단 모델을 능가함을 검증한다. 또한 제안된 SPT 추적기는 여섯 가지 최첨단(SOTA) 추적 모델과 함께 다양한 실내 및 실외 비디오 시퀀스에서 테스트되었다. 여섯 가지 주요 환경 요인을 고려한 정성적 분석은 조명 변화, 자세 변화로 인한 외형 변동, 목표 위치 변화, 부분 가림 상황에서 SPT 추적기의 효과성을 확인한다. 더불어 실험 결과에 기반한 정량적 분석은 제안된 SPT 추적기가 success rate 79.7%로 GOTURN, CSRT, KCF, SiamFC 추적기를 능가하는 한편, 평균 18 프레임/초의 추적 속도로 DiamSiamRPN, SiamFC, CSRT, GOTURN, SiamMask 추적기들을 제쳤음을 보여준다.

에지 디바이스에서의 딥러닝 기반 모델은 다양한 AI 응용을 처리할 수 있는 유망한 수단으로서 상당한 주목을 받아 왔다. 그러나 연산 및 메모리 제약으로 인해, 에지 디바이스에서 효율적인 추론을 수행하면서 딥러닝 모델을 프로덕션 환경에 배치하는 일은 여전히 어려운 과제이다. 본 논문은 Jetson Xavier NX로 구동되는 서비스 로봇 GuardBot을 위한 프레임워크를 제안하고, 에지 디바이스에서 실시간 추론을 수행하는 최적화된 안면 마스크 인식 애플리케이션의 실제 환경 사례 연구를 제시한다. 이 프레임워크는 로봇이 사람들이 마스크를 착용하고 있는지 여부를 감지하여 COVID-19에 대한 방어를 돕고, 마스크를 착용하라는 공손한 음성 알림을 제공한다. 우리의 프레임워크는 합성곱 신경망(convolutional neural networks)에 기반한 이중 단계 아키텍처로 구성되며, 세 가지 주요 모듈을 사용한다: (1) 얼굴 검출을 위한 MTCNN, (2) 안면 마스크 분류를 위한 제안된 CNN 모델 및 Inception-v3, VGG16, denseNet121, resNet50, NASNetMobile, XceptionNet, MobileNet-v2의 일곱 가지 전이학습 기반 커스텀 모델, (3) Jetson Xavier NX에서 추론 속도를 향상시키기 위해 모든 모델을 최적화하는 TensorRT이다. 본 연구는 초당 프레임 수(frames per second), 실행 시간, 초당 이미지(images per second)를 기준으로 모델들의 성능에 대해 여러 가지 분석을 수행한다. 또한 정확도(accuracy), 정밀도(precision), 재현율(recall) 및 & F1-score를 평가하고, 처리량이 높고 지연이 낮다는 점에 중점을 두어 최적화 전후 모든 모델을 비교한다. 마지막으로, 이 프레임워크는 순찰(patrolling) 및 비순찰(non-patrolling) 모드로 실외와 다층 실내 환경 모두에서 실험을 수행하기 위해 모바일 로봇에 배치된다. 다른 최신(state-of-the-art) 모델들과 비교할 때, 분류 기반 안면 마스크 인식을 위한 제안된 CNN 모델은 학습, 검증 및 테스트 데이터셋에서 각각 94.5%, 95.9%, 94.28%의 정확도를 달성하며 이는 MobileNet-v2, Xception 및 InceptionNet-v3보다 우수하다. 또한 다양한 정밀도 수준에서 최적화 이후에는 모든 다른 모델들보다 최고 처리량과 최저 지연을 함께 달성한다.

자율주행과 그 실세계 구현은 최근 몇 년 동안 가장 활발히 연구된 주제들 중 하나이다. 최근에는 고도화된 딥러닝 기반 데이터 처리 기술의 발전으로 이러한 연구 성장이 더욱 가속되었다. 또한 대형 자동차 제조사들은 실제 도로에서 부분적 또는 완전 자율주행이 가능한 차량을 생산하고 있다. 그러나 자율주행차는 고속도로와 같이 차선이 여러 개인 일부 지역에서의 주행으로 제한되는 경우가 많으며, 도시 지역이나 주거 단지에서 주행하는 자율주행차는 아직 개발 단계에 있다. 다양한 목적의 자율주행차 중 본 논문은 주거 지역의 쓰레기 수거를 위한 자율주행차 개발에 초점을 두었다. 우리는 차량의 목표 환경을 주거 단지로 설정하였기 때문에 일반적인 자율주행차의 목표 환경과는 차이가 있다. 따라서 본 논문에서는 주거 지역에서 주행하기 위한 개발 차량에 대해 차량 길이, 속도, 주행 조건을 포함하는 ODD를 정의하였다. 또한 차량의 주변을 인식하고 다양한 상황에 대응하기 위해 차량 상태를 외부에 알리거나 비상 상황에서 작동을 수행할 수 있는 다양한 센서 및 추가 장치를 장착하였다. 더불어 이러한 방식으로 구성된 차량 하드웨어 및 주행 환경에 적합하도록 객체 인식, 차선 인식, 경로 계획, 차량 제어(조작), 이상 상황 감지를 수행할 수 있는 자율주행 시스템을 구성하였다. 마지막으로 개발된 차량을 실제 실험 구간에서 자율주행함으로써 주거 지역에서의 자율주행 기능이 적절하게 작동함을 확인하였다. 또한 작업 효율성 실험을 통해 해당 차량이 쓰레기 수거 작업을 지원할 수 있음을 확인하였다.

현대의 로봇 시스템은 의미론적 지식을 기반으로 임무를 수행하는 방향으로 발전하고 있다. 이러한 시스템은 임무를 성공적으로 수행하는 데 필수적인 환경 모델링을 필요로 한다. 그러나 새로운 환경이 주어질 때마다 수동 모델링이 요구되는 비효율성이 존재하며, 환경에 적응할 수 있는 적응형 모델링이 필요하다. 본 논문에서는 도메인 지식과 개방 어휘 기반 비전-언어 모델(Visual-Language Models, VLMs)을 융합하여 서비스 로봇을 위한 자율적 환경 모델링을 가능하게 하는 통합 프레임워크를 제안한다. 로봇이 새로운 환경에 배치되면, 자율 탐사를 통해 점유(occupancy) 지도를 구축하고 객체와 장소에 대한 의미 정보를 추출한다. 또한 로봇 단독의 환경 모델링을 넘어, 인간–로봇 협력 모델링을 도입한다. 수집된 의미 정보는 구조화된 데이터베이스에 저장되며 필요에 따라 활용된다. 제안한 프레임워크의 서비스 로봇에 대한 적용 가능성을 검증하기 위해, 시뮬레이션된 가정 환경과 실제 실내 복도에서 실험을 수행한다. 실험을 통해 제안된 프레임워크는 두 환경 모두에서 의미 정보 추출 정확도가 80%를 초과하는 성능을 달성하였다. 다양한 유형의 객체와 장소에 대한 의미 정보를 추출하여 데이터베이스에 저장함으로써 서비스 로봇에서 DK-SMF의 효과성을 입증하였다.

지능형 로봇 시스템은 특히 복잡하고 역동적인 환경에서 빈번히 엄격한 에너지 제한 하에서 작동한다. 적응성과 신뢰성을 동시에 향상시키기 위해, 본 연구는 온톨로지 기반 추론과 에너지 인식을 통합하는 의미 계획(semantic planning) 프레임워크를 제안한다. 이 프레임워크는 센싱, 구동(actuation), 연산(computational) 모듈의 플랫폼 특화적 거동을 바탕으로 에너지 소모를 추정하며, 실시간 실행 데이터에 따라 장소(place) 수준의 의미 표현을 지속적으로 갱신한다. 이러한 표현은 공간 및 맥락의 의미뿐 아니라, 선행 운영 이력으로부터 획득한 에너지 특성도 인코딩한다. 과거 에너지 사용 프로파일을 계층적 의미 맵에 내재화함으로써, 이 프레임워크는 보다 효율적인 경로 계획과 맥락 인지 기반 작업 할당을 가능하게 한다. 공유된 의미 계층은 에너지 중심 지식에 의해 정보를 제공받는 의사결정을 통해 단일 로봇 및 다중 로봇 시스템 모두에 대한 조율된 계획을 지원한다. 본 접근은 하드웨어에 독립적이며, 실내 서비스 로봇 및 지상 기반 자율주행 차량과 같은 다양한 플랫폼에 적용할 수 있다. 구조화된 실내 환경에서 차동구동(differential-drive) 모바일 플랫폼을 사용한 실험적 검증 결과, 에너지 효율성, 계획의 견고성, 그리고 작업 분배(task distribution)의 품질이 향상됨이 입증되었다. 본 프레임워크는 고수준의 상징적 추론과 저수준의 에너지 거동을 효과적으로 연결함으로써, 에너지 정보를 반영한 의미론적 의사결정을 위한 통합 메커니즘을 제공한다.

, 이는 장소, 객체 및 그 존재론적 관계의 계층적 구조를 사용하여 환경을 표상한다.

카메라-인-핸드(카메라 탑재) 비주얼 서보잉 시스템을 위한 새로운 기하 제약 기반 학습 방법을 제안한다. 이 방법은 카메라 고유 매개변수, 깊이 정보, 그리고 로봇의 기구학 모델이 필요하지 않다. 본 방법은 제어 프레임워크 내에서 온라인 야코비안 추정을 수행하기 위해 소뇌 모델 관절화 컨트롤러(cerebellar model articulation controller; CMAC)를 사용한다. 구체적으로, 투영 호모그래피(projective homography) 행렬에 기반한 고정된 차원의 균일한 크기(error function) 오류 함수를 도입한다. 고정 차원의 오류 함수는 특징점(feature point) 개수와 무관하게 야코비안의 크기가 일정하도록 하여 계산 복잡도를 감소시킨다. 또한 개별 특징점에 의존하지 않음으로써 일부 특징이 가려지는 경우에도 견고성을 유지한다. 오류 벡터 원소들의 균일한 크기는 신경망 입력의 정규화를 단순화하여 온라인 학습 효율을 향상시킨다. 더 나아가, (공선성 보존(collinearity preservation)과 같은) 특징점 간의 기하 제약을 네트워크 업데이트 과정에 통합하여, 모델 예측이 투영 기하의 기본 원리에 부합하도록 하고 물리적으로 불가능한 제어 출력을 제거한다. 실험 및 시뮬레이션 결과는 본 접근법이 다른 모델-프리(image-based) 비주얼 서보잉 방법에 비해 더 우수한 견고성과 더 빠른 학습률을 달성함을 보여준다.

레벨 4 이상 자율주행을 달성하기 위해서는 다양한 환경 변화에 적응할 수 있는 견고하고 안정적인 자율주행 시스템이 필수적이다. 본 논문은 자율주행 시스템을 구성하는 데 있어 핵심 요소인 차량 자세 추정을 보다 보편적이고 견고하게 수행하고자 한다. 자율주행 시스템에서 널리 사용되는 차량 자세 추정 방법은 정확한 위치 획득을 보장하기 위해 Real-Time Kinematic(RTK) 센서 데이터를 활용하는 데 기반한다. 그러나 RTK 센서의 특성상 실내 공간이나 신호 간섭이 있는 지역에서는 정밀한 포지셔닝이 어렵거나 불가능하여, 부정확한 자세 추정이 발생하고 이러한 시나리오에서 자율주행을 저해한다. 본 논문은 고정밀 지도에 등록된 객체를 활용하여 이러한 문제를 극복하는 방법을 제안한다. 제안하는 접근은 추가된 객체를 포함하는 의미론적 고정밀(HD) 지도를 구축하고, 객체 중심의 특징을 형성한 뒤, 이 특징을 사용하여 위치를 인식하며, 인식된 위치로부터 차량의 자세를 정확하게 추정하는 것으로 이루어진다. 제안된 방법은 RTK 센서 데이터 획득이 어려운 환경에서 차량 자세 추정의 정밀도를 향상시켜 보다 견고하고 안정적인 자율주행을 가능하게 한다. 본 논문은 시뮬레이션과 실제 환경 실험을 통해 제안 방법의 효과를 입증하였으며, 보다 정밀한 자세 추정 능력을 보여준다.

보행자 추적은 시각 객체 추적 연구 분야에서 어려운 과제이며, 감시 시스템, 사람을 따라가는 로봇, 자율주행차와 같은 다양한 비전 기반 응용에서 핵심 구성 요소이다. 본 논문에서는 딥러닝과 거리(메트릭) 학습 기반 접근법을 결합하는 tracking-by-detection 패러다임을 통해 모든 비디오 프레임에서 각 사람의 개별 인스턴스를 식별하는 단일 보행자 추적(Single Pedestrian Tracking, SPT) 프레임워크를 제안한다. SPT 프레임워크는 검출(detection), 재식별(re-identification), 추적(tracking)이라는 세 가지 주요 모듈로 구성된다. 본 연구의 기여는 보행자 재식별 모듈에서 Siamese 아키텍처를 사용하는 두 개의 경량(metric learning 기반) 모델을 설계하고, 추적 모듈에서 보행자 검출기와 연관된 데이터에 대해 가장 견고한 재식별 모델 중 하나를 결합함으로써 결과를 유의미하게 향상시킨 데 있다. 우리는 비디오에서의 단일 보행자 추적에 대한 SPT 프레임워크의 성능을 평가하기 위해 여러 분석을 수행하였다. 재식별 모듈의 결과는 제안한 두 가지 재식별 모델이 대규모 데이터셋에서 정확도 79.2%와 83.9%, 소규모 데이터셋에서 92%와 96%로 기존 최첨단 모델을 능가함을 검증한다. 또한 제안된 SPT 추적기는 여섯 가지 최첨단(SOTA) 추적 모델과 함께 다양한 실내 및 실외 비디오 시퀀스에서 테스트되었다. 여섯 가지 주요 환경 요인을 고려한 정성적 분석은 조명 변화, 자세 변화로 인한 외형 변동, 목표 위치 변화, 부분 가림 상황에서 SPT 추적기의 효과성을 확인한다. 더불어 실험 결과에 기반한 정량적 분석은 제안된 SPT 추적기가 success rate 79.7%로 GOTURN, CSRT, KCF, SiamFC 추적기를 능가하는 한편, 평균 18 프레임/초의 추적 속도로 DiamSiamRPN, SiamFC, CSRT, GOTURN, SiamMask 추적기들을 제쳤음을 보여준다.

에지 디바이스에서의 딥러닝 기반 모델은 다양한 AI 응용을 처리할 수 있는 유망한 수단으로서 상당한 주목을 받아 왔다. 그러나 연산 및 메모리 제약으로 인해, 에지 디바이스에서 효율적인 추론을 수행하면서 딥러닝 모델을 프로덕션 환경에 배치하는 일은 여전히 어려운 과제이다. 본 논문은 Jetson Xavier NX로 구동되는 서비스 로봇 GuardBot을 위한 프레임워크를 제안하고, 에지 디바이스에서 실시간 추론을 수행하는 최적화된 안면 마스크 인식 애플리케이션의 실제 환경 사례 연구를 제시한다. 이 프레임워크는 로봇이 사람들이 마스크를 착용하고 있는지 여부를 감지하여 COVID-19에 대한 방어를 돕고, 마스크를 착용하라는 공손한 음성 알림을 제공한다. 우리의 프레임워크는 합성곱 신경망(convolutional neural networks)에 기반한 이중 단계 아키텍처로 구성되며, 세 가지 주요 모듈을 사용한다: (1) 얼굴 검출을 위한 MTCNN, (2) 안면 마스크 분류를 위한 제안된 CNN 모델 및 Inception-v3, VGG16, denseNet121, resNet50, NASNetMobile, XceptionNet, MobileNet-v2의 일곱 가지 전이학습 기반 커스텀 모델, (3) Jetson Xavier NX에서 추론 속도를 향상시키기 위해 모든 모델을 최적화하는 TensorRT이다. 본 연구는 초당 프레임 수(frames per second), 실행 시간, 초당 이미지(images per second)를 기준으로 모델들의 성능에 대해 여러 가지 분석을 수행한다. 또한 정확도(accuracy), 정밀도(precision), 재현율(recall) 및 & F1-score를 평가하고, 처리량이 높고 지연이 낮다는 점에 중점을 두어 최적화 전후 모든 모델을 비교한다. 마지막으로, 이 프레임워크는 순찰(patrolling) 및 비순찰(non-patrolling) 모드로 실외와 다층 실내 환경 모두에서 실험을 수행하기 위해 모바일 로봇에 배치된다. 다른 최신(state-of-the-art) 모델들과 비교할 때, 분류 기반 안면 마스크 인식을 위한 제안된 CNN 모델은 학습, 검증 및 테스트 데이터셋에서 각각 94.5%, 95.9%, 94.28%의 정확도를 달성하며 이는 MobileNet-v2, Xception 및 InceptionNet-v3보다 우수하다. 또한 다양한 정밀도 수준에서 최적화 이후에는 모든 다른 모델들보다 최고 처리량과 최저 지연을 함께 달성한다.