머리 자세 추정(head pose estimation, HPE)은 인간-컴퓨터 상호작용, 의료, 로보틱스, 감시 등 다양한 응용 분야에서 핵심적인 과제이다. 기존의 대부분 방법은 오일러 각(Euler angles)을 표현으로 사용하지만, 특히 360° 전 범위 회전 상황이나 9개의 매개변수가 필요한 회전 행렬에서는 짐벌 락(gimbal lock)과 같은 어려움에 직면하는 경우가 많다. 본 연구는 이러한 문제를 회피하기 위해 4개의 매개변수만 사용하는 쿼터니언(quaternion) 표현을 활용하는 새로운 딥러닝 기반 모델인 WQuatNet을 제안한다. WQuatNet은 랜드마크-프리(landmark-free) HPE 방법에 기반하여, 이미지를 통해 360 ${}^{\circ }$의 전 범위 각도에서 머리 자세를 예측하도록 설계되었다. 랜드마크-프리 방법은 얼굴 랜드마크의 명시적 검출이 필요하지 않으며, 대신 전체 이미지를 활용해 머리의 방향을 추정한다. 본 모델은 견고한 특징 추출을 위해 RepVGG-D2se 백본을 통합하고, 쿼터니언 예측을 위한 두 가지 손실 함수(loss function)를 도입한다. 여러 HPE 데이터셋에서 협소-각도(narrow-range)와 전범위(full-range) 각도를 모두 포함하여 수행한 실험 결과는 WQuatNet이 정확도 측면에서 최신 기술 수준(SOTA) 접근법보다 우수함을 보여준다. 제안된 HPE의 성능은 CMU, AGORA, BIWI, AFLW2000, 300W-LP 데이터셋을 사용하여 평가하였다. 또한 각 모델 구성 요소의 중요성을 검증하기 위해 절제(ablation) 실험과 오류 분석을 수행하였다.

머리 자세 추정(Head pose estimation, HPE)은 여러 인공지능(AI) 분야에 걸쳐 광범위한 응용 가능성을 지니고 있어 지난 10년 동안 광범위하게 연구되어 왔으며, 그 결과 정확도는 점진적으로 향상되었다. 응용이 전 범위 각도를 요구하고, 특히 제약이 없는 환경에서 수행되어야 할 때 문제는 더욱 어려워지며, 이로 인해 HPE는 활발한 연구 주제로 자리 잡고 있다. 본 논문은 디지털 이미지에서 수행되는 최근 AI 기반 HPE 과제를 포괄적으로 조사한다. 또한 각 방법을 구현하기 위한 주요 단계에 기반한 새로운 분류 체계를 제안하며, 이를 네 그룹 아래에서 총 11개 범주로 넓게 구분한다. 아울러 전체 시스템의 10개 범주에 대한 장점과 단점을 제시한다. 마지막으로 본 조사는 공개 데이터셋, 이용 가능한 코드, 그리고 향후 연구 방향에 대해 조명함으로써, 독자 및 연구 희망자들이 이 흥미로운 분야의 하위 범주에서 강력한 기준 성능(baseline)을 보이는 견고한 방법을 추가 탐색하기 위해 파악하는 데 도움을 주고자 한다. 본 검토는 2018년부터 2024년까지 출판된 총 113편의 논문을 비교·분석하였으며, 그 중 70.5%는 딥러닝, 24.1%는 머신러닝, 5.4%는 하이브리드 접근법에 해당했다. 또한 지난 2년간에 걸쳐(최근 2십 년) 출판된 AI 기반 HPE 시스템과 관련된 데이터셋, 정의 및 기타 요소에 관한 101편의 논문을 포함하였다. 우리가 아는 한, 본 논문은 인공지능에 기반한 HPE 전략을 대상으로, 각 방법을 구현하기 위한 주요 단계에 대한 상세한 설명을 포함하여 조사하고자 한 최초의 논문이다. 정기적으로 업데이트되는 프로젝트 페이지를 제공한다: (github).

비침습적 뇌 자극은 촉각 감각을 유도함으로써 우리가 가상 환경과 상호작용하는 방식을 혁신할 잠재력이 있다. 본 연구에서는 뇌 자극을 사용해 유도된 체현(embodiment)이 전통적인 햅틱 장치를 사용한 경우와 어떻게 다른지 살펴보기 위해, 가상 손 환상(virtual hand illusion) 실험을 수행하였다. 햅틱 장갑은 진동 촉각 피드백을 제공하기 위해 사용한 반면, 비침습적 뇌 자극은 손의 움직임과 감각을 유발하기 위해 경두개 자기자극(transcranial magnetic stimulation, TMS)을 통해 구현하였다. 우리는 소유권(ownership)과 신체 표상(body representation)의 변화로 인해 발생하는 고유감각적 드리프트(proprioceptive drifts)를 비교하였다. TMS 방법과 진동 촉각 방법 모두 가상 손을 향해 이동하는 유사한 경향을 보였으며, 이는 체현의 환상이 성공적으로 유도되었음을 시사한다. 드리프트 값은 진동 촉각과 TMS로 유도된 지각에서 각각 21.9 mm와 30.7 mm였다. 소유권에 관한 설문 결과는 시각과 촉각 감각의 동기 조건이 비동기 조건에 비해 유의하게 더 선호되는 것으로 나타났다. 본 연구 결과는 TMS 기반 가상현실을 사용하여 환상 효과를 향상시키는 것이 가능함을 보여주며, 가상 환경에서의 개선된 상호작용을 위한 새로운 가능성을 제공한다.

반복적 경두개 자기자극(rTMS) 치료에서 로봇을 이용한 코일 위치 설정에 대한 수요가 점차 증가하고 있다. 정확한 코일 위치 설정은 rTMS가 일반적으로 연구 및 임상 적용에서뿐 아니라 안전성, 일관성 및 신뢰성, 개인 간 변이성 등 다양한 이유로 특정 뇌 영역을 표적하기 때문에 매우 중요하다. 일부 선행 연구에서는 산업용 로봇 또는 협동 로봇을 사용하였으며, 기존의 전통적인 수동 방법보다 목표 피질 영역을 보다 정밀하게 자극할 수 있음을 보여주었다. 본 연구에서는 더 나은 TMS 코일 배치를 위해 맞춤형 TMS 로봇을 개발했을 뿐 아니라, 우울증에 대한 치료 효과를 분석하였다. 치료 효과는 두 위치 설정 방법에 대해 단일광자방출 전산화단층촬영(single-photon emission computed tomography)을 이용하여 국소 뇌혈류(rCBF)를 측정하고, rTMS 전과 후의 우울증 중증도를 평가함으로써 확인하였다. 로봇 코일 배치를 사용한 rTMS 준비 시간은 수동 방법에 비해 53% 감소하였다. 또한 위치 및 방향 오차는 각각 11.17 mm와 4.06°에서 0.94 mm와 0.11°로 유의하게 감소하여, 로봇 위치 설정의 우수성을 확인하였다. 임상 및 신경영상 평가 결과, 좌측 배외측 전전두피질(left dorsolateral prefrontal cortex)에서 우울증 중증도와 rCBF가 로봇 rTMS군과 수동 rTMS군에서 유사한 수준으로 개선됨이 나타났다. 설문지를 사용하여 로봇 시스템에 대한 환자의 감정, 즉 안전성과 준비 시간 등을 확인하였다. 높은 안전성 점수는 임상 현장에서 로봇 rTMS에 대한 높은 수용성을 시사하였다.

머리 자세 추정은 인간-컴퓨터 상호작용에서 여러 응용을 위한 기본 기능이다. 전 범위 각도를 포함한 정확한 6자유도(6DoF) 머리 자세 추정(6DoF-HPE)은 이러한 응용의 대부분을 구성하며, 이는 입력으로 인간 머리의 연속 영상을 필요로 한다. 기존 대부분의 머리 자세 추정 방법은 3자유도(3DoF) 정면 머리에 초점을 맞추고 있어 실제 환경에서의 적용을 제한한다. 본 연구는 랜드마크 국소화 없이 머리 자세를 추정하도록 설계된 프레임워크를 제시한다. 우리의 프레임워크의 참신성은 전 범위 각도에서 6DoF 머리 자세를 실시간으로 추정한다는 점에 있다. 제안된 프레임워크는 딥 뉴럴 네트워크를 활용하여 인간 머리를 검출하고, 각각 Single Shot MultiBox Detector(SSD)와 RepVGG-b1g4 백본을 이용해 그 각도를 예측한다. 본 연구는 카메라 자세에 대한 회전 및 이동 성분을 추정하기 위해 적색, 녹색, 청색 및 깊이(RGB-D) 데이터를 사용한다. 제안된 프레임워크는 각도를 예측하기 위한 연속 표현을 사용하며, 학습 전략을 위한 손실 함수를 업데이트하기 위해 다중 손실 접근법을 적용한다. 회귀 함수는 지오데식 손실과 평균제곱오차를 결합한다. 정답 라벨은 전 범위 머리 각도를 위해 공개 데이터셋인 Carnegie Mellon University(CMU) Panoptic에서 추출하였다. 본 연구는 공개 벤치마크 데이터셋을 사용하여 최신 기법들과의 포괄적인 비교를 제공한다. 실험 결과, 제안된 방법은 최신 기법과 동등하거나 이를 능가하는 성능을 달성함을 보여준다. 코드는 데이터셋과 함께 다음에서 제공된다: (github after accepting).

카메라 영상을 이용한 실시간 6D 자세 추적은 로봇이 가정 내 물품을 추적하고 집게로 파지할 수 있도록 하는 데 중요한 역할을 한다. 반복적 근접점(iterative closest point, ICP)은 성능이 좋고 자원 소모가 적어 자세 추적의 주요 방법으로 자주 사용되지만, 평면적 또는 대칭적인 물체를 다루기 어렵다는 등 여러 과제가 있다. 이러한 과제는 추적 상황에서 ICP가 실패하기 쉬운 원인이 된다. 본 연구에서는 가정용 물품 추적에 ICP를 효과적으로 활용하기 위한 ICP 향상 알고리즘을 제안한다. 우리의 주요 기여는 세 가지로 요약할 수 있다. (1) 초기 자세 획득을 위한 RGB 키포인트의 사용, (2) 평면적 또는 회전 대칭 물체를 다루기 위한 정련(refinement) 접근법, (3) 추적 실패 시의 자기 복구 알고리즘이다. 우리는 RGB 키포인트를 사용하여 초기 자세를 추정하고, 물체의 평면 및 회전 대칭 특성을 고려하여 손실 함수의 가중치를 미세 조정함으로써 정확한 자세를 달성한다. 또한 추적 실패를 감지하고 해결하기 위해 Oriented FAST and Rotated BRIEF(ORB) 디스크립터를 이용한 복구 알고리즘을 적용하였다. RGB 텍스처가 낮은 물체에서는 성능이 비교적 제한적이었으나, 충분한 RGB 텍스처가 존재하는 경우 본 알고리즘은 안정적이며 높은 정확도를 달성하였다. YCB Video 데이터셋의 16개 물체에 대해 본 알고리즘이 100% ADDs-AUC를 달성함을 확인하였다.

본 논문은 다양한 환경에 수동적으로 적응하면서 수동 잠금 메커니즘을 통해 집게(그립) 자세를 유지하는 새로운 언더액추에이티드(two-actuated 아님) 두 손가락 그리퍼를 제시한다. 제안된 메커니즘은 세 개의 지절(phalanges)로 이루어진 손가락을 가지며, 각 손가락에는 병렬로 배치된 4-바 및 8-바 링크기구(링키지)가 포함된다. 이러한 링크기구는 집게 각도를 유지하고 핀치 그립 동안 수동적 특성을 보장하는 등 핵심적인 기능을 수행한다. 수동 메커니즘과 3-지절 손가락을 사용하는 기존 그리퍼는, 물체의 관성 또는 외부의 측방 힘으로 인해 수동 관절의 각도가 변화하는 경우에 특히 집기 안정성에 문제가 있었다. 이를 해결하기 위해, 본 연구는 8-바 링크기구를 활용한 새로운 수동 잠금 메커니즘을 제안한다. 이 혁신적인 설계는 환경 조건에 적응하여 견고한 그립을 형성하고, 그립이 달성된 이후 수동 관절의 집게 각도를 유지하도록 설계되었다. 제안된 메커니즘의 장점을 입증하기 위해, 본 논문은 핀치 순서에 따라 끝단(tip) 힘 벡터 분석과 이동성(mobility) 분석을 수행한다. 또한 메커니즘의 도출 과정과 원리를 상세히 제시한다. 그리퍼의 작동 범위와 집게 힘은 운동학적 분석을 통해 고찰하고 시뮬레이션으로 검증한다. 더 나아가 본 연구는, 물체 주위에 장애물이 둘러싼 환경에서도 제안된 메커니즘이 환경 제약에 효과적으로 대응함을 보여준다. 접촉 바(contact bar) 유무에 따른 비교 실험 결과, 제안된 그리퍼는 약 $5N$의 외부 힘 및 스윙(swing) 동작이 포함된 상황에서 물체를 안정적으로 고정할 수 있음을 나타낸다.

프로젝트 간 결함 예측(Cross-project defect prediction, CPDP)은 유사한 소스 프로젝트로부터 관련 정보를 활용하여, 특히 과거 이력 데이터가 제한적인 대상 프로젝트에서 잠재적 결함을 식별하는 데 필수적인 역할을 한다. 현재의 연구들은 CPDP에 대해 세 가지 주요 유형의 소프트웨어 메트릭을 중심으로 이루어져 왔는데, 정적 메트릭(static metrics), 코드 변경 메트릭(code-change metrics), 그리고 의미적 특징(semantic features)이 그것이다. 그러나 기존의 이러한 CPDP 연구들은 두 가지 주요 과제에 직면해 있다. 첫째, 특징 차원이 감소함에 따라 발생하는 클래스 중첩(class overlap) 문제이고, 둘째, 다양한 소프트웨어 메트릭을 통합함으로써 나타나는 다중공선성(multicollinearity) 문제이다. 이러한 과제를 해결하기 위해, 우리는 감소(reduction)와 혼성화(hybridization) 기법을 기반으로 한 CPDP 모델(RH-CPDP)을 제안한다. 제안된 모델은 혼성화 기법으로서 하이브리드 딥 뉴럴 네트워크(hybrid deep neural networks)를 사용하여 모든 메트릭 범주의 핵심 메트릭을 결합함으로써 클래스 중첩 문제를 완화하고 예측 모델의 효율성을 향상시킨다. 감소 방법으로는 주성분 분석(Principal component analysis, PCA)을 사용하여, 메트릭 간의 영향력 있는 관계와 결함 취약성(fault proneness)에 초점을 맞추면서 사용 메트릭의 수를 소수로 유지함으로써 다중공선성 문제를 회피한다. PROMISE 데이터셋의 9개 오픈소스 프로젝트를 활용한 실험 분석 결과, RH-CPDP는 곡선 아래 면적(area under the curve, AUC) 및 F1-측정(F1-measure) 측면에서 기존 CPDP 방법(TCSBoost, TPTL, DA-KTSVMO, DBN, 3SW-MSTL)을 능가하는 것으로 나타났다. 이러한 결과는 CPDP 기법의 성능을 향상시키는 데 있어 RH-CPDP의 효과성을 보여준다. • 감소와 혼성화 기법을 사용하는 CPDP 모델을 제안한다. • 핵심 소프트웨어 메트릭을 결합하기 위해 하이브리드 딥 뉴럴 네트워크를 사용한다. • 사용 메트릭의 수를 소수로 유지하기 위해 주성분 분석(PCA)을 사용한다. • 효율성 평가를 위해 여러 성과 지표를 사용한다.

머리 자세 추정(head pose estimation, HPE)은 인간-컴퓨터 상호작용, 의료, 로보틱스, 감시 등 다양한 응용 분야에서 핵심적인 과제이다. 기존의 대부분 방법은 오일러 각(Euler angles)을 표현으로 사용하지만, 특히 360° 전 범위 회전 상황이나 9개의 매개변수가 필요한 회전 행렬에서는 짐벌 락(gimbal lock)과 같은 어려움에 직면하는 경우가 많다. 본 연구는 이러한 문제를 회피하기 위해 4개의 매개변수만 사용하는 쿼터니언(quaternion) 표현을 활용하는 새로운 딥러닝 기반 모델인 WQuatNet을 제안한다. WQuatNet은 랜드마크-프리(landmark-free) HPE 방법에 기반하여, 이미지를 통해 360 ${}^{\circ }$의 전 범위 각도에서 머리 자세를 예측하도록 설계되었다. 랜드마크-프리 방법은 얼굴 랜드마크의 명시적 검출이 필요하지 않으며, 대신 전체 이미지를 활용해 머리의 방향을 추정한다. 본 모델은 견고한 특징 추출을 위해 RepVGG-D2se 백본을 통합하고, 쿼터니언 예측을 위한 두 가지 손실 함수(loss function)를 도입한다. 여러 HPE 데이터셋에서 협소-각도(narrow-range)와 전범위(full-range) 각도를 모두 포함하여 수행한 실험 결과는 WQuatNet이 정확도 측면에서 최신 기술 수준(SOTA) 접근법보다 우수함을 보여준다. 제안된 HPE의 성능은 CMU, AGORA, BIWI, AFLW2000, 300W-LP 데이터셋을 사용하여 평가하였다. 또한 각 모델 구성 요소의 중요성을 검증하기 위해 절제(ablation) 실험과 오류 분석을 수행하였다.

머리 자세 추정(Head pose estimation, HPE)은 여러 인공지능(AI) 분야에 걸쳐 광범위한 응용 가능성을 지니고 있어 지난 10년 동안 광범위하게 연구되어 왔으며, 그 결과 정확도는 점진적으로 향상되었다. 응용이 전 범위 각도를 요구하고, 특히 제약이 없는 환경에서 수행되어야 할 때 문제는 더욱 어려워지며, 이로 인해 HPE는 활발한 연구 주제로 자리 잡고 있다. 본 논문은 디지털 이미지에서 수행되는 최근 AI 기반 HPE 과제를 포괄적으로 조사한다. 또한 각 방법을 구현하기 위한 주요 단계에 기반한 새로운 분류 체계를 제안하며, 이를 네 그룹 아래에서 총 11개 범주로 넓게 구분한다. 아울러 전체 시스템의 10개 범주에 대한 장점과 단점을 제시한다. 마지막으로 본 조사는 공개 데이터셋, 이용 가능한 코드, 그리고 향후 연구 방향에 대해 조명함으로써, 독자 및 연구 희망자들이 이 흥미로운 분야의 하위 범주에서 강력한 기준 성능(baseline)을 보이는 견고한 방법을 추가 탐색하기 위해 파악하는 데 도움을 주고자 한다. 본 검토는 2018년부터 2024년까지 출판된 총 113편의 논문을 비교·분석하였으며, 그 중 70.5%는 딥러닝, 24.1%는 머신러닝, 5.4%는 하이브리드 접근법에 해당했다. 또한 지난 2년간에 걸쳐(최근 2십 년) 출판된 AI 기반 HPE 시스템과 관련된 데이터셋, 정의 및 기타 요소에 관한 101편의 논문을 포함하였다. 우리가 아는 한, 본 논문은 인공지능에 기반한 HPE 전략을 대상으로, 각 방법을 구현하기 위한 주요 단계에 대한 상세한 설명을 포함하여 조사하고자 한 최초의 논문이다. 정기적으로 업데이트되는 프로젝트 페이지를 제공한다: (github).

비침습적 뇌 자극은 촉각 감각을 유도함으로써 우리가 가상 환경과 상호작용하는 방식을 혁신할 잠재력이 있다. 본 연구에서는 뇌 자극을 사용해 유도된 체현(embodiment)이 전통적인 햅틱 장치를 사용한 경우와 어떻게 다른지 살펴보기 위해, 가상 손 환상(virtual hand illusion) 실험을 수행하였다. 햅틱 장갑은 진동 촉각 피드백을 제공하기 위해 사용한 반면, 비침습적 뇌 자극은 손의 움직임과 감각을 유발하기 위해 경두개 자기자극(transcranial magnetic stimulation, TMS)을 통해 구현하였다. 우리는 소유권(ownership)과 신체 표상(body representation)의 변화로 인해 발생하는 고유감각적 드리프트(proprioceptive drifts)를 비교하였다. TMS 방법과 진동 촉각 방법 모두 가상 손을 향해 이동하는 유사한 경향을 보였으며, 이는 체현의 환상이 성공적으로 유도되었음을 시사한다. 드리프트 값은 진동 촉각과 TMS로 유도된 지각에서 각각 21.9 mm와 30.7 mm였다. 소유권에 관한 설문 결과는 시각과 촉각 감각의 동기 조건이 비동기 조건에 비해 유의하게 더 선호되는 것으로 나타났다. 본 연구 결과는 TMS 기반 가상현실을 사용하여 환상 효과를 향상시키는 것이 가능함을 보여주며, 가상 환경에서의 개선된 상호작용을 위한 새로운 가능성을 제공한다.

반복적 경두개 자기자극(rTMS) 치료에서 로봇을 이용한 코일 위치 설정에 대한 수요가 점차 증가하고 있다. 정확한 코일 위치 설정은 rTMS가 일반적으로 연구 및 임상 적용에서뿐 아니라 안전성, 일관성 및 신뢰성, 개인 간 변이성 등 다양한 이유로 특정 뇌 영역을 표적하기 때문에 매우 중요하다. 일부 선행 연구에서는 산업용 로봇 또는 협동 로봇을 사용하였으며, 기존의 전통적인 수동 방법보다 목표 피질 영역을 보다 정밀하게 자극할 수 있음을 보여주었다. 본 연구에서는 더 나은 TMS 코일 배치를 위해 맞춤형 TMS 로봇을 개발했을 뿐 아니라, 우울증에 대한 치료 효과를 분석하였다. 치료 효과는 두 위치 설정 방법에 대해 단일광자방출 전산화단층촬영(single-photon emission computed tomography)을 이용하여 국소 뇌혈류(rCBF)를 측정하고, rTMS 전과 후의 우울증 중증도를 평가함으로써 확인하였다. 로봇 코일 배치를 사용한 rTMS 준비 시간은 수동 방법에 비해 53% 감소하였다. 또한 위치 및 방향 오차는 각각 11.17 mm와 4.06°에서 0.94 mm와 0.11°로 유의하게 감소하여, 로봇 위치 설정의 우수성을 확인하였다. 임상 및 신경영상 평가 결과, 좌측 배외측 전전두피질(left dorsolateral prefrontal cortex)에서 우울증 중증도와 rCBF가 로봇 rTMS군과 수동 rTMS군에서 유사한 수준으로 개선됨이 나타났다. 설문지를 사용하여 로봇 시스템에 대한 환자의 감정, 즉 안전성과 준비 시간 등을 확인하였다. 높은 안전성 점수는 임상 현장에서 로봇 rTMS에 대한 높은 수용성을 시사하였다.