안면 감정 인식(Facial Emotion Recognition, FER)은 특히 파킨슨병(Parkinson’s disease, PD), 다발성 경화증(Multiple Sclerosis, MS), 뇌졸중(Stroke)과 같은 신경학적 장애(Neurological Disorders, NDs)를 겪는 개인의 경우를 중심으로 인간의 행동을 이해하는 데 핵심적인 역할을 한다. 감정에 대한 조기·정확한 탐지는 관련 기분 장애의 진단뿐 아니라 지속적인 모니터링에도 중요하다. 그러나 전통적 방법은 비침습적이며 실시간인 해결책을 제공하는 데에서 종종 한계를 보이며, 각 ND 범주에 연관된 특정 감정 유형을 식별하는 데 필요한 임상적 전문성 또한 부족한 실정이다. 이에 본 연구는 ALAMEDA 컨소시엄 하에서, 뇌 질환의 조기 진단과 치료를 강화하기 위한 사물인터넷(Internet of Things, IoT) 기반 FER AI Toolkit을 제안한다. 이 툴킷은 컨소시엄의 임상 가이드라인에 부합하며, 의료 분야에서 Industry 5.0의 목표를 지원하는 개인화되고 환자 중심적인 솔루션을 제공한다. Industry 5.0의 원칙에 따라 FER AI Toolkit은 엣지 디바이스를 사용하여 실시간 얼굴 데이터를 수집하고, 클라우드 서버에서 실행되는 딥러닝 모델이 이 데이터를 처리한다. 인식된 감정은 Semantic Knowledge Graph(SemKG) 서버로 업로드된다. 이를 통해 의료진은 실시간 데이터에 기반하여 정보에 입각한 의사결정을 내릴 수 있다. 또한 이 툴킷은 안전한 접근을 위한 Identity Authentication Manager(IAM)와 효율적인 자원 관리를 위한 ALAMEDA Innovation Hub(AIH)를 포함하여 ALAMEDA의 핵심 구성요소와 원활하게 통합된다. 지속적이고 개인화된 의료 인사이트를 제공함으로써, FER AI Toolkit은 진단과 환자의 안녕 사이의 격차를 연결하여 궁극적으로 의료 시스템을 발전시키는 데 기여한다. 추가 학습을 위해 교육 자료와 비디오 시연이 https://drive.google.com/drive/folders/1-iUz7FE2IrKHt5nMl3oGjsrCtk7Ps2bM?usp=sharing에 제공된다.

장면 이해는 맥락 정보를 추출하고 의사결정을 수행하기 위해 감각 데이터를 활용함으로써 자율주행에서 핵심적인 역할을 한다. 모델링의 진전과 더불어, 차량이 주변 환경을 인지할 수 있게 하는 기반은 시각 감각 데이터의 가용성이며, 이는 차량 지각을 확장하고 실제 환경에서의 차량적 맥락 인식을 실현한다. 관련 연구들이 추구해 온 장면 이해의 연구 방향에는 인물/차량 검출 및 분할, 그들의 전이(transition) 분석, 차선 변경 및 회전(turns) 검출 등 여러 과제가 포함된다. 그러나 이러한 과제들은 완전 자율주행 차량, 즉 사람에 의해 제어되는 차량처럼 주행하여 레벨-5 자율성을 달성하는 것을 완전히 구현하기에는 불충분해 보인다. 이와 같은 후자의 진술은 본 리뷰 논문에서 도출된 결론 가운데 하나로, 비전 센서를 사용하는 자율주행차의 장면 이해는 여전히 상당한 개선이 필요하다고 한다. 이러한 동기에서, 본 조사는 대부분이 계산적으로 복잡한 딥러닝 모델에 의존하는 장면 이해 연구 분야의 현재 성과를 정의하고, 분석하며, 검토한다. 또한 범용 장면 이해 파이프라인을 다루고, 최신 기술( state-of-the-art )에서 보고된 성능을 조사하며, 최첨단 모델링 선택지에 대한 시간 복잡도 분석을 제공하고, 현행 연구 노력에서 마주친 주요 성과와 주목할 만한 한계를 부각한다. 아울러 본 조사는 이용 가능한 데이터셋에 대한 포괄적인 논의를 포함하고, 최근까지 연구자들이 직면해 왔음에도 불구하고 오늘날까지도 미해결로 남아 있는 과제들을 다룬다. 마지막으로, 본 연구는 이 흥미로운 영역에 연구자와 실무자들이 참여할 수 있도록 향후 연구 방향을 제시한다.

스마트 기기의 지속적인 발전과 데이터에 대한 수요가 증가함에 따라, 과거에는 클라우드 서버에서만 수행되던 복잡한 연산이 이제 네트워크의 가장자리(edge)로 이동하고 있다. 여러 가지 이유(예: 지연(latency)에 민감한 응용과 데이터 프라이버시 요구)로 인해, 데이터 기반 연산을 데이터가 생성되는 원천에 더 가깝게 가져오는 과정에서 엣지 컴퓨팅 패러다임이 형성되었다. 기계 학습과 함께 엣지 컴퓨팅은 강력한 로컬 의사결정 도구가 되었으며, 엣지 러닝(edge learning)의 등장으로 이어졌다. 그러나 후자는 하드웨어와 네트워킹 측면에서 지연에 민감하면서도 자원을 크게 소모하는 성격을 보인다. 본 연구에서 이러한 문제를 해결하거나 최소화하기 위한 새로운 방법들이 제안되었다. 먼저, 엣지 러닝 및 추론(ELI)에 대한 대표적인 통신 방법을 데이터 압축, 지연, 자원 관리에 초점을 맞추어 조사하였다. 다음으로, 감시 네트워크에 적용할 경우 사건이 포함된 데이터만을 고려하여 전송 및 저장 자원을 유의하게 절감하는 ELI 기반 비디오 데이터 우선순위 지정 프레임워크를 제안하였다. 또한 다양한 통신 측면을 엣지 러닝과 관련하여, 그 문제점을 분석하고 장점과 단점을 강조하는 방식으로 비판적으로 고찰하였다. 마지막으로, 남아 있는 과제와 쟁점들을 논의한다.

딥러닝(DL)과 사물인터넷(IoT)의 빠른 발전은 시각 기반 시스템이 초기 단계에서 화재를 효율적으로 감지하고 대규모 재난을 예방할 수 있도록 해왔다. 이러한 IoT 기반 화재 감지 시스템을 구현하면 관련된 생태적, 사회적, 경제적 파괴를 상당히 줄일 수 있을 뿐 아니라, 지능형 교통시스템(ITSs)을 위한 스마트 모니터링 기능을 제공할 수 있다. 그러나 이러한 시스템을 배치하려면 AI 보조 엣지 장치에서 실시간 처리를 수행하기 위한 경량이고 비용 효율적인 합성곱 신경망(CNN)이 필요하다. 따라서 본 논문에서는 IoT를 지원하는 ITS 환경에 초점을 두어 조기 화재 감지 및 분할을 위한 효율적이고 경량화된 CNN 아키텍처를 제안한다. 우리는 층별 최적의 합성곱 커널 수를 고려하여 depth-wise separable convolution, point-wise group convolution, 그리고 채널 셔플링 전략을 효과적으로 활용함으로써 모델 크기와 연산 비용을 유의미하게 감소시킨다. 새롭게 개발한 데이터셋 및 기타 벤치마크 화재 분할 데이터셋에 대한 광범위한 실험 결과, 본 접근법이 최신 화재 분할 방법에 비해 효과성과 견고성을 입증한다. 또한 제안된 방법은 모델 효율성과 정확성 사이의 균형 잡힌 절충을 유지하여, ITSs에서의 IoT 기반 화재 재난 관리에 본 시스템이 더 적합하도록 한다.

사이버공격은 민감한 의료 데이터의 무선 전송에 심각한 위협이 되며, 제공되는 프라이버시 수준을 저해한다. 다수의 사이버보안 모듈이 개발되어 왔다. 그러나 이러한 방법들 중 다수는 실시간 의료 데이터 처리를 위해 적합하지 않다. 본 논문에서는 스마트 헬스케어 시스템에서 의료 영상을 위한 사이버보안 프레임워크를 제시한다. 우리는 복합적인 혼돈(chaotic) 특성과 넓은 혼돈 구간을 갖는 두 가지의 새로운 2차원 혼돈 맵인 logistic regulated quadratic map(LRQ)과 quadratic regulated quadratic map(QRQ)를 제안한다. LRQ 및 QRQ 맵에 기반한 암호화 기법을 제시하고, 해당 맵들이 생성하는 극도로 혼돈적인 의사난수 수열이 높은 견고성을 갖는 암호화 영상을 생성함을 보인다. 빠른 암호화 시스템은 128 × 128 크기의 영상을 약 0.03초에 암호화할 수 있다. 제안된 사이버보안 솔루션은 사이버공격에 대해 데이터를 보호하며, 원활한 치료 경험을 보장한다.

의복 변경 인물 재인식(Cloth-changing Person Re-Identification, CC-ReID)은 서로 다른 복장을 착용한 특정 보행자를 식별하는 도전적인 데이터 모델링 과제이다. 기존 방법들은 주로 의복의 색상을 변화시키거나, 의복과 무관한 특징을 추출하기 위해 외형을 직접 재구성하는 데 초점을 둔다. 그러나 실제 보행자는 신장, 체형 등에서 차이가 있다. 이러한 방법들은 (예: 질감 구조와 국소 상관관계)와 같은 맥락 현상의 부재로 인해 원본 샘플의 고유 정보(즉, 인물 정체성)를 잃기 쉽고, 그 결과 인식 성능이 저하된다. 이 문제를 해결하기 위해 본 연구에서는 비국소 가중 다중 스케일 지각(Non-local weighted multi-scale perception, NWMP) 모듈과 파싱 재구성 탐색(Parsing reconstruction exploration, PRE) 모듈을 포함하는 HPRNet, 즉 “Human Parsing Reconstruction with Non-Local Multi-Scale Perception Network”라는 프레임워크를 제안한다. 특히 제안된 NWMP 모듈은 샘플의 전역 수용영역(global receptive field)을 효과적으로 포착하고, 샘플 이미지 내에서 서로 이웃하지 않은 픽셀들 사이의 맥락적 상관관계를 획득한다. PRE 모듈은 의복 파싱 모델을 사용하여 인간 신체 구성요소를 보다 정확하게 재구성함으로써, 의복과 관련되거나 무관한 특징을 더 잘 구분하도록 하였다. 본 제안 방법의 효과성과 경쟁력을 복잡한 이 모델링 과제에 대한 최신(state-of-the-art, SOTA) 기준 방법들과 비교하여 입증하기 위해, CC-ReID 공개 데이터셋(LTCC, PRCC 및 CCVID)에서 광범위한 실험을 수행하였다.

안면 감정 인식(Facial Emotion Recognition, FER)은 특히 파킨슨병(Parkinson’s disease, PD), 다발성 경화증(Multiple Sclerosis, MS), 뇌졸중(Stroke)과 같은 신경학적 장애(Neurological Disorders, NDs)를 겪는 개인의 경우를 중심으로 인간의 행동을 이해하는 데 핵심적인 역할을 한다. 감정에 대한 조기·정확한 탐지는 관련 기분 장애의 진단뿐 아니라 지속적인 모니터링에도 중요하다. 그러나 전통적 방법은 비침습적이며 실시간인 해결책을 제공하는 데에서 종종 한계를 보이며, 각 ND 범주에 연관된 특정 감정 유형을 식별하는 데 필요한 임상적 전문성 또한 부족한 실정이다. 이에 본 연구는 ALAMEDA 컨소시엄 하에서, 뇌 질환의 조기 진단과 치료를 강화하기 위한 사물인터넷(Internet of Things, IoT) 기반 FER AI Toolkit을 제안한다. 이 툴킷은 컨소시엄의 임상 가이드라인에 부합하며, 의료 분야에서 Industry 5.0의 목표를 지원하는 개인화되고 환자 중심적인 솔루션을 제공한다. Industry 5.0의 원칙에 따라 FER AI Toolkit은 엣지 디바이스를 사용하여 실시간 얼굴 데이터를 수집하고, 클라우드 서버에서 실행되는 딥러닝 모델이 이 데이터를 처리한다. 인식된 감정은 Semantic Knowledge Graph(SemKG) 서버로 업로드된다. 이를 통해 의료진은 실시간 데이터에 기반하여 정보에 입각한 의사결정을 내릴 수 있다. 또한 이 툴킷은 안전한 접근을 위한 Identity Authentication Manager(IAM)와 효율적인 자원 관리를 위한 ALAMEDA Innovation Hub(AIH)를 포함하여 ALAMEDA의 핵심 구성요소와 원활하게 통합된다. 지속적이고 개인화된 의료 인사이트를 제공함으로써, FER AI Toolkit은 진단과 환자의 안녕 사이의 격차를 연결하여 궁극적으로 의료 시스템을 발전시키는 데 기여한다. 추가 학습을 위해 교육 자료와 비디오 시연이 https://drive.google.com/drive/folders/1-iUz7FE2IrKHt5nMl3oGjsrCtk7Ps2bM?usp=sharing에 제공된다.

장면 이해는 맥락 정보를 추출하고 의사결정을 수행하기 위해 감각 데이터를 활용함으로써 자율주행에서 핵심적인 역할을 한다. 모델링의 진전과 더불어, 차량이 주변 환경을 인지할 수 있게 하는 기반은 시각 감각 데이터의 가용성이며, 이는 차량 지각을 확장하고 실제 환경에서의 차량적 맥락 인식을 실현한다. 관련 연구들이 추구해 온 장면 이해의 연구 방향에는 인물/차량 검출 및 분할, 그들의 전이(transition) 분석, 차선 변경 및 회전(turns) 검출 등 여러 과제가 포함된다. 그러나 이러한 과제들은 완전 자율주행 차량, 즉 사람에 의해 제어되는 차량처럼 주행하여 레벨-5 자율성을 달성하는 것을 완전히 구현하기에는 불충분해 보인다. 이와 같은 후자의 진술은 본 리뷰 논문에서 도출된 결론 가운데 하나로, 비전 센서를 사용하는 자율주행차의 장면 이해는 여전히 상당한 개선이 필요하다고 한다. 이러한 동기에서, 본 조사는 대부분이 계산적으로 복잡한 딥러닝 모델에 의존하는 장면 이해 연구 분야의 현재 성과를 정의하고, 분석하며, 검토한다. 또한 범용 장면 이해 파이프라인을 다루고, 최신 기술( state-of-the-art )에서 보고된 성능을 조사하며, 최첨단 모델링 선택지에 대한 시간 복잡도 분석을 제공하고, 현행 연구 노력에서 마주친 주요 성과와 주목할 만한 한계를 부각한다. 아울러 본 조사는 이용 가능한 데이터셋에 대한 포괄적인 논의를 포함하고, 최근까지 연구자들이 직면해 왔음에도 불구하고 오늘날까지도 미해결로 남아 있는 과제들을 다룬다. 마지막으로, 본 연구는 이 흥미로운 영역에 연구자와 실무자들이 참여할 수 있도록 향후 연구 방향을 제시한다.

스마트 기기의 지속적인 발전과 데이터에 대한 수요가 증가함에 따라, 과거에는 클라우드 서버에서만 수행되던 복잡한 연산이 이제 네트워크의 가장자리(edge)로 이동하고 있다. 여러 가지 이유(예: 지연(latency)에 민감한 응용과 데이터 프라이버시 요구)로 인해, 데이터 기반 연산을 데이터가 생성되는 원천에 더 가깝게 가져오는 과정에서 엣지 컴퓨팅 패러다임이 형성되었다. 기계 학습과 함께 엣지 컴퓨팅은 강력한 로컬 의사결정 도구가 되었으며, 엣지 러닝(edge learning)의 등장으로 이어졌다. 그러나 후자는 하드웨어와 네트워킹 측면에서 지연에 민감하면서도 자원을 크게 소모하는 성격을 보인다. 본 연구에서 이러한 문제를 해결하거나 최소화하기 위한 새로운 방법들이 제안되었다. 먼저, 엣지 러닝 및 추론(ELI)에 대한 대표적인 통신 방법을 데이터 압축, 지연, 자원 관리에 초점을 맞추어 조사하였다. 다음으로, 감시 네트워크에 적용할 경우 사건이 포함된 데이터만을 고려하여 전송 및 저장 자원을 유의하게 절감하는 ELI 기반 비디오 데이터 우선순위 지정 프레임워크를 제안하였다. 또한 다양한 통신 측면을 엣지 러닝과 관련하여, 그 문제점을 분석하고 장점과 단점을 강조하는 방식으로 비판적으로 고찰하였다. 마지막으로, 남아 있는 과제와 쟁점들을 논의한다.

딥러닝(DL)과 사물인터넷(IoT)의 빠른 발전은 시각 기반 시스템이 초기 단계에서 화재를 효율적으로 감지하고 대규모 재난을 예방할 수 있도록 해왔다. 이러한 IoT 기반 화재 감지 시스템을 구현하면 관련된 생태적, 사회적, 경제적 파괴를 상당히 줄일 수 있을 뿐 아니라, 지능형 교통시스템(ITSs)을 위한 스마트 모니터링 기능을 제공할 수 있다. 그러나 이러한 시스템을 배치하려면 AI 보조 엣지 장치에서 실시간 처리를 수행하기 위한 경량이고 비용 효율적인 합성곱 신경망(CNN)이 필요하다. 따라서 본 논문에서는 IoT를 지원하는 ITS 환경에 초점을 두어 조기 화재 감지 및 분할을 위한 효율적이고 경량화된 CNN 아키텍처를 제안한다. 우리는 층별 최적의 합성곱 커널 수를 고려하여 depth-wise separable convolution, point-wise group convolution, 그리고 채널 셔플링 전략을 효과적으로 활용함으로써 모델 크기와 연산 비용을 유의미하게 감소시킨다. 새롭게 개발한 데이터셋 및 기타 벤치마크 화재 분할 데이터셋에 대한 광범위한 실험 결과, 본 접근법이 최신 화재 분할 방법에 비해 효과성과 견고성을 입증한다. 또한 제안된 방법은 모델 효율성과 정확성 사이의 균형 잡힌 절충을 유지하여, ITSs에서의 IoT 기반 화재 재난 관리에 본 시스템이 더 적합하도록 한다.