남윤영 연구실은 컴퓨터공학 기반 딥러닝과 최적화 기법을 활용해 의료영상 진단, 원격탐사 장면 인식, 엣지 네트워크 최적화 문제를 통합적으로 수행합니다. 광간섭성 단층촬영(OCT) 영상에서는 전이학습 기반 특징 추출과 특징 벡터 최적화 및 특징 선택을 결합하는 분류 접근을 구현합니다. 원격탐사 분야에서는 self-attention 병목, Vision Transformer, super-resolution 및 다중 스케일 융합 구조를 네트워크 레벨로 결합하고 Grad-CAM·LIME 같은 설명 방법을 적용합니다. 또한 6G-V2X 계산 오프로딩·연합학습, WBAN 라우팅 프로토콜 설계, 딥러닝 공정검사 응용까지 연구 범위를 확장합니다.
SEMSF-Net: Explainable Squeeze–Excitation Multiscale Fusion Network for Aerial Scene and Coastal Area Recognition Using Remote Sensing Images
Muhammad John Abbas, Muhammad Attique Khan, Ameer Hamza, Shrooq Alsenan, Areej Alasiry, Mehrez Marzougui, Yang Li, Yunyoung Nam
IF 5.3 (2025)
IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing
토지이용 및 토지피복(Land Use and Land Cover, LULC) 분류는 자원의 소모를 관리하고 인구 증가의 영향을 완화하기 위한 지난 10년간의 핵심 역할을 한다. 이는 급속한 도시화, 농업, 기후 변화, 해안 지역, 재난 복구 등 여러 분야에서 활용된다. 전통적인 원격탐사(RS) 기법은 해안 지역 및 LULC와 같은 동적이고 복잡한 항공 영상(이하 Ariel Scenes)을 정확하게 분류하는 데 한계를 겪는다. 본 논문은 원격탐사 영상을 이용하여 LULC 및 해안 지역을 분류하기 위한 새로운 Squeeze-Excitation Multi-Scale Fusion Network(SEMSF-Net)를 제안한다. 제안된 모델은 인셉션(inception) 블록과 덴스(dense) 블록을 각각 별도로 삽입한 후, 초기 단계에서 squeeze-excitation 블록을 기반으로 구성된다. 이러한 블록은 다중 규모(multi-scale)를 바탕으로 더 중요하고 유의미한 특징 정보를 생성하도록 설계되어, 이후 정확한 분류를 수행할 수 있게 한다. 다음 단계에서는 이들 블록을 네트워크 수준에서 융합하며, 병목(bottleneck) 및 역잔차(inverted residual) 블록을 연결하여 학습 가능한 매개변수를 감소시키고 특징의 강도를 향상시킨다. 이 네트워크의 하이퍼파라미터는 제안 모델의 학습에 활용된 여러 실험을 바탕으로 선정하였다. 학습된 SEMSF-Net 아키텍처는 테스트 단계에서도 사용되며, 분류가 수행된다. 또한 GradCAM을 사용하여 학습된 모델의 시각적 예측을 해석한다. 실험 과정에는 Coastal 데이터셋, MLRSNet, NWPU의 세 가지 데이터셋이 활용되었다. 해당 데이터셋들에서 각각 94.94%, 93.7%, 95.70%의 향상된 정확도를 얻었다. 추가로 거시적 재현율(macro recall rate)은 각각 79.0, 93.0, 96%였다. 여러 최근 기법과의 비교 결과, 제안 모델은 선택된 데이터셋들에서 더 우수한 성능을 보였다.
A Novel Approach for High-Resolution Coastal Areas and Land Use Recognition From Remote Sensing Images Based on Multimodal Network-Level Fusion of SRAN3 and Lightweight Four Encoders ViT
Muhammad Kashif Bhatti, Muhammad Attique Khan, Saima Shaheen, Ameer Hamza, Ali Arishi, Dina Abdulaziz AlHammadi, Shabbab Ali Algamdi, Yunyoung Nam
IF 5.3 (2025)
IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing
위성 영상(원격탐사)을 이용한 토지피복(Land use land cover) 분류는 생태 감시, 급속한 도시화, 법 집행, 기후 변화, 농업 가뭄 및 재난 복구와 같은 분야에서 지난 10년간 많은 노력이 이루어져 왔다. 저해상도 원격탐사 영상은 정확한 예측에 영향을 미치므로, 고해상도 딥러닝 아키텍처가 널리 요구된다. 본 연구는 계산 비용을 줄이면서 모델 성능을 향상시키기 위해, 4-encoder 기반 경량 ViT와 적층 잔차 자기주목 CNN(SRAN3)을 결합하는 새로운 딥 네트워크 레벨 퓨전(deep network-level fusion) 접근법을 제안한다. SRAN3 모델은 정교한 두드러진 특징을 추출하기 위해 제안되었으며, 4-encoder 기반 ViT는 계산 시간을 줄이면서도 효과적인 학습을 가능하게 한다. 두 네트워크는 심도(depth) 연결(concatenation) 방식으로 융합되며, 이는 두 아키텍처의 장점을 효과적으로 통합한다. 융합 모델의 하이퍼파라미터는 베이지안 최적화를 통해 선택되어 학습 과정을 유의하게 개선한다. 이후 훈련된 모델은 테스트 단계에서 사용되어 심도-연결 레이어로부터 특징을 추출한다. 추출된 특징은 신경망 분류기에 입력되어 최종 예측을 수행한다. 공개 데이터셋 2종인 EuroSAT와 NWPU_RESIS45를 사용하여 향상된 테스트 및 검증 정확도를 도출하였다. 제안한 SRAN3 + WNN(Wide Neural Network)과 4-encoder ViT + WNN은 각각 96.9%와 92.6%의 정확도를 보였으나, 제안한 융합 네트워크 + WNN은 EuroSAT에서 98.4%, NWPU_RESIS45 데이터셋에서 94.7%의 최고 정확도를 달성하였다. 또한 제안된 융합 모델의 해석 가능성은 설명 가능한 인공지능(explainable artificial technique, XAI)을 사용하여 수행되었으며, 토지 이용 및 토지피복 분류에서 향상된 결과가 나타났다.
LiteDenseMoE: An Explainable Lightweight Densely Connected Mixture-of-Experts Network for Aerial Scene Recognition in Low Contrast Remote Sensing Images
Muhammad John Abbas, Muhammad Attique Khan, Ameer Hamza, Shrooq Alsenan, Areej Alasiry, Mehrez Marzougui, Jungpil Shin, Yunyoung Nam
IF 5.3 (2025)
IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing
육상 원격탐사 영상 분류는 진행 중인 지리적 및 환경적 변화를 이해하는 데 핵심적이다. 이는 토지 이용 및 토지 피복 분류, 작물 및 식생 분류, 변화 탐지, 그리고 연안 및 항공 지역의 분류에 도움을 준다. 많은 고급 기법들이 모델에 대한 일부 실질적인 수정에 기반하여 도입되었으나, 그 결과 적응하기 어려운 복잡한 프레임워크가 초래되었다. 본 연구에서는 원격탐사 영상을 이용하여 항공 및 연안 지역 분류를 위한 경량 경량 밀집 혼합전문가(Lightweight Dense Mixture of Experts; LiteDenseMoe) 모델을 새롭게 제안한다. 제안된 모델은 초기 단계에서 경량 밀집 레이어를 포함하는 경량의 밀집 블록과, 채널 및 공간 주의(attention) 메커니즘을 통합한다. 그 다음, 결과 모델은 복잡한 항공 장면에 대한 정확한 예측을 위해 더 관련성 있고 본질적인 특징을 추출한 Mixture of Experts 블록과 추가로 결합된다. 제안된 모델의 학습 과정에서는 수동 선택 대신 하이퍼파라미터 초기화를 위해 Hyperband Optimization 기법을 사용한다. 제안된 모델을 학습한 후에는 분류를 수행하고, 출력 해석을 함께 수행한다. 제안된 LiteDenseMoe 아키텍처는 세 가지 데이터셋에서 평가되었으며, 0.3백만 개의 파라미터만으로 MLRSNet에서 93.25%, NWPU-RESISC45에서 92.56%, EuroSAT 데이터셋에서 96.54%의 정확도를 달성하였다. Moe 결과를 해석하기 위해 전문가 할당 및 클래스별 전문가 신뢰도, Expert disagreement Network, t-SNE 시각화 또한 관찰한다. 상세한 절제(Ablation) 연구와 사전학습(pre-trained) 및 SOTA 모델과의 비교 분석은 항공 및 연안 지역 분류를 위한 제안 아키텍처의 영향과 효율성을 확인한다.
o 데이터 관리 및 인구적 특성에 따른 데이터 분석을 위해 아동의 신상과 관련된 기본적인 정보 수집 및 관리를 위한 모듈 구축, 양육자가 일상생활을 하는 동안 자녀를 관찰한 내용을 바탕으로 주어진 질문에 답하도록 요청하여 정보를 수집 및 관리를 위한 모듈 구축
o 아동 연령에 따른 적합한 질문을 화면에 보여주어 영역(사회적/정서, 언어/의사소통, 인지력-학습, 사고, 문제 해결, 움직임/신체발달)에 대한 관찰정보를 수집 및 관리 모듈 구축하여 연령별 발달 정보를 수집함.
o 기질검사는 대다수가 설문조사로 이루어지는데 이는 양육자의 편향된 대답 때문에 정확하지 않은 기질·성격으로 분류될 가능성이 크고 아동을 대상으로 검사하는 경우 전문가의 판단에 의존하기 때문에 긴 시간과 높은 비용이 필요하므로 영상처리 기반 의사소통 감성 분석을 활용한 기질검사 모듈을 개발함.
o 맥박, 피부 전도반응 및 피부 온도를 통해 간접적으로 자율신경반응을 확인할 수 있으며 치료사와 아동의 상호작용 수준이 높은 경우, 양자 간의 자율신경반응 지표의 변화가 일치하는 경향을 보여 상호작용 분석을 위한 맥박, 피부 전도반응, 피부 온도 등을 수집하는 모듈 및 측정된 맥박, 피부 전도반응과 피부 온도 신호 분석을 위한 데이터 전처리, 신호 분석/지표 모델을 개발함.
o 시선 추적 장치(휴대용 아이트래커, 거치식 아이트래커 및 VR기기)를 이용하여 안구 움직임 영상정보를 수집하고 전문가를 통해 이벤트, 동작, 감정, 음성 또는 기타 관련 정보에 라벨을 지정하여 수동으로 수행하거나 시스템 자체가 인간 주석자로부터 레이블을 요청하는 능동 학습을 사용하는 기술을 통해 감정분석 라벨링을 수행함.
o 영유아/아동의 상담 영상을 이용하여 Dilated Convolution과 Coord Convolution 기술을 결합한 하이브리드 모델을 통해 강건한 안면 특징을 검출하고 수집한 시선추적 데이터를 활용하여 양자 또는 삼차 상호작용 요소(Partner-Oriented, PO; Object-Oriented, OO; Introspective, INT; Responding JA, RJA; Initiating JA, IJA)로 구분할 수 있는 구성도를 설계함.
o Face Landmark Detection을 이용한 얼굴 특징점 추출 및 얼굴 이미지 재정렬 기법 연구와 FACS 기반의 표정 변화 분류 모델 개발과 감정 인식을 위한 표현 규칙 정의 및 특징 Landmark의 변화량을 추적하여 사용자의 감정 분류 및 판별 기법을 개발을 통해 감정(분노, 혐오, 두려움, 행복, 중립, 슬픔, 놀라움)과 관련 있는 얼굴 특징점들을 이용한 동적 감정 분류 모델을 개발함.
o 학습 데이터 확보를 위한 비지도 학습 딥러닝 모델과 영유아의 특색 있는 행동 변화를 인지 및 빠른 Motion 변화에 관한 특징 학습을 위한 Gait 인식 기반 영상 식별 및 행동 특징 분류 모델 개발 및 t-SNE와 군집화 기반의 Vector 시각화를 통한 시간 흐름에 따른 영유아 행동 변화를 분류하는 패턴 분석 모델을 개발함.
o 발화 데이터를 텍스트로 변환하는 STT 엔진, Stable Diffusion 기반으로 하여 Stack-GAN, AttnGan 등을 Text-to-Image 모델 개발을 통해 언어장애 발화텍스트/이미지를 변환함.
o 음성 및 자연어 처리 기반 의사소통 감성 분석을 활용한 기질검사 모듈 개발을 위해 영유아/아동의 상담 음성을 이용하여 STT 기술을 활용해 텍스트데이터 BERT 활용한 문장 단위 감성 분석을 통한 다면적 기질/인성검사 시스템 구성도를 설계함.
딥러닝 기반 공정검사를 적용한 고품질 STP(Shielded-Twisted Pair) 이더넷 커넥터 자동 조립 설비 국산화 기술 개발
본 과제는 미래형 자동차 통신네트워크용 고품질 Shielded-Twisted Pair(STP) 이더넷 커넥터를 정밀 자동 조립하는 설비를 국산화하는 연구임.
연구 목표는 압착단자 위치 ≤0.1㎜, LVDT·Vision 반복공차 ≤10㎛, 컴퓨터비전 측정 정확률 ≥98%, 딥러닝 기반 불량 예측 정확률 ≥98% 달성에 있음. 핵심 연구 내용은 1차년도 Pre-Inspection 시스템 설계·제작 및 수집 데이터 기반 S/W 개발, 2차년도 자동 조립 시스템 설계·독자 제어 알고리즘 개발 및 딥러닝 기반 공정검사 시스템 구현임. 기대 효과는 수입대체 및 기능 추가/개조 비용 최소 20% 절감, 미래형 자동차용 하네스 자동화 설비의 안정적 공급과 신속 대응 체계 마련임.
딥러닝 기반 공정검사를 적용한 고품질 STP(Shielded-Twisted Pair) 이더넷 커넥터 자동 조립 설비 국산화 기술 개발
본 과제는 미래형 자동차용 통신네트워크 구축을 위한 고품질 STP(Shielded-Twisted Pair) 이더넷 커넥터를 자동으로 조립하는 설비를 국산화하는 연구임.
연구목표는 압착단자 위치 ≤0.1㎜, LVDT·Vision 반복공차 ≤10㎛, 컴퓨터비전 정확률 ≥98%, 딥러닝 기반 불량 예측 정확률 ≥98% 달성과 설비 C/T ≤16sec 확보에 있음. 핵심 연구내용은 1차년도 Pre-Inspection 시스템으로 조립 전 검사 데이터 수집 및 S/W 불량 예측 개발, 2차년도 독자 제어 설계·기구 설계 정립과 딥러닝 기반 공정검사 시스템으로 자동화 조립 성능을 구현하는 과정임. 기대효과는 수입 대체 및 비용·대응시간 절감, 외산 독점 설비 의존도 완화와 안정적 부품 공급체계 마련에 있음.