생성형 AI·제스처 데이터 기반 비전-언어 상호작용 연구

Vision-language interaction with generative AI and gesture data

연구 내용

생성형 이미지 도구와 제스처 데이터 수집 전략을 결합해 교육·콘텐츠·웨어러블 환경에서 개념 표현과 상호작용 성능을 개선하는 연구

개념 표현과 상호작용을 위해 생성형 AI 기반 시각화와 비전 신호 기반 입력을 함께 다루는 연구를 수행합니다. 이미지 생성 모델을 활용해 교육 맥락에서 텍스트-개념 간 전달 간극을 줄이고, 강사-학습자 피드백 품질과 어휘 학습에 대한 영향을 평가합니다. 또한 제스처 인식의 견고성을 위해 crowdsourcing 방식으로 변이성을 확보하고, 데이터 수집·메모리제이션 조건을 비교해 성능을 개선합니다. 더불어 리뷰의 별점과 텍스트 정보 구조가 의사결정에 미치는 영향을 사용자 연구로 분석하고, 웨어러블 환경에서는 음성 기반 메시지를 시각화하여 사용성 요소를 검증하는 방향으로 확장합니다.

관련 프로젝트

4건

연구 흐름

초기에는 온라인 리뷰 구조가 사용자 의사결정에 미치는 영향을 통해 텍스트 기반 정보 해석 메커니즘을 정리했습니다. 동시에 제스처 인식의 데이터 편향 문제를 해결하기 위해 crowdsourcing 기반 수집 효과와 변이성 개선 전략을 검증했습니다. 이후에는 교육 현장에서 생성형 이미지 도구를 적용하여 개념 표현과 피드백 교환을 강화하는 연구로 전환했습니다. 최근에는 스마트워치에서 음성-시각 메시지 상호작용을 다루며, 콘텐츠 생성과 XR 기반 융합 환경으로 적용 범위를 넓히는 흐름을 보입니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

교육용 AI 시각화 도구
텍스트-개념 이미지 변환
crowdsourcing 제스처 데이터셋
제스처 인식 정확도 향상
별점-리뷰 구조 분석
웨어러블 메시지 시각화
메타버스 가상 스튜디오 콘텐츠
XR 기반 인간-AI 상호작용 실증
디지털 독서 저작 플랫폼
생성형 콘텐츠 품질 평가 모듈