청각장애인은 보청기나 인공와우이식기를 사용하더라도 음정 인식의 문제로 인해 노래 부르기에 어려움을 겪는다. 본 연구는 실시간 시각적 피드백을 제공하는 대화형 훈련 애플리케이션을 개발함으로써 이 문제를 다룬다. 여기에는 노래한 음정이 의도한 음과 일치하는지를 알려주는 결과지식(Knowledge of Results, KR)-외부 피드백이 포함된다. 사용자가 소리를 생성하면, 애플리케이션은 RAPT(Robust Algorithm for Pitch Tracking)를 사용하여 그 소리의 음정을 감지하고 해당하는 악보의 음표를 표시한다. 실시간 음정 슬라이더는 사용자가 목표 음표에 비해 자신의 음정을 모니터링하고 조정할 수 있게 해준다. 이러한 이중 피드백 메커니즘은 사용자가 연습 중 자신의 발성을 능동적으로 조절하도록 돕는다. 본 시스템은 청각장애 참여자 10명과 함께 노래 훈련 세션 4회에서 시험되었다. 그 결과 참여자들은 “Twinkle Twinkle Little Star”를 성공적으로 부를 수 있었다. 훈련을 통해 이들은 음정 및 음량 조절을 향상시키고 기본적인 노래 기법에 대한 기초적 이해를 형성할 수 있었다. 본 애플리케이션은 전통적으로 음악 교육에서 배제되어 온 개인들에게 효과적인 노래 훈련을 제공할 가능성을 보여준다. 시각적이고 대화형 피드백을 통해 자기조절 학습을 지원함으로써, 본 시스템은 청각장애 공동체의 음악 학습에서 포용성을 증진하기 위한 의미 있는 교육 도구를 제공한다.

본 연구는 장인이 자신의 작품이 지니는 고유한 특성을 정의하고 적용하여 원본과 모방품을 구별하며, 지식재산권을 보호하고 거래할 수 있게 하는 방법을 제안한다. 첫 번째 단계에서는 작품의 다양한 속성을 디지털화하고 고유 ID를 생성할 수 있는 해시 함수(hash functions)를 적용하여, 원본 공예품의 인증을 가능하게 하는 디지털 지문(digital fingerprint)을 생성하였다. 두 번째 단계에서는 컨소시엄 블록체인(consortium blockchain) 기술을 적용하여, 공예품의 원본 인증을 위한 블록체인 거래 시스템을 개발하였다. 이 시스템은 여러 공예 관련 조직이 함께 참여할 수 있으며, 거래가 발생하면 스마트 계약(smart contract)이 생성되어 블록체인에 저장됨으로써 거래 이력의 추적 및 관리가 가능해진다. 또한, 블록체인 시스템과 통합된 공예품의 디지털 지문(QR code)을 스캔함으로써 구매자가 공예품의 인증을 확인하고 상세 정보를 열람할 수 있도록 하는 DApp을 개발하였다. 세 번째 단계에서는 121명의 참여자를 대상으로 실시한 만족도 설문조사와 10명의 장인을 대상으로 한 사용성 평가를 통해 연구 결과를 평가하였으며, 두 평가 모두 긍정적인 반응을 보였다. 본 연구는 디지털 지문 기술과 블록체인 기술의 통합을 통해 보안성과 효율성을 모두 보장하는 안전하고 투명한 공예품 거래 시스템을 성공적으로 구현하였다.

안내(wayfinding) 표지판은 사람들이 의도한 목적지까지 길을 찾는 데 필요한 정보를 제공하기 위해 환경 속에서 두드러진 가시성을 가져야 한다. 따라서 디자이너들은 주변 환경과 심미적으로 조화로우면서도 명확히 잘 보이는 표지판을 설계하고자 한다. 높은 현저성을 지닌 색상을 찾기 위해 다양한 색상과 환경의 조합을 보여주는 1632개의 이미지를 제작하였다. 그리고 표지판의 현저성, 색 대비, 색 조화, 표지판 색 선호도, 기대되는 표지판 사용성 등의 평가 요인을 33명의 디자이너를 대상으로 시험하였다. 실험 결과에 대한 통계 분석을 통해 현저성과 조화가 높은 색상을 다양한 유형의 환경에 따라 분류하였으며, 평가 요인들 간의 모든 상관관계를 분석하였다. 그 결과, 색 조화를 제외한 모든 평가 요인이 유의하게 높은 상관관계를 보였다. 이러한 결과를 바탕으로, 표지판을 설계할 때는 표지판과 주변 환경 간의 색 조화보다는 색 차이를 활용하여 표지판의 현저성을 높이는 데 초점을 맞춰야 한다고 결론지었다.

청각장애인은 보청기나 인공와우이식기를 사용하더라도 음정 인식의 문제로 인해 노래 부르기에 어려움을 겪는다. 본 연구는 실시간 시각적 피드백을 제공하는 대화형 훈련 애플리케이션을 개발함으로써 이 문제를 다룬다. 여기에는 노래한 음정이 의도한 음과 일치하는지를 알려주는 결과지식(Knowledge of Results, KR)-외부 피드백이 포함된다. 사용자가 소리를 생성하면, 애플리케이션은 RAPT(Robust Algorithm for Pitch Tracking)를 사용하여 그 소리의 음정을 감지하고 해당하는 악보의 음표를 표시한다. 실시간 음정 슬라이더는 사용자가 목표 음표에 비해 자신의 음정을 모니터링하고 조정할 수 있게 해준다. 이러한 이중 피드백 메커니즘은 사용자가 연습 중 자신의 발성을 능동적으로 조절하도록 돕는다. 본 시스템은 청각장애 참여자 10명과 함께 노래 훈련 세션 4회에서 시험되었다. 그 결과 참여자들은 “Twinkle Twinkle Little Star”를 성공적으로 부를 수 있었다. 훈련을 통해 이들은 음정 및 음량 조절을 향상시키고 기본적인 노래 기법에 대한 기초적 이해를 형성할 수 있었다. 본 애플리케이션은 전통적으로 음악 교육에서 배제되어 온 개인들에게 효과적인 노래 훈련을 제공할 가능성을 보여준다. 시각적이고 대화형 피드백을 통해 자기조절 학습을 지원함으로써, 본 시스템은 청각장애 공동체의 음악 학습에서 포용성을 증진하기 위한 의미 있는 교육 도구를 제공한다.

본 연구는 장인이 자신의 작품이 지니는 고유한 특성을 정의하고 적용하여 원본과 모방품을 구별하며, 지식재산권을 보호하고 거래할 수 있게 하는 방법을 제안한다. 첫 번째 단계에서는 작품의 다양한 속성을 디지털화하고 고유 ID를 생성할 수 있는 해시 함수(hash functions)를 적용하여, 원본 공예품의 인증을 가능하게 하는 디지털 지문(digital fingerprint)을 생성하였다. 두 번째 단계에서는 컨소시엄 블록체인(consortium blockchain) 기술을 적용하여, 공예품의 원본 인증을 위한 블록체인 거래 시스템을 개발하였다. 이 시스템은 여러 공예 관련 조직이 함께 참여할 수 있으며, 거래가 발생하면 스마트 계약(smart contract)이 생성되어 블록체인에 저장됨으로써 거래 이력의 추적 및 관리가 가능해진다. 또한, 블록체인 시스템과 통합된 공예품의 디지털 지문(QR code)을 스캔함으로써 구매자가 공예품의 인증을 확인하고 상세 정보를 열람할 수 있도록 하는 DApp을 개발하였다. 세 번째 단계에서는 121명의 참여자를 대상으로 실시한 만족도 설문조사와 10명의 장인을 대상으로 한 사용성 평가를 통해 연구 결과를 평가하였으며, 두 평가 모두 긍정적인 반응을 보였다. 본 연구는 디지털 지문 기술과 블록체인 기술의 통합을 통해 보안성과 효율성을 모두 보장하는 안전하고 투명한 공예품 거래 시스템을 성공적으로 구현하였다.

안내(wayfinding) 표지판은 사람들이 의도한 목적지까지 길을 찾는 데 필요한 정보를 제공하기 위해 환경 속에서 두드러진 가시성을 가져야 한다. 따라서 디자이너들은 주변 환경과 심미적으로 조화로우면서도 명확히 잘 보이는 표지판을 설계하고자 한다. 높은 현저성을 지닌 색상을 찾기 위해 다양한 색상과 환경의 조합을 보여주는 1632개의 이미지를 제작하였다. 그리고 표지판의 현저성, 색 대비, 색 조화, 표지판 색 선호도, 기대되는 표지판 사용성 등의 평가 요인을 33명의 디자이너를 대상으로 시험하였다. 실험 결과에 대한 통계 분석을 통해 현저성과 조화가 높은 색상을 다양한 유형의 환경에 따라 분류하였으며, 평가 요인들 간의 모든 상관관계를 분석하였다. 그 결과, 색 조화를 제외한 모든 평가 요인이 유의하게 높은 상관관계를 보였다. 이러한 결과를 바탕으로, 표지판을 설계할 때는 표지판과 주변 환경 간의 색 조화보다는 색 차이를 활용하여 표지판의 현저성을 높이는 데 초점을 맞춰야 한다고 결론지었다.

본 연구는 색, 형태, 재료, 문양 등 세라믹 시각 요소 분류 체계를 구축하고, 이를 메타데이터로 작성한 후 해당 메타데이터의 통계 분석을 통해 시대별 한국 도자기의 시각적 특성을 분석하는 데 목적이 있다. 이를 위해 첫째, 도자기용 시각 요소 분류 체계를 수립하였다. 둘째, 시각 요소 분류 체계를 활용하여 7,346장의 도자기 사진을 수집하고 주석을 달아 메타데이터를 생성하였다. 셋째, 메타데이터의 통계 분석을 통해 각 시대에 선호되는 시각 요소를 정리하고, 그 특성을 분석하였다. 특히 재료의 물성에 따라 달라지는 형태 구현, 색채 기술, 문양 표현의 차이를 확인하였다. 본 연구를 통해 한국 도자기의 시각 요소 흐름과 각 유형의 외관 및 제작 방법에 대한 이유를 보다 체계적으로 이해할 수 있었다.

목적: 본 연구의 목적은 경도인지장애(MCI) 환자를 대상으로 가라오케 기반 디지털 치료 프로그램(CogniSong)의 효능을 평가하는 것이다. 방법: 12주 단일기관, 평가자 맹검 무작위 대조시험에서 MCI 환자 36명이 무작위로 CogniSong 디지털 치료제(DTx)군(n=18) 또는 표준치료군(n=18)에 배정되었다. 중재군은 모바일 애플리케이션을 통해 매일 30분의 가라오케 게임 기반 인지훈련 세션을 받았다. 1차 평가변수는 기준선에서 12주까지 Repeatable Battery for the Assessment of Neuropsychological Status(RBANS) 총점의 변화였다. 2차 평가변수에는 RBANS 하위영역 지표 점수, 서울-일상생활도구활동(Seoul-Instrumental Activities of Daily Living), 17문항 해밀턴 우울평가척도(17-item Hamilton Depression Rating Scale), 신경정신행동검사(Neuropsychiatric Inventory), 임상치매평가-상자합(Clinical Dementia Rating-Sum of Boxes)이 포함되었다. 결과: DTx군은 표준치료군에 비해 RBANS 총점에서 유의하게 더 큰 개선을 보였다(평균 변화 +5.9점 vs. -0.2점, p=0.041). 그러나 RBANS 하위영역 점수 또는 일상 기능, 기분, 신경정신 증상, 전반적 임상 상태와 같은 2차 평가변수에서는 군 간 유의한 차이가 없었다. 결론: 본 무작위 대조시험에서 가라오케 기반 DTx는 MCI 환자에서 전반적 인지를 향상시키는 데 있어 실행 가능하며 효과적인 것으로 보였다. 본 연구결과는 MCI 환자의 인지 개선을 위한 보완적 중재로서의 잠재력을 지지한다.

수동(Manual) 수어 시스템은 지적 발달장애(Intellectual Developmental Disabilities, IDD)를 지닌 아동의 의사소통을 개선하기 위해 도입되었다. 학습 지원 도구의 부재로 인해 교사들은 주의 집중 시간이 짧고 지속적인 중재가 필요하는 등 아동에게 수동 수어를 지도하는 데 있어 많은 실제적 어려움에 직면해 있다. 이러한 문제를 해결하기 위해 우리는 교사들과 협력하여 손담 리듬 게임(Sondam Rhythm Game)을 개발하였다. 손담 리듬 게임은 수어 교육을 돕는 제스처 기반 리듬 게임이다. 그리고 5명의 교사와 IDD 아동 8명을 대상으로 4주간의 경험적 연구를 수행하였다. 비디오 주석 및 사후 인터뷰에 근거할 때, 게임 기반 학습 접근법은 IDD 아동에게 수동 수어를 가르치는 데 효과적일 가능성이 있다. 본 접근법은 아동의 주의 집중 지속시간과 동기를 향상시켰을 뿐만 아니라, 촉진 없이도 자발적으로 수행하는 제스처의 수를 증가시켰다. 또한 다른 실제적 쟁점과 학습상의 어려움들이 함께 확인되어, IDD 아동을 위한 교수 패러다임을 개선하는 데 기여할 수 있을 것으로 보인다.

본 연구에서 개발한 Smart Culture Lens는 세라믹의 시각적 요소 분류 시스템과 AI 기술을 활용하여 개발된 애플리케이션이다. 사용자는 스마트폰으로 촬영한 세라믹 사진의 시각적 요소를 분석하고, 각 시각적 요소와 관련된 유사 세라믹을 검색할 수 있다. 이를 위해, 먼저 세라믹 외관을 분류하기 위한 기준으로 색상, 형태, 재료, 문양 등의 시각적 요소를 정의하고, 세라믹의 시각적 요소 분류 시스템을 정리하였다. 두 번째 단계에서는 박물관 방문 촬영과 웹을 통해 7,346종의 세라믹 이미지 19,610장을 수집하고, 이를 시각적 요소 분류 시스템에 따라 주석(annotating)하여 데이터베이스를 구축하였다. 세 번째 단계에서는 세라믹 분류 체계를 기반으로 대표적인 객체 탐지 모델인 Faster R-CNN과 Mask R-CNN을 학습시켰다. 학습된 객체 탐지 모델을 통해 입력 이미지의 시각적 요소와 마스크를 인식하고, 인식된 마스크를 통해 k-means 알고리즘을 사용하여 해당 영역의 대표 색상을 추출하였다. 학습된 객체 탐지 모델의 성능(Form / Material / Pattern 1차 범주 평균 정밀도 = 0.87 / 0.89 / 0.72)은 수집된 데이터의 양과 구축된 분류 체계가 유용함을 보여준다. 마지막으로, 상기 개발 결과를 적용하여 ‘Smart Culture Lens’라는 모바일 애플리케이션을 개발하였고, 사용자 경험 테스트를 통해 해당 애플리케이션의 유용성을 확인하였다. 본 연구는 전통적인 유물 탐색 방식과는 다른 관점에서 사람들이 유물을 직관적으로 탐색할 수 있도록 문화유산에 AI 기술을 결합한다. 본 개발의 모든 세부 과정은 문화유산에 AI 기술을 적용하는 방법에 대한 가이드가 될 것이다.

수어 서비스는 청각장애가 있는 사람들이 TV 방송을 통해 사회적·정치적으로 중요한 정보로부터 소외되지 않도록 하기 위해 제공된다. 본 논문에서는 청각장애 또는 난청(DHH) 사람들을 대상으로 현재의 수어 서비스에 대한 사용자 설문 및 평가를 수행하였으며, 분석 과정에서 발견된 문제점들에 대한 해결 방안을 제안하였다. 이를 위해 총 다섯 단계의 연구를 진행하였다. 첫째, DHH 개인이 겪는 의사소통 문제와 그들의 언어 및 정보 습득에 관한 선행 연구를 조사하였다. 둘째, TV를 통한 정보 전달 채널 가운데 가장 전형적인 유형을 뉴스, 토론, 날씨 예보로 정의하고, 각 유형에 대한 실제 수어 서비스 사례를 조사하여 세 가지 시각적 정보 전달 요소—수어 통역사, 참고 비디오, 자막—를 식별하였다. 셋째, 정보 전달 요소의 배치 옵션을 달리하여 DHH 참여자를 대상으로 선호도 설문, 면담 설문, 그리고 안구추적 실험을 수행하였다. 넷째, 조사와 실험의 결과를 바탕으로 정보 전달 요소를 배치할 때 고려해야 할 옵션들을 정리하였다. 결과는 정보 전달의 첫 번째 요소인 수어 통역사는 얼굴 표정의 가시성이 중요하므로 명확히 식별될 수 있는 크기로 제시되어야 함을 보여주었다. 또한 DHH 참여자들은 배경의 존재를 선호하지 않았으므로, 통역사는 배경 없이 제시하는 것이 권장된다. 세 번째 정보 전달 요소인 자막에 대해서는, 수어 통역과 자막을 함께 제공하는 것이 DHH 참여자들이 내용을 더 빠르고 정확하게 이해하는 데 도움이 됨이 확인되었다. 더 나아가 여러 명의 발화자가 있는 경우 시청자가 누가 말하고 있는지 이해할 수 있도록 발화자 각각에 대한 개별 자막을 제공해야 한다. 두 번째 정보 전달 요소인 참고 비디오(주로 화면 배경에 배치됨)는 수어 통역사와 자막에 비해 DHH 참여자에게 덜 중요하게 인식되었으며, DHH 참여자들은 참고 비디오가 수어 통역사로부터 시각적으로 분리되어 제시되는 것을 선호하는 것으로 나타났다. 다섯째, 연구 전반의 결과를 바탕으로 DHH 사람들을 위한 각 유형의 정보 전달 요소에 대한 화면 레이아웃 설계를 제안하였다. 수어 통역사를 화면에 단순히 배치하면 DHH 사람들이 TV 방송의 정보 전달 내용을 시청하는 데 문제가 없을 것이라는 일반적 인식과는 달리, 본 연구는 DHH 사람들에게 더 세밀한 화면 레이아웃 설계가 필요함을 확인하였다. 본 연구가 DHH 및 비장애인 모두가 편리하게 시청할 수 있는 TV 방송용 더 나은 수어 서비스 제공을 위한 유용한 지침으로 활용되기를 기대한다.