텍스트-이미지(T2I) 확산 모델(DM)은 인상적인 시각적 품질을 제공하지만, 영어 중심의 학습 코퍼스에 기인하여 언어적 커버리지와 문화적 충실도는 여전히 제한적입니다. 우리는 한국어–영어에 초점을 둔 이중언어 T2I 프레임워크인 KoDi를 제안합니다. KoDi는 (1) 한국어 프롬프트를 이해하고, (2) 한국의 문화 요소를 충실하게 재현하며, (3) 일반 도메인 성능을 보존합니다. 우리는 유산 건축, 음식, 랜드마크, 전통 의복을 아우르는 한국 문화 데이터셋(KCD)을 구축했으며, 각 이미지는 한국어 캡션과 함께 두 가지 영어 변형—의미 기반 영어 번역(EN-SEM)과 음성 기반 로마자 표기(EN-ROM)—과 쌍을 이룹니다. KoDi는 사전학습된 확산 백본에 한국어–영어 CLIP 텍스트 인코더를 통합하고, KCD에서 미세조정합니다. 또한 문화적 귀속(attribution)과 프롬프트–이미지 정렬을 정량화하기 위해 두 구성요소로 이루어진 간결한 문화 평가 프로토콜을 도입합니다—KC-CLIP 유사도와, 문화적 귀속 및 프롬프트–이미지 정렬을 평가하는 Large Vision–Language Model(LVLM) 기반 평가자입니다. Bilingual Korean Culture(B-KC) 벤치마크에서 KoDi는 기존의 다국어 DM보다 우수한 성능을 보였으며, 한국어 프롬프트에서 KC-CLIP 유사도를 +29%, EN-ROM 프롬프트에서 +39%, EN-SEM 프롬프트에서 +21% 향상시켰습니다. 인간 평가 또한 문화적 관련성, 텍스트–이미지 정렬, 심미성 전반에서 KoDi가 더 선호됨을 보여주었습니다. DrawBench-200과 XM-3600을 위한 한국어 프롬프트로 확장된 Bilingual General(B-G) 벤치마크에서도 KoDi는 다국어 기준선보다 더 높은 CLIP 유사도를 달성합니다. 한국을 넘어, 본 연구의 모듈형 데이터–모델–평가 설계는 백본의 최소한의 변경만으로 영어 중심의 사전학습 확산 백본을 저자원 문화에 적응시키는 실용적인 방법을 제공합니다.

기술의 융합은 기술 혁신을 촉발하고 변화를 가져올 수 있다. 따라서 과거에는 존재하지 않았던 기술 분야들 간의 융합을 예측하기 위한 접근법을 개발할 필요가 있다. 이는 기업이 경쟁사와는 다른 완전히 새로운 경쟁 우위를 선점할 수 있게 한다. 기술이 융합되는 분야들을 적시에 예상하는 것은 혁신 기업이 기술 융합과 관련된 변화하는 사업 전개 양상을 인식하도록 돕는다. 다양한 연구자들이 특허를 사용하여 기술 융합이 진행 중인 잠재적 기술 분야를 예측하기 위한 지도학습 기반 접근법을 제시해 왔다. 이들은 과거와 미래의 기술 클래스 간 연결 간의 연관성을 포착하는 기계학습 모델을 개발하였다. 그들의 기여는 매우 중요하지만, 각 기술 분야에서 수행된 기술 활동의 산출물인 기술적 특성을 충분히 심층적으로 고려하지 않는다는 한계가 있다. 예측된 기술 분야 간의 미래 연결이 타당하도록 하기 위해서는, 기술 융합을 구체적으로 시사할 수 있는 기술적 특성이 지도학습 과정에 명확히 반영되어야 한다. 본 연구는 이러한 문제를 해결하기 위해 링크 예측 결과, 기술적 영향 관계, 기술 클래스 간의 기술적 관련성을 사용하여 잠재적 기술 융합을 예측하는 지도학습 기반 접근법을 제안한다. 이를 입력 특성으로 활용하여 새로운 기술 융합을 예측하는 여러 분류 모델을 학습하고, 모든 모델을 앙상블하기 위해 보팅 분류기를 개발한다. 본 연구는 기술 융합을 통해 실현 가능한 새로운 기술 기회를 식별하는 데 기여할 것으로 기대된다. 또한 본 연구는 기업이 식별된 기회를 기술 로드맵에 반영하고 관련 시장에 적시에 진입하기 위한 사업 의사결정을 내리는 데 도움을 줄 것이다.

과학 그림 캡션 생성(scientific figure captioning)은 시각 콘텐츠에 대해 맥락적으로 적절한 설명을 생성해야 하는 복잡한 과제이다. 그러나 기존 방법들은 불완전한 정보를 활용하거나, 해당 과제를 이미지-대-텍스트(image-to-text) 또는 텍스트 요약(text summarization) 문제로만 단순화하여 처리하는 경우가 많아 한계가 있다. 이러한 제약은 필수 세부 사항을 충분히 포착하는 고품질 캡션 생성에 방해가 된다. 또한 arXiv 논문에서 수집된 기존 데이터는 캡션의 품질이 낮아, 대규모 언어 모델(LLMs) 학습에 중대한 어려움을 야기한다. 본 논문에서는 이러한 문제를 해결하기 위해 서로 다른 하위 과제에 특화된 LLM들을 활용하는 Multi-LLM Collaborative Figure Caption Generation(MLBCAP)이라는 프레임워크를 제안한다. 우리의 접근은 세 가지 핵심 모듈로 전개된다. (품질 평가) 우리는 멀티모달 LLM을 활용하여 학습 데이터의 품질을 평가함으로써 저품질 캡션을 필터링한다. (다양한 캡션 생성) 이어서 캡셔닝 과제에 대해 여러 LLM을 미세조정(fine-tuning)/프롬프트하는 전략을 사용하여 후보 캡션을 생성한다. (판정) 마지막으로, 저명한 한 LLM에 후보들로부터 가장 품질이 높은 캡션을 선택하도록 프롬프트한 뒤, 남아 있는 부정확성을 정제(refining)한다. 사람 평가 결과, 본 접근으로 생성된 유익한 캡션은 사람이 작성한 캡션보다 더 높은 순위를 보였으며, 이는 그 효과를 뒷받침한다. 본 연구의 코드는 https://github.com/teamreboott/MLBCAP 에서 제공된다.

본 논문에서는 데이터가 부족한 상황에서 내재된 문제를 해결하기 위해 대규모 언어 모델(LLM)과 확산 모델(DM)을 활용하는 효과적인 데이터 증강 프레임워크를 제시한다. 최근 DM은 소수의 학습 이미지에 보완하기 위해 합성 이미지를 생성할 수 있는 가능성을 열었다. 그러나 합성 이미지의 다양성을 증가시키면 목표 분포(target distribution) 밖의 샘플을 생성할 위험도 함께 높아진다. 본 접근법은 이러한 문제를 텍스트 프롬프트에 LLM을 통해 새로운 의미 정보를 내재화하고, 실제 이미지를 시각적 프롬프트로 활용함으로써 의미가 풍부한 이미지를 생성하는 방식으로 해결한다. 생성된 이미지가 목표 분포 내에 유지되도록 하기 위해, 각 이미지의 CLIPScore에 따라 지침(guidance) 가중치를 동적으로 조정하여 다양성을 제어한다. 실험 결과, 본 방법은 목표 분포에 대한 순응성을 유지하면서도 향상된 다양성을 가진 합성 이미지를 생성함을 보여준다. 이에 따라 본 접근법은 여러 벤치마크에서 few-shot 설정에서 더 효율적임이 입증된다. 코드는 https://github.com/kkyuhun94/dalda 에서 제공된다.

조선소와 같은 대규모 작업장은 특정 작업을 위해 다양한 유형의 차량을 일반적으로 사용한다. 그중에서도 대형 선박의 상부 갑판에서 용접 또는 도장을 수행하기 위해 활용되는 유지보수 리프트 차량은 특히 중요하다. 건설 현장에서 이 차량을 사용하는 것은 전체 공정의 효율을 향상시킬 수 있다. 이에 본 연구는 조선소에서 유지보수 리프트 차량의 지역별 수요를 예측하기 위한 4D CNN 기반 방법을 제안한다. 또한 조선소의 엄격한 제한 및 요구사항을 반영하는 데이터 전처리 방법도 제안한다. 이 방법은 실시간 데이터를 수집하고, 조선소 작업자가 일일 배차에 활용할 수 있는 대시보드를 포함한 유지보수 리프트 차량 수요 예측 시스템을 구현한다. 해당 예측 시스템의 파이프라인을 상세히 기술하여 본 시스템의 유용성을 입증하고자 한다.

전통적인 지도학습 방법을 이용한 자동 채점에 관한 기존 연구는 새로 생성되었거나 자발적으로 만들어진 질문에 대한 응답을 채점할 수 없다. 또한 수업 계획을 위해 미리 개발된 질문과 그에 대응하는 채점 모델에 의존하는 경우, 교수 설계의 창의성과 다양성이 제한될 수 있다. 본 연구는 사전 개발 모델 없이도 학생 응답을 신속하게 평가하고 피드백을 생성할 수 있는 방법을 제안한다. 본 연구에서는 학생 응답을 기반으로 비지도학습 기법을 통해 즉시 채점 모델을 생성함으로써 평가 및 피드백 정보를 생성하는 SAAI 시스템을 도입한다. SAAI 시스템은 전통적인 지도학습 기반 자동 채점의 기능을 보완하며, 새로 생성된 다양한 질문에 대한 채점을 지원한다. 본 연구는 이 시스템의 원리와 중요성을 설명한다.

텍스트-이미지(T2I) 확산 모델(DM)은 인상적인 시각적 품질을 제공하지만, 영어 중심의 학습 코퍼스에 기인하여 언어적 커버리지와 문화적 충실도는 여전히 제한적입니다. 우리는 한국어–영어에 초점을 둔 이중언어 T2I 프레임워크인 KoDi를 제안합니다. KoDi는 (1) 한국어 프롬프트를 이해하고, (2) 한국의 문화 요소를 충실하게 재현하며, (3) 일반 도메인 성능을 보존합니다. 우리는 유산 건축, 음식, 랜드마크, 전통 의복을 아우르는 한국 문화 데이터셋(KCD)을 구축했으며, 각 이미지는 한국어 캡션과 함께 두 가지 영어 변형—의미 기반 영어 번역(EN-SEM)과 음성 기반 로마자 표기(EN-ROM)—과 쌍을 이룹니다. KoDi는 사전학습된 확산 백본에 한국어–영어 CLIP 텍스트 인코더를 통합하고, KCD에서 미세조정합니다. 또한 문화적 귀속(attribution)과 프롬프트–이미지 정렬을 정량화하기 위해 두 구성요소로 이루어진 간결한 문화 평가 프로토콜을 도입합니다—KC-CLIP 유사도와, 문화적 귀속 및 프롬프트–이미지 정렬을 평가하는 Large Vision–Language Model(LVLM) 기반 평가자입니다. Bilingual Korean Culture(B-KC) 벤치마크에서 KoDi는 기존의 다국어 DM보다 우수한 성능을 보였으며, 한국어 프롬프트에서 KC-CLIP 유사도를 +29%, EN-ROM 프롬프트에서 +39%, EN-SEM 프롬프트에서 +21% 향상시켰습니다. 인간 평가 또한 문화적 관련성, 텍스트–이미지 정렬, 심미성 전반에서 KoDi가 더 선호됨을 보여주었습니다. DrawBench-200과 XM-3600을 위한 한국어 프롬프트로 확장된 Bilingual General(B-G) 벤치마크에서도 KoDi는 다국어 기준선보다 더 높은 CLIP 유사도를 달성합니다. 한국을 넘어, 본 연구의 모듈형 데이터–모델–평가 설계는 백본의 최소한의 변경만으로 영어 중심의 사전학습 확산 백본을 저자원 문화에 적응시키는 실용적인 방법을 제공합니다.