추론지향 Transformer 기반 공통지식 생성·인과 효과 분석 연구

Reasoning-Oriented Transformer Research for Commonsense Generation and Causal Effect Analysis

연구 내용

대규모 언어모델의 공통지식 증강·시각 공통지식 생성과 인과효과를 사건 단위로 분석하는 연구를 수행하는 연구

본 연구는 언어 및 비전 도메인에서 추론 성능을 높이기 위해 Transformer 기반 학습과 지식 구조화 방법을 결합합니다. LLM이 생성한 구조화 공통지식의 문맥화 품질을 개선하기 위해 contextualized knowledge prompting과 distillation을 활용하고, 시각 공통지식 생성에서는 기술성·다양성을 동시에 목표로 하는 filtering과 대비적 retrieval 학습을 적용합니다. 또한 NLU 성능을 좌우하는 adaptive convolution의 영향 요인을 분석하여 아키텍처 설계 기준을 정리합니다. 더 나아가 인과 공간의 사건 단위에서 개입 하 인과효과의 존재 여부와 강도를 측정하는 정형화 연구를 수행합니다.

관련 프로젝트

0건

연구 흐름

초기에는 자연어 이해에서 convolution 변형이 표현과 성능에 미치는 영향을 점검하며, 아키텍처 관점의 설계 요인을 정리했습니다. 이후 공통지식 추론으로 확장하여 2024년에는 LLM이 제공하는 구조화 지식을 문맥화하는 COCONUT을 통해 추론 품질을 개선했습니다. 병행하여 2023년에는 시각 공통지식 생성에서 기술성·다양성을 강화하기 위한 DIVE를 제안하며, 생성 목표와 학습 목적의 정합성을 강화했습니다. 마지막으로 2025년에는 사건 단위 인과효과의 정의와 측정 관점을 제시하여 추론을 수학적으로 해석할 수 있는 기반을 축적했습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

공통지식 기반 질의응답
문맥화된 지식 증강
시각 공통지식 생성
다양성 제약 생성 모델
설명 가능한 NLU 아키텍처 평가
인과 추론 기반 데이터 분석
개입 시나리오 모델링
지식 그래프 기반 추론 파이프라인
사건 단위 인과효과 측정
추론 데이터셋 확장 전략