문법·LLM을 활용한 자동 테스트 케이스 생성과 정형 기반 코드 합성 연구

Grammar-Driven Test Case Generation with LLMs and Program Synthesis

연구 내용

문제 사양을 문법과 규칙으로 구조화하고 LLM의 Chain-of-Thought/Verification을 결합해 테스트 케이스를 생성하며, 정규표현식 및 명세 기반 합성까지 확장하는 연구

자동 테스트 케이스 생성에서 논리적 사양을 효과적으로 변환하는 절차를 핵심으로 연구합니다. 문제 또는 프로그램의 논리적 사양을 바탕으로 테스트 케이스 문법을 만들기 위해 Chain-of-Thought 프롬프팅을 적용하고, 생성 결과를 Chain-of-Verification 규칙에 따라 검증하도록 구성합니다. 또한 자연어 사양을 Context-Free Grammars with Counters 같은 형식으로 추출하고, 입력 명세의 문법·의미 구조를 보존한 채 CodeT5 계열 모델을 통해 테스트 케이스를 생성합니다. 더 나아가 복잡한 정규표현식 합성에서는 divide-and-conquer 분해와 예제의 순열 불변성 학습을 결합하는 방법을 제안합니다.

관련 프로젝트

0건

연구 흐름

초기에는 LLM 기반 자동 테스트 생성에서 논리 사양을 문법으로 연결하고, Chain-of-Thought와 검증 규칙을 함께 사용해 생성 오류를 줄이는 방향으로 연구를 수행했습니다. 이후에는 자연어 명세를 형식 문법으로 추출하는 관점으로 확장하여 CCFG 기반 테스트 케이스 생성 프레임을 강화했습니다. 최근에는 Programming-By-Example의 구조 복잡성 문제를 해결하기 위해 정규표현식 합성을 위한 재귀적 분해 프레임을 도입하고, 명세 인식형 문법 추출로 재사용 가능한 생성 도식을 구축하는 흐름으로 심화되었습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

명세 기반 소프트웨어 테스트 자동 생성
경쟁 프로그래밍 평가용 코너 케이스 생성
문법 추출 기반 Fuzz testing 보조
LLM 프롬프트 검증 프레임
정규표현식 Program Synthesis 파이프라인
예제 순열 불변성 반영 학습 모듈
형식 언어 기반 입력 생성 도구
테스트 케이스 품질 및 유효성 판정
코드 커버리지 기반 평가 체계
사양-문법-생성 통합 자동화