최근의 제어된 텍스트 생성(CTG) 접근법은 대개 디코딩 시점에서 기본 언어 모델(LM)의 가중치 또는 로짓(logits)을 조작하는 방법을 포함한다. 그러나 이러한 방법들은 최신의 블랙박스 LMs에는 적용할 수 없으며, 기본 LM이 원래 생성한 결과의 핵심 의미를 보존하는 데에도 비효율적이다. 본 연구에서는 블랙박스가 아닌 텍스트 생성 접근인 CTG를 위한 효율적이고 유연한 에너지 기반 접근법인 Locate&Edit(L&E)를 제안한다. 이는 시판(off-the-shelf) 에너지 모델을 사용하여 기본 LM의 텍스트 출력을 편집한다. 기본 LM으로부터 텍스트 출력이 주어지면, L&E는 먼저 에너지 모델을 활용해 제약(예: 독성)과 가장 관련 있는 구간(span)을 위치(Locate)시키고, 이어서 이러한 구간을 더 적절한 대안으로 대체하여 편집(Edit)한다. 중요하게도, 본 방법은 텍스트 출력만 필요하므로 블랙박스 LMs와 호환 가능하다. 또한 L&E는 구성 요소 모델에 대해 특정 아키텍처를 요구하지 않으므로, 다양한 조합의 이용 가능한 시판 에너지 모델과 함께 동작할 수 있다. 더 나아가 L&E는 제약과 관련된 양상만을 선택적으로 수정하고 나머지는 변경하지 않음으로써, 기본 LM의 원래 생성 결과를 보존한다. 이러한 표적 편집은 또한 L&E가 효율적으로 동작하도록 보장한다. 우리의 실험 결과는 L&E가 기본 LM 생성 결과의 의미 보존과 속도에서 우수함을 달성하는 한편, 제약 충족에서도 경쟁력 있거나 향상된 성능을 동시에 얻음을 확인하였다. 뿐만 아니라, 에너지 분포의 과립성(granularity)이 CTG 성능에 미치는 영향을 분석한 결과, 기존의 이진 분류기 기반 에너지 모델에 비해 미세한(granular) 회귀(regression) 기반 에너지 모델이 제약 충족을 향상시키는 것으로 나타났다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.