과업 지향 대화 시스템의 주된 목표는 인간 대화의 의도와 요구를 파악하는 것이다. 기존의 많은 연구는 서면 대화(written dialogue) 설정에서 수행되지만, 실제 환경의 음성 대화(spoken dialogues)를 처리하는 데에는 항상 어려움이 존재한다. 이를 위해 DSTC10 챌린지 주최 측은 음성 대화에 기반한 견고한 대화 상태 추적(dialgue state tracking, DST) 모델을 구축하는 과제를 제안한다. 본 논문은 강력한 기존 DST 모델(즉, MinTL)을 바탕으로 대화 상태 추적기를 구축하기 위한 핵심 구성 요소를 제시한다. 1) 데이터 증강은 평가 데이터셋에 존재하는 개체를 포착하는 모델의 능력을 효과적으로 향상시킨다. 2) 레벤슈타인 후처리(Levenshtein post-processing)는 자동 음성 인식 오류로 인해 발생하는 모델 예측의 왜곡을 방지하는 것을 목표로 한다. 본 방법의 효과를 검증하기 위해 DSTC10 데이터셋에서 모델을 평가하고, 모델의 각 구성 요소를 제거(ablating)하여 질적 분석을 수행한다. 실험 결과, 본 모델은 모든 평가 지표에서 기준선(baseline) 대비 유의하게 더 높은 성능을 보였으며, 챌린지에서 3위를 차지했다.

과업 지향 대화 시스템의 주된 목표는 인간 대화의 의도와 요구를 파악하는 것이다. 기존의 많은 연구는 서면 대화(written dialogue) 설정에서 수행되지만, 실제 환경의 음성 대화(spoken dialogues)를 처리하는 데에는 항상 어려움이 존재한다. 이를 위해 DSTC10 챌린지 주최 측은 음성 대화에 기반한 견고한 대화 상태 추적(dialgue state tracking, DST) 모델을 구축하는 과제를 제안한다. 본 논문은 강력한 기존 DST 모델(즉, MinTL)을 바탕으로 대화 상태 추적기를 구축하기 위한 핵심 구성 요소를 제시한다. 1) 데이터 증강은 평가 데이터셋에 존재하는 개체를 포착하는 모델의 능력을 효과적으로 향상시킨다. 2) 레벤슈타인 후처리(Levenshtein post-processing)는 자동 음성 인식 오류로 인해 발생하는 모델 예측의 왜곡을 방지하는 것을 목표로 한다. 본 방법의 효과를 검증하기 위해 DSTC10 데이터셋에서 모델을 평가하고, 모델의 각 구성 요소를 제거(ablating)하여 질적 분석을 수행한다. 실험 결과, 본 모델은 모든 평가 지표에서 기준선(baseline) 대비 유의하게 더 높은 성능을 보였으며, 챌린지에서 3위를 차지했다.

스마트 홈 자동화는 사물인터넷(IoT)의 한 구성요소로, 스마트 센서와 액추에이터를 통해 사용자가 가정 내 기능을 관리할 수 있게 해 편의성, 에너지 효율, 원격 모니터링을 제공한다. 조명, 보안, 가전 제어 및 전력 관리에 대해 스마트 홈에서 널리 채택된 Z-Wave 프로토콜은 여전히 다양한 외부 공격에 취약하며, 이는 효과적인 공격 탐지 도구의 필요성을 부각시킨다. 기존의 단일 계층 인공신경망(ANN) 모델(i.e., ZMAD)은 익숙한 데이터에서는 성능이 우수하나, 서로 다른 분포를 갖는 데이터셋과 고도화된 공격 벡터에 대해서는 한계가 있다. 본 논문은 Z-Wave 네트워크를 위한 경량의 프로토콜 인지형 이상 기반 침입 탐지 모델 ZENA를 제안한다. ZENA는 탐지 정확도와 견고성을 향상시키기 위해 처음부터 구축한 다층 ANN을 사용한다. 여러 공격 클래스를 포함하는 데이터셋과 적대적으로 생성된 벡터를 활용한 결과, 제안 모델은 정밀도 95%를 달성하여 동일 데이터셋에서 ZMAD 및 최신 딥러닝 신경망들(i.e., 89–93%)을 유의미하게 능가한다. 이러한 결과는 고도화된 탐지 성능과 적대적 공격에 대한 내성이 상당히 개선되었음을 시사하며, Z-Wave 스마트 홈 시스템의 보안을 강화한다.

검색 증강 생성(Retrieval-Augmented Generation, RAG)은 외부 문서 검색을 대규모 언어 모델(LLMs)과 통합함으로써 사실 일관성을 향상시키고 환각을 감소시키는 등 자연어 처리(NLP)에서 핵심적인 프레임워크로 부상하였다. 그러나 RAG의 효과는 검색된 문서들에서의 지시 대상(코리퍼런스, coreference) 복잡성으로 인해 흔히 저해되며, 이로 인해 발생하는 모호성이 맥락 내 학습을 방해한다. 본 연구에서는 엔터티 코리퍼런스가 RAG 기반 시스템에서 문서 검색과 생성 성능 모두에 어떠한 영향을 미치는지 체계적으로 조사하였으며, 검색 적합성, 맥락 이해 및 전체 응답 품질에 초점을 맞췄다. 우리는 코리퍼런스 해결이 검색 효과성을 향상시키고 질의응답(QA) 성능을 개선함을 입증한다. 검색 과제에서 서로 다른 풀링(pooling) 전략을 비교 분석한 결과, 코리퍼런스 해결을 적용한 후 mean pooling이 더 우수한 맥락 포착 능력을 보임을 확인하였다. QA 과제에서는 더 작은 모델이 해소(disambiguation) 과정으로부터 더 큰 이점을 얻는다는 사실을 발견했는데, 이는 참조적 모호성을 처리하는 데 필요한 고유한 능력이 제한적인 데에 기인할 가능성이 크다. 이러한 결과를 바탕으로, 본 연구는 RAG에서 코리퍼런스 복잡성이 야기하는 과제에 대한 더 깊은 이해를 제공하고, 지식 집약적 AI 응용에서 검색 및 생성을 개선하기 위한 지침을 제시하는 것을 목표로 한다.

여러 과제의 맥락으로 주어지는 텍스트 데이터의 길이가 길어질수록, 필요한 정보가 여기저기 흩어져 있으면 대규모 언어모델(LLM)이 관련 세부 정보를 포착하기가 더 어려워진다. 이러한 문제는 핵심 정보가 맥락 안에서 고르게 분포되어 있지 않은 경우가 흔한 질의응답(QA)과 같은 과제에서 특히 두드러진다. 이러한 정보 희소성 문제는 직접적인 맥락 조정과 검색 기반 방법과 같은 다양한 접근의 시도로 이어져 왔다. 그러나 이러한 접근은 대개 압축된 맥락을 활용하므로 핵심 정보가 삭제되는 부분에 포함될 위험이 커진다. 따라서 맥락에서 핵심 세부 정보를 잃지 않으면서 정보 희소성을 해결하는 관점에서의 연구가 필요하다. 이 문제를 해결하기 위해 우리는 엔터티-인식 지식(Highlighting entity-AWare Knowledge, HAWK) 프레임워크를 제안한다. HAWK는 세 가지 주요 단계로 구성된다: i) 엔터티 추출, ii) 엔터티-인식 서브맥락 선택, iii) 트리플릿 구성. HAWK의 핵심 메커니즘은 맥락 내 핵심 정보를 강조하고 이를 엔터티-인식 방식으로 구조화하여 지식 향상 생성(knowledge-enhanced generation)을 용이하게 하는 것이다. 광범위한 실험과 종합적인 분석을 통해 HAWK는 긴 맥락을 사용하는 QA 과제에서 유의미한 개선을 확인했으며, 기존 방법 대비 최대 27.6점의 F1 점수 향상과 평균 승률 최소 76.75%를 달성했다.

모델 파라미터와 연산의 수치 정밀도를 낮추는 것은 검색 시스템의 효율을 개선하기 위해 널리 채택되고 있다. 그러나 저정밀도 환경에서 질의와 문서 간 관련성 점수를 계산할 때, 우리는 감소된 분해능으로 인해 인위적인 동점(spurious ties)이 발생하는 것을 관찰한다. 이는 동점의 해소(tie resolution)에 따라 결과의 변동성이 크게 달라지게 하여 평가의 신뢰성을 떨어뜨린다. 이를 해결하기 위해 점수 변동을 줄이도록 설계된 보다 견고한 검색 평가 프로토콜을 제안한다. 이 프로토콜은 (1) 최종 점수 산정 단계를 더 높은 정밀도로 상향(upcast)하여 최소한의 계산 비용으로 동점 후보를 해소하는 고정밀도 점수화(High-Precision Scoring, HPS)와, (2) 동점 후보의 순서 불확실성을 정량화하기 위해 기대 점수, 범위, 편향을 보고하는 동점 인지 검색 지표(Tie-aware Retrieval Metrics, TRM)로 구성된다. 우리의 실험에서는 두 개의 검색 데이터셋에 대해 세 가지 점수 함수로 여러 모델을 테스트하여, HPS가 동점으로 인한 불안정성을 현저히 감소시키고 TRM이 기대되는 메트릭 값을 정확히 복원함을 보여준다. 이 두 요소의 결합은 저정밀도 검색을 위한 보다 일관되고 신뢰할 수 있는 평가 시스템을 가능하게 한다.

자동 용어 추출(Automatic Term Extraction, ATE)은 기계 번역 및 정보 검색과 같은 후속 작업에 중요한 도메인 특화 표현을 식별한다. 대규모 언어 모델(LLM)은 다양한 NLP 과제를 크게 발전시켰음에도 불구하고, ATE에 대한 그 잠재력은 거의 연구되지 않았다. 우리는 소수 예시(few-shot) 설정에서 의미적 유사성보다는 구문적 유사성에 따라 시연(demonstrations)을 선택하는 검색 기반 프롬프팅 전략을 제안한다. 이 구문적 검색 방법은 도메인 비특화적이며 용어 경계(term boundaries)를 포착하는 데 더 신뢰할 수 있는 지침을 제공한다. 우리는 접근법을 사내 도메인(in-domain) 및 교차 도메인(cross-domain) 설정 모두에서 평가하고, 질의 문장과 검색된 예시 간의 어휘 중복(lexical overlap)이 성능에 미치는 영향을 분석한다. 세 가지 전문화된 ATE 벤치마크에서 수행한 실험 결과, 구문적 검색이 F1-점수를 향상시킨다는 것을 확인했다. 이러한 결과는 LLM을 용어 추출 과제에 적응시킬 때 구문적 단서의 중요성을 강조한다.