인간 파싱은 인간 이미지를 정밀한 수준의 의미 부품으로 분할하는 것을 목표로 한다. 인체의 내재적 구조를 고려할 때, 최신 기법들은 일반적으로 신체 간 내재적 관계를 표현하기 위해 사전 가정에 의존한다. 그러나 다양한 시나리오에 걸쳐 동일한 구조적 사전 지식을 활용하는 것은 안정적인 예측을 달성하는 데 어려움이 있으며, 추가적인 네트워크 설계 노력이 요구된다. 이러한 문제를 해결하기 위해, 본 연구는 인간 신체의 암묵적 사전 구조를 동적으로 학습하는 새로운 방법인 Dynamic Dual Transformer for Parsing (D2FP)을 제안한다. 구체적으로, 인간 이미지의 학습 가능한 의미로부터 입력 의존적인 사전 특징을 도출하여, 이를 Transformer 디코더에 공급하기 전에 사전이 포함된 객체 쿼리를 생성한다. 본 모델은 사전 객체 쿼리를 효과적으로 학습하기 위한 세 가지 주요 구성요소, 즉 사전 추출 모듈, 사전 임베딩 모듈, 그리고 다중 스케일 이중 Transformer 디코더를 포함한다. 또한, 최종 디코딩된 객체 쿼리가 초기 사전 특징을 향상시키기 위한 구조적 단서를 제공하는 새로운 사전 향상 전략을 도입한다. 실험 결과는 LIP 및 CIHP의 두 가지 잘 알려진 인간 파싱 벤치마크 전반에서 제안 방법이 기존 방법들에 비해 우수하며 효과적임을 보여준다. 코드는 https://github.com/cvlabyongin/D2FP 에서 제공되며, 모델도 동일한 링크에서 이용할 수 있다.

대규모 언어 모델(LLMs)과의 상호작용은 종종 매개변수 지식과 검색 증강 생성(retrieval-augmented generation, RAG)을 모두 활용하여 길고 상세한 응답을 생성한다. 이러한 응답은 풍부한 통찰을 제공할 수 있으나, 사용자 관심사와 일치하지 않으며 중복되거나 덜 흥미로운 내용이 포함되는 경우가 흔하다. 이 문제는 사용자가 포함 또는 제외할 특정 하위 주제를 지정하는 경우, 즉 범위 조건부(coverage-conditioned) (C 2 ) 질의에서 두드러지는데, LLM들이 종종 맞춤형 응답을 제공하는 데 어려움을 겪기 때문이다. 이러한 도전에 대응하기 위해 본 연구는 질의 개요(query outline), 즉 특정 사용자 요구를 충족하는 응답을 생성하도록 LLM을 안내하기 위해 설계된 하위 질의의 순차적 구성(sequence of subqueries) 역할을 조사한다. 이러한 개요를 체계적으로 생성하고 평가하기 위해, 우리는 QTREE를 제안한다. QTREE는 C 2 시나리오 1 에서 개요 생성 및 평가를 위한 구조화된 경계를 정의하는 1만 개의 계층적 정보 탐색 하위 질의(hierarchical sets of information-seeking subqueries)로 구성된 데이터셋이다. 또한 QTREE의 경계 내에서 맞춤형 개요를 생성하도록 학습된 7B 언어 모델인 QPLANNER를 개발한다. 생성된 개요의 효과는 자동 및 사람 평가를 통해 검증하며, 특히 검색 증강 생성(RAG) 시스템 내에서의 영향을 중심으로 분석한다. 실험 결과는 QPLANNER가, 특히 DPO와 같은 정렬(alignment) 기법으로 학습된 경우, 다양한 사용자 요구를 더 잘 충족하는 고품질 개요를 생성함을 보여준다.