서명 그래프(signed graph)에서의 링크 부호 예측(link sign prediction)은 간선(edge)이 나타내는 관계가 양(+)인지 음(-)인지의 여부를 판단하는 과제이다. 음의 간선이 존재하면 인접한 노드가 유사하다는 그래프 동질성(homophily) 가정이 위배되므로, 이를 보조 구조 없이 처리하기에는 기존의 정형(regular) 그래프 방법을 적용하기 어렵다. 우리는 Gaussian copula와 그에 대응하는 상관 행렬(correlation matrix)을 통해 간선들 간에 존재하는 잠재적 통계적 의존성을 직접 모델링하고자 하며, 이를 CopulaGNN(Ma et al., 2021)을 확장하는 방식으로 수행한다. 그러나 간선-간선 관계를 단순하게 모델링하면, 중간 규모의 그래프만으로도 계산이 비현실적으로 어렵다. 이를 해결하기 위해 1) 상관 행렬을 간선 임베딩(edge embeddings)의 그래미안(Gramian)으로 표현하여 파라미터 수를 크게 줄이고, 2) 조건부 확률 분포를 재구성함으로써 추론 비용을 극적으로 감소시키는 방법을 제안한다. 또한 본 방법의 확장성을 이론적으로 검증하여 선형 수렴(linear convergence)을 증명함으로써 그 가능성을 확인한다. 아울러 광범위한 실험 결과, 본 방법은 기준 모델(baselines)보다 유의하게 더 빠른 수렴을 달성하면서도, 최첨단(state-of-the-art) 모델과 견줄 만한 예측 성능을 유지함을 보여준다.

서명 그래프(signed graph)에서의 링크 부호 예측(Link sign prediction)은 간선이 나타내는 관계가 양(positive)인지 음(negative)인지 판별하는 과제이다. 음의 간선이 존재하면 인접한 노드가 유사하다는 그래프 동질성 가정(graph homophily assumption)을 위반하므로, 이를 처리하기 위한 보조 구조가 없으면 일반적인 그래프 방법을 적용할 수 없었다. 본 연구는 CopulaGNN(Ma et al., 2021)을 확장하여, 가우시안 코퓰라(Gaussian copula)와 그에 대응하는 상관 행렬(correlation matrix)을 통해 간선들 간의 잠재된 통계적 의존성을 직접적으로 모델링하고자 한다. 그러나 간선-간선 관계를 단순하게 모델링하면 중간 규모의 그래프에 대해서도 계산적으로 불가능한 수준의 복잡도가 발생한다. 이를 해결하기 위해 우리는 1) 상관 행렬을 간선 임베딩(edge embeddings)의 그람 행렬(Gramian)로 표현하여 매개변수 수를 크게 줄이고, 2) 조건부 확률 분포를 재구성함으로써 추론 비용을 극적으로 감소시키는 방법을 제안한다. 또한 본 방법의 확장성을 이론적으로 검증하기 위해 선형 수렴(linear convergence)을 증명한다. 아울러 광범위한 실험 결과, 본 방법은 기준 방법들(baselines)보다 유의하게 더 빠른 수렴을 달성하면서도 최첨단(state-of-the-art) 모델들과 경쟁력 있는 예측 성능을 유지함을 보여준다.

비디오 콘텐츠의 기하급수적 증가로 인해 긴 비디오에서 핵심 정보를 효율적으로 추출하기 위한 효과적인 비디오 요약이 필요하다. 그러나 현재의 접근법은 정적인 또는 양식(modality)에 비의존적인 융합 전략을 주로 사용하기 때문에 복잡한 비디오를 충분히 이해하는 데 어려움을 겪는다. 이러한 방법들은 비디오 데이터에 내재된 역동적이며 프레임에 의존하는 양식별 중요도(modality saliency)의 변화를 고려하지 못한다. 이러한 한계를 극복하기 위해, 우리는 프레임 수준에서 시각, 텍스트, 오디오 양식의 기여도를 적응적으로 가중치화하고 융합하는 새로운 아키텍처 TripleSumm을 제안한다. 또한 다중모달 비디오 요약 연구를 위한 중요한 병목은 포괄적인 벤치마크의 부재였다. 이 병목을 해결하기 위해, 우리는 세 가지 양식을 모두 제공하는 최초의 대규모 벤치마크인 MoSu( Most Replayed Multimodal Video Summarization)를 도입한다. 광범위한 실험 결과, TripleSumm은 최신 성능을 달성하며 MoSu를 포함한 네 개의 벤치마크에서 기존 방법들보다 유의미한 큰 폭으로 성능이 향상됨을 보여준다. 우리의 코드와 데이터셋은 https://github.com/smkim37/TripleSumm 에서 제공된다.

지시 이미지 분할(Referring Image Segmentation, RIS)은 텍스트 설명을 바탕으로 이미지 속의 객체를 식별해야 한다. 우리는 기존 방법들이 외형(appearance) 기반 질의에 비해 동작 관련 질의에서 유의하게 성능이 저하됨을 관찰한다. 이를 해결하기 위해, 첫째로 우리는 추가적인 주석 없이도 원래 캡션에서 동작 중심 표현(motion-centric phrases)을 추출하는 효율적인 데이터 증강 기법을 처음으로 제안하여, 모델이 더 많은 동작 표현에 노출되도록 한다. 둘째로, 동일한 객체는 맥락에 따라 서로 다르게 기술될 수 있으므로, 단일 양식(unimodal) 표현이 아니라 결합된 이미지-텍스트 임베딩(image-text embeddings)에서 수행되는 다중모달 방사 대조 학습(Multimodal Radial Contrastive Learning, MRaCL)을 제안한다. 포괄적인 평가를 위해 동작 중심 질의에 초점을 둔 새로운 테스트 분할(test split)을 도입하고, 객체가 주로 행위(action)에 의해 구분되는 새로운 벤치마크인 M-Bench를 제안한다. 광범위한 실험 결과, 본 방법은 여러 RIS 모델에서 동작 중심 질의에 대한 성능을 실질적으로 향상시키면서도 외형 기반 기술(description)에서는 경쟁력 있는 결과를 유지함을 보여준다. 코드는 https://github.com/snuviplab/MRaCL 에서 제공된다.

서명 그래프(signed graph)에서의 링크 부호 예측(link sign prediction)은 간선(edge)이 나타내는 관계가 양(+)인지 음(-)인지의 여부를 판단하는 과제이다. 음의 간선이 존재하면 인접한 노드가 유사하다는 그래프 동질성(homophily) 가정이 위배되므로, 이를 보조 구조 없이 처리하기에는 기존의 정형(regular) 그래프 방법을 적용하기 어렵다. 우리는 Gaussian copula와 그에 대응하는 상관 행렬(correlation matrix)을 통해 간선들 간에 존재하는 잠재적 통계적 의존성을 직접 모델링하고자 하며, 이를 CopulaGNN(Ma et al., 2021)을 확장하는 방식으로 수행한다. 그러나 간선-간선 관계를 단순하게 모델링하면, 중간 규모의 그래프만으로도 계산이 비현실적으로 어렵다. 이를 해결하기 위해 1) 상관 행렬을 간선 임베딩(edge embeddings)의 그래미안(Gramian)으로 표현하여 파라미터 수를 크게 줄이고, 2) 조건부 확률 분포를 재구성함으로써 추론 비용을 극적으로 감소시키는 방법을 제안한다. 또한 본 방법의 확장성을 이론적으로 검증하여 선형 수렴(linear convergence)을 증명함으로써 그 가능성을 확인한다. 아울러 광범위한 실험 결과, 본 방법은 기준 모델(baselines)보다 유의하게 더 빠른 수렴을 달성하면서도, 최첨단(state-of-the-art) 모델과 견줄 만한 예측 성능을 유지함을 보여준다.

서명 그래프(signed graph)에서의 링크 부호 예측(Link sign prediction)은 간선이 나타내는 관계가 양(positive)인지 음(negative)인지 판별하는 과제이다. 음의 간선이 존재하면 인접한 노드가 유사하다는 그래프 동질성 가정(graph homophily assumption)을 위반하므로, 이를 처리하기 위한 보조 구조가 없으면 일반적인 그래프 방법을 적용할 수 없었다. 본 연구는 CopulaGNN(Ma et al., 2021)을 확장하여, 가우시안 코퓰라(Gaussian copula)와 그에 대응하는 상관 행렬(correlation matrix)을 통해 간선들 간의 잠재된 통계적 의존성을 직접적으로 모델링하고자 한다. 그러나 간선-간선 관계를 단순하게 모델링하면 중간 규모의 그래프에 대해서도 계산적으로 불가능한 수준의 복잡도가 발생한다. 이를 해결하기 위해 우리는 1) 상관 행렬을 간선 임베딩(edge embeddings)의 그람 행렬(Gramian)로 표현하여 매개변수 수를 크게 줄이고, 2) 조건부 확률 분포를 재구성함으로써 추론 비용을 극적으로 감소시키는 방법을 제안한다. 또한 본 방법의 확장성을 이론적으로 검증하기 위해 선형 수렴(linear convergence)을 증명한다. 아울러 광범위한 실험 결과, 본 방법은 기준 방법들(baselines)보다 유의하게 더 빠른 수렴을 달성하면서도 최첨단(state-of-the-art) 모델들과 경쟁력 있는 예측 성능을 유지함을 보여준다.

비디오 콘텐츠의 기하급수적 증가로 인해 긴 비디오에서 핵심 정보를 효율적으로 추출하기 위한 효과적인 비디오 요약이 필요하다. 그러나 현재의 접근법은 정적인 또는 양식(modality)에 비의존적인 융합 전략을 주로 사용하기 때문에 복잡한 비디오를 충분히 이해하는 데 어려움을 겪는다. 이러한 방법들은 비디오 데이터에 내재된 역동적이며 프레임에 의존하는 양식별 중요도(modality saliency)의 변화를 고려하지 못한다. 이러한 한계를 극복하기 위해, 우리는 프레임 수준에서 시각, 텍스트, 오디오 양식의 기여도를 적응적으로 가중치화하고 융합하는 새로운 아키텍처 TripleSumm을 제안한다. 또한 다중모달 비디오 요약 연구를 위한 중요한 병목은 포괄적인 벤치마크의 부재였다. 이 병목을 해결하기 위해, 우리는 세 가지 양식을 모두 제공하는 최초의 대규모 벤치마크인 MoSu( Most Replayed Multimodal Video Summarization)를 도입한다. 광범위한 실험 결과, TripleSumm은 최신 성능을 달성하며 MoSu를 포함한 네 개의 벤치마크에서 기존 방법들보다 유의미한 큰 폭으로 성능이 향상됨을 보여준다. 우리의 코드와 데이터셋은 https://github.com/smkim37/TripleSumm 에서 제공된다.

지시 이미지 분할(Referring Image Segmentation, RIS)은 텍스트 설명을 바탕으로 이미지 속의 객체를 식별해야 한다. 우리는 기존 방법들이 외형(appearance) 기반 질의에 비해 동작 관련 질의에서 유의하게 성능이 저하됨을 관찰한다. 이를 해결하기 위해, 첫째로 우리는 추가적인 주석 없이도 원래 캡션에서 동작 중심 표현(motion-centric phrases)을 추출하는 효율적인 데이터 증강 기법을 처음으로 제안하여, 모델이 더 많은 동작 표현에 노출되도록 한다. 둘째로, 동일한 객체는 맥락에 따라 서로 다르게 기술될 수 있으므로, 단일 양식(unimodal) 표현이 아니라 결합된 이미지-텍스트 임베딩(image-text embeddings)에서 수행되는 다중모달 방사 대조 학습(Multimodal Radial Contrastive Learning, MRaCL)을 제안한다. 포괄적인 평가를 위해 동작 중심 질의에 초점을 둔 새로운 테스트 분할(test split)을 도입하고, 객체가 주로 행위(action)에 의해 구분되는 새로운 벤치마크인 M-Bench를 제안한다. 광범위한 실험 결과, 본 방법은 여러 RIS 모델에서 동작 중심 질의에 대한 성능을 실질적으로 향상시키면서도 외형 기반 기술(description)에서는 경쟁력 있는 결과를 유지함을 보여준다. 코드는 https://github.com/snuviplab/MRaCL 에서 제공된다.

비디오 콘텐츠의 기하급수적 증가는 장시간 비디오로부터 핵심 정보를 효율적으로 추출하기 위한 효과적인 비디오 요약을 필요로 한다. 그러나 현재의 접근법은 주로 정적인 또는 양식(modality)에 비의존적인 융합 전략을 사용하기 때문에 복잡한 비디오를 충분히 이해하는 데 어려움을 겪는다. 이러한 방법들은 비디오 데이터에 내재된 양식의 중요도(modality saliency)가 프레임에 따라 역동적으로 변화한다는 점을 반영하지 못한다. 이러한 한계를 극복하기 위해, 우리는 프레임 수준에서 시각, 텍스트, 오디오 양식의 기여도를 적응적으로 가중하고 융합하는 새로운 아키텍처인 TripleSumm을 제안한다. 또한 멀티모달 비디오 요약에 관한 연구에서 중요한 병목은 포괄적인 벤치마크의 부재였다. 이 병목을 해결하기 위해, 우리는 세 가지 양식을 모두 제공하는 최초의 대규모 벤치마크인 MoSu (Most Replayed Multimodal Video Summarization)를 도입한다. 광범위한 실험 결과, TripleSumm은 네 개의 벤치마크( MoSu 포함 )에서 기존 방법들보다 유의미한 격차로 더 우수한 성능을 달성하며, 최신(state-of-the-art) 성능을 보인다. 우리의 코드와 데이터셋은 https://github.com/smkim37/TripleSumm 에서 제공된다.

확산 모델은 흔히 정보가 없고 기억이 없는(forward) 전방 과정이 유도하는 독립적인 데이터-노이즈 결합(independent data-noise coupling) 때문에, 매우 휘어진 궤적과 시끄러운 점수(score) 타깃을 산출한다. 우리는 생성 모델링 프레임워크인 Adjoint Schrödinger Bridge Matching(ASBM)을 제안하며, 이를 통해 2단계에 걸쳐 고차원에서 최적 궤적을 복원한다. 첫째, Schrödinger Bridge(SB) 전방 동역학을 결합(coupling) 구성 문제로 보고, 데이터에서 에너지로 샘플링하는 관점(data-to-energy sampling perspective)에서 이를 학습하여 데이터를 에너지로 정의된 사전(prior)으로 전달한다. 그런 다음, 유도된 최적 결합으로 감독되는 단순한 매칭 손실(matching loss)을 통해 역방향 생성 동역학을 학습한다. 비(非)기억-없는(non-memoryless) 영역에서 동작함으로써 ASBM은 더 곧고(straighter) 더 효율적인 샘플링 경로를 생성한다. 기존 연구들과 비교했을 때 ASBM은 고차원 데이터로의 확장성에서 주목할 만한 향상된 안정성과 효율을 보인다. 이미지 생성을 위한 광범위한 실험에서 ASBM은 더 적은 샘플링 단계로 충실도(fidelity)를 향상시킨다. 또한 우리는 최적 궤적의 유효성을 1-step 생성기로의 증류(distillation)를 통해 추가로 시연한다.

참조 이미지 분할(Referring Image Segmentation; RIS)은 텍스트 설명을 바탕으로 이미지에서 객체를 식별하는 것을 요구한다. 우리는 기존 방법들이 외형(appearance) 기반 질의에 비해 동작(motion) 관련 질의에서 유의미하게 성능이 저하됨을 관찰한다. 이를 해결하기 위해, 먼저 추가적인 주석 없이도 원 캡션에서 동작 중심 문구를 추출하여 모델이 더 많은 동작 표현에 노출되도록 하는 효율적인 데이터 증강 기법을 소개한다. 둘째, 동일한 객체는 맥락에 따라 다르게 묘사될 수 있으므로, 단일 모달 표현이 아니라 결합된 이미지-텍스트 임베딩에서 수행되는 멀티모달 방사 대조 학습(Multimodal Radial Contrastive Learning; MRaCL)을 제안한다. 포괄적인 평가를 위해, 동작 중심 질의에 초점을 둔 새로운 테스트 분할을 도입하고, 객체가 주로 동작을 통해 구분되도록 설계된 새로운 벤치마크 M-Bench도 제안한다. 광범위한 실험 결과, 본 방법은 여러 RIS 모델 전반에서 동작 중심 질의에 대한 성능을 실질적으로 향상시키며, 외형 기반 설명에 대해서는 경쟁력 있는 결과를 유지함을 보여준다. 코드는 https://github.com/snuviplab/MRaCL 에서 제공된다.

플로우 매칭(Flow matching)은 소스 분포의 선택이 유연하다는 점에서 강력한 생성 모델링 접근법으로 부상해 왔다. 가우시안 분포는 흔히 사용되지만, 고차원 데이터 생성에서 더 나은 대안이 있을 가능성은 상당 부분 탐구되지 않은 상태이다. 본 논문에서는 해석 가능한 2차원 설정에서 고차원 기하학적 특성을 포착하는 새로운 2D 시뮬레이션을 제안하여, 학습 과정 동안 플로우 매칭의 학습 역학을 분석할 수 있게 한다. 이러한 분석을 바탕으로 우리는 플로우 매칭의 거동에 관한 몇 가지 핵심 통찰을 도출하였다: (1) 밀도 근사는 모드 불일치로 인해 역설적으로 성능을 저하시킬 수 있고, (2) 방향 정렬은 과도하게 집중될 경우 경로가 얽히며 어려움을 겪으며, (3) 가우시안의 전방위적 포괄성은 견고한 학습을 보장하고, (4) 노름 정렬의 불일치는 상당한 학습 비용을 초래한다. 이러한 통찰에 기반하여, 우리는 노름 정렬 학습과 방향성 가지치기(directional pruning) 샘플링을 결합한 실용적인 프레임워크를 제안한다. 이 접근법은 안정적인 플로우 학습에 필수적인 견고한 전방위 감독을 유지하면서, 추론 시 데이터가 희소한 영역에서의 초기화를 제거한다. 중요하게도, 우리의 가지치기 전략은 가우시안 소스를 사용해 학습된 어떤 플로우 매칭 모델에도 적용 가능하며, 재학습 없이 즉각적인 성능 향상을 제공한다. 실험적 평가는 생성 품질과 샘플링 효율 모두에서 일관된 개선을 보여준다. 본 연구 결과는 소스 분포 설계에 관한 실용적 통찰과 지침을 제공하며, 기존 플로우 매칭 모델을 개선하기 위한 즉시 적용 가능한 기법을 제시한다. 코드는 https://github.com/kwanseokk/SourceFM 에서 제공된다.

비디오 요약은 필수적인 순간을 보존하면서 프레임의 부분집합을 선택하여 비디오를 단축하는 과제이다. 이러한 과제의 본질적인 주관성에도 불구하고, 기존 연구들은 여러 평가자에 대해 평균화된 프레임 점수로 결정적으로 회귀하는 방식에 그쳤으며, 좋은 요약이 무엇인지에 대한 내재된 주관성을 간과해 왔다. 우리는 비디오 요약을 조건부 생성 과제로 설정함으로써 새로운 문제 정식을 제안한다. 이를 통해 모델이 좋은 요약의 분포를 학습하고, 서로 다른 인간의 관점에 더 잘 부합하는 복수의 그럴듯한 요약을 생성할 수 있다. 비디오 요약에서 처음으로 확산 모델을 채택한 본 방법인 SummDiff는 입력 비디오에 조건을 둔 상태에서 시각적 맥락에 동적으로 적응하며, 여러 후보 요약을 생성한다. 광범위한 실험 결과, SummDiff는 다양한 벤치마크에서 최신 성능을 달성할 뿐 아니라, 개별 주석자의 선호와 밀접하게 일치하는 요약을 산출함을 보여준다. 또한 우리는, 요약 생성의 중요한 마지막 단계인 배낭(knapsack) 분석에서 비롯된 새로운 지표를 통해 더 깊은 통찰을 제공하며, 이는 평가에서 간과되어 왔다.