그래프 신경망(Graph Neural Networks, GNNs)은 대부분의 간선이 동일한 라벨을 가진 두 노드를 연결하는 동질적(homophilic) 네트워크에서 만족스러운 성능을 보인다. 그러나 그래프가 이질적(heterophilic, 낮은 동질성)으로 변하면 그 효과가 감소하여, 다양한 메시지 전달(message-passing) 기법에 대한 탐색이 이루어져 왔다. 특히, 이질적 간선에 음의 가중치를 부여하는 서명 전달(signed propagation)을 메시지 전달에 적용하는 접근은 상당한 주목을 받아 왔으며, 일부 연구에서는 그 효과를 이론적으로도 확인하였다. 그럼에도 불구하고, 선행 정리들은 이진 분류 시나리오를 가정하고 있어 여러 클래스를 포함하는 그래프에서는 그 전제가 잘 성립하지 않을 수 있다. 이러한 한계를 해결하기 위해, 우리는 다중 클래스 환경에서의 GNN에 대한 새로운 이론적 통찰을 제공하고, 서명 전달을 사용하는 것의 결점이 메시지 전달 관점과 파라미터 업데이트 관점의 두 측면에서 모두 나타남을 규명한다. 우리는 특징 분포를 고려하지 않은 서명 전달이 서로 다른 이웃의 구분 가능성을 저하시킬 수 있으며, 이는 예측 불확실성(예: 상충하는 증거) 또한 증가시켜 불안정성을 초래할 수 있음을 발견하였다. 이러한 한계를 극복하기 위해, 우리는 예측에서 엔트로피를 감소시키면서 판별력을 향상시키는 두 가지 새로운 보정(calibration) 전략을 제안한다. 이론적 분석과 광범위한 실험 분석을 통해, 제안한 방법들이 서명 기반 및 일반 메시지 전달 신경망(Choi et al. 2023) 모두에서 성능을 향상시킴을 입증한다.

추천 시스템은 현재 전자상거래 및 리뷰 플랫폼 전반에 널리 활용되고 있으나, 상호작용 데이터가 극도로 희소할 때(이른바 콜드 스타트 문제) 종종 어려움을 겪는다. 이를 완화하기 위해 많은 접근법은 보조 측면 정보(예: 소셜 링크 또는 아이템 속성)를 통합하고 관련 도메인으로부터의 전이 학습을 활용한다. 특히 사용자 제공 리뷰는 희소한 피드백 데이터를 풍부하게 하기 위해 널리 사용되어 왔다. 그러나 기존의 리뷰 기반 크로스 도메인 방법들은 일반적으로 유클리드 잠재 공간을 가정하는데, 이는 사용자-아이템 상호작용이 지니는 고유한 계층적(power-law) 성질을 충분히 포착하지 못할 수 있다. 유클리드 공간에서는 작은 업데이트가 거리를 선형적으로 보존하는 경향이 있다. 반면에 쌍곡선 공간에서는 약간의 변화가 큰 왜곡을 유발하여 잠재 계층 구조를 붕괴시킬 수 있다. 본 연구에서는 쌍곡선 기하에서 동작하며 계층 구조를 명시적으로 보존하는, 리뷰 기반 크로스 도메인 추천을 위한 새로운 프레임워크를 제안한다. 우리의 모델(HEAD)은 사용자와 아이템을 쌍곡선 다양체에 임베딩하고, 세심하게 설계된 정렬 절차를 사용한다. 구체적으로, 차수(degree) 기반 정규화는 노드 거리들을 정렬하여 인기(고차수) 엔터티를 강조하고, 스케일 정규화된 도메인 판별기는 안정적인 크로스 도메인 특징 매칭을 보장한다(이론적 분석 참조). 이러한 계층 인지 기법들은 순진한 정렬에서 비롯되는 지수적 쌍곡선 부피의 붕괴를 방지한다. 우리는 이 접근법을 이론적 통찰과 광범위한 실험을 통해 검증하였으며, HEAD가 유클리드 및 정렬되지 않은 기준 모델들에 비해 우수한 정확성과 견고성을 달성함을 보여준다.

크로스 도메인 추천 시스템은 데이터 희소성과 콜드스타트 문제를 해결할 잠재력을 보여왔다. 그러나 기존 접근은 주로 겹치는 사용자 집단이나 동일한 맥락과 같은 도메인 공유 가능 속성에 의존하여 지식 전이를 가능하게 함으로써, 이러한 요소가 없을 경우 일반화 가능성이 제한된다. 이러한 한계를 극복하기 위해, 대부분의 전자상거래 플랫폼에 공통적으로 존재하는 리뷰 텍스트를 활용하는 방안을 제안한다. 우리의 모델 SER은 단일 판별자에 의해 안내되는 세 가지 상이한 텍스트 분석 모듈을 통합하여, 분리된 표현 학습을 달성한다. 또한 우리는 도메인 분리성을 개선할 뿐 아니라 소스 도메인으로부터의 부정적 정보 전이를 최소화하는 새로운 최적화 전략을 제안한다. 더 나아가, 단일 도메인에서 다중 도메인으로 모델의 인코딩 네트워크를 확장함으로써 리뷰 기반 추천 시스템에서의 효율을 향상시켰다. 포괄적인 실험과 절제(ablation) 연구를 통해, 본 접근이 기존의 단일 및 크로스 도메인 추천 방법들보다 더 효율적이고 견고하며 확장 가능함을 입증한다. 본 논문은 CIKM ’22 [1]에서의 선행 연구를 확장한 것으로, 추가적인 통찰, 더 많은 실험 결과 및 포괄적인 이론적 분석을 제공한다.

그래프 신경망(Graph Neural Networks, GNNs)은 대부분의 간선이 동일한 라벨을 가진 두 노드를 연결하는 동질적(homophilic) 네트워크에서 만족스러운 성능을 보인다. 그러나 그래프가 이질적(heterophilic, 낮은 동질성)으로 변하면 그 효과가 감소하여, 다양한 메시지 전달(message-passing) 기법에 대한 탐색이 이루어져 왔다. 특히, 이질적 간선에 음의 가중치를 부여하는 서명 전달(signed propagation)을 메시지 전달에 적용하는 접근은 상당한 주목을 받아 왔으며, 일부 연구에서는 그 효과를 이론적으로도 확인하였다. 그럼에도 불구하고, 선행 정리들은 이진 분류 시나리오를 가정하고 있어 여러 클래스를 포함하는 그래프에서는 그 전제가 잘 성립하지 않을 수 있다. 이러한 한계를 해결하기 위해, 우리는 다중 클래스 환경에서의 GNN에 대한 새로운 이론적 통찰을 제공하고, 서명 전달을 사용하는 것의 결점이 메시지 전달 관점과 파라미터 업데이트 관점의 두 측면에서 모두 나타남을 규명한다. 우리는 특징 분포를 고려하지 않은 서명 전달이 서로 다른 이웃의 구분 가능성을 저하시킬 수 있으며, 이는 예측 불확실성(예: 상충하는 증거) 또한 증가시켜 불안정성을 초래할 수 있음을 발견하였다. 이러한 한계를 극복하기 위해, 우리는 예측에서 엔트로피를 감소시키면서 판별력을 향상시키는 두 가지 새로운 보정(calibration) 전략을 제안한다. 이론적 분석과 광범위한 실험 분석을 통해, 제안한 방법들이 서명 기반 및 일반 메시지 전달 신경망(Choi et al. 2023) 모두에서 성능을 향상시킴을 입증한다.

추천 시스템은 현재 전자상거래 및 리뷰 플랫폼 전반에 널리 활용되고 있으나, 상호작용 데이터가 극도로 희소할 때(이른바 콜드 스타트 문제) 종종 어려움을 겪는다. 이를 완화하기 위해 많은 접근법은 보조 측면 정보(예: 소셜 링크 또는 아이템 속성)를 통합하고 관련 도메인으로부터의 전이 학습을 활용한다. 특히 사용자 제공 리뷰는 희소한 피드백 데이터를 풍부하게 하기 위해 널리 사용되어 왔다. 그러나 기존의 리뷰 기반 크로스 도메인 방법들은 일반적으로 유클리드 잠재 공간을 가정하는데, 이는 사용자-아이템 상호작용이 지니는 고유한 계층적(power-law) 성질을 충분히 포착하지 못할 수 있다. 유클리드 공간에서는 작은 업데이트가 거리를 선형적으로 보존하는 경향이 있다. 반면에 쌍곡선 공간에서는 약간의 변화가 큰 왜곡을 유발하여 잠재 계층 구조를 붕괴시킬 수 있다. 본 연구에서는 쌍곡선 기하에서 동작하며 계층 구조를 명시적으로 보존하는, 리뷰 기반 크로스 도메인 추천을 위한 새로운 프레임워크를 제안한다. 우리의 모델(HEAD)은 사용자와 아이템을 쌍곡선 다양체에 임베딩하고, 세심하게 설계된 정렬 절차를 사용한다. 구체적으로, 차수(degree) 기반 정규화는 노드 거리들을 정렬하여 인기(고차수) 엔터티를 강조하고, 스케일 정규화된 도메인 판별기는 안정적인 크로스 도메인 특징 매칭을 보장한다(이론적 분석 참조). 이러한 계층 인지 기법들은 순진한 정렬에서 비롯되는 지수적 쌍곡선 부피의 붕괴를 방지한다. 우리는 이 접근법을 이론적 통찰과 광범위한 실험을 통해 검증하였으며, HEAD가 유클리드 및 정렬되지 않은 기준 모델들에 비해 우수한 정확성과 견고성을 달성함을 보여준다.

크로스 도메인 추천 시스템은 데이터 희소성과 콜드스타트 문제를 해결할 잠재력을 보여왔다. 그러나 기존 접근은 주로 겹치는 사용자 집단이나 동일한 맥락과 같은 도메인 공유 가능 속성에 의존하여 지식 전이를 가능하게 함으로써, 이러한 요소가 없을 경우 일반화 가능성이 제한된다. 이러한 한계를 극복하기 위해, 대부분의 전자상거래 플랫폼에 공통적으로 존재하는 리뷰 텍스트를 활용하는 방안을 제안한다. 우리의 모델 SER은 단일 판별자에 의해 안내되는 세 가지 상이한 텍스트 분석 모듈을 통합하여, 분리된 표현 학습을 달성한다. 또한 우리는 도메인 분리성을 개선할 뿐 아니라 소스 도메인으로부터의 부정적 정보 전이를 최소화하는 새로운 최적화 전략을 제안한다. 더 나아가, 단일 도메인에서 다중 도메인으로 모델의 인코딩 네트워크를 확장함으로써 리뷰 기반 추천 시스템에서의 효율을 향상시켰다. 포괄적인 실험과 절제(ablation) 연구를 통해, 본 접근이 기존의 단일 및 크로스 도메인 추천 방법들보다 더 효율적이고 견고하며 확장 가능함을 입증한다. 본 논문은 CIKM ’22 [1]에서의 선행 연구를 확장한 것으로, 추가적인 통찰, 더 많은 실험 결과 및 포괄적인 이론적 분석을 제공한다.

이웃으로부터 정보를 수집하는 그래프 신경망(GNN)은 반지도 학습(semi-supervised learning) 맥락에서 흔히 활용된다. 특히, 인접 노드로부터의 정보를 걸러내기 위해 효과적인 그래프 필터 및 집계(aggregation) 방법을 개발하는 데 상당한 연구가 이루어져 왔다. 그럼에도 불구하고 이러한 접근법은, 특히 특징이 희소 벡터(예: bag-of-words)로 표현되는 경우에, 학습 노드의 희소성으로 인해 어려움에 직면할 수 있다. 이러한 조건은, 학습 샘플이 학습 가능한 파라미터 전체의 스펙트럼을 충분히 대표하지 못하므로, 첫 번째 투영 행렬(하이퍼플레인) 내의 특정 차원에서의 과적합을 초래할 수 있다. 이 제한을 해결하기 위해 우리는 혁신적인 섭동(perturbation) 기법을 제안한다. 구체적으로, 초기 특징과 하이퍼플레인을 모두 수정함으로써 추가적인 학습 변동성을 도입하며, 이는 전체 차원을 갱신함으로써 예측 분산(prediction variance)을 감소시키는 데 기여한다. 우리가 아는 한, 본 접근법은 희소 노드 특징에 의해 촉발되는 GNN의 과적합 문제를 다루는 최초의 시도이다. 실제 데이터셋에 대한 종합적인 실험과 절제(ablation) 연구 결과, 제안한 방법이 노드 분류 성능을 유의미하게 향상시키며, GNN 알고리즘들에서 최대 46.5%의 개선을 보였다.

그래프 신경망(Graph Neural Networks, GNNs)에서의 과도한 스무딩은 구별되는 노드 특징의 붕괴를 초래하며, 특히 인접한 노드들이 종종 서로 다른 라벨을 갖는 이형성(heterophilic) 그래프에서 두드러진다. 셰이프 신경망(sheaf neural networks)은 이 문제를 부분적으로 완화하지만, 일반적으로 정적이거나 매개변수가 과도하게 파라미터화된 셰이프 구조에 의존하여 일반화와 확장성을 저해한다. 기존의 셰이프 기반 모델은 제한 사상(restriction maps)을 사전에 정의하거나 과도한 복잡성을 도입하지만, 엄밀한 안정성 보장을 제공하지 못한다. 본 논문에서는 SGPC(Sheaf GNNs with PAC-Bayes Calibration)라는 새로운 기법을 제안한다. 이는 세포-셰이프(cellular-sheaf) 메시지 패싱을 기반으로 하면서, 최적 수송(optimal transport) 기반 리프팅(lifting), 분산 감소(variance-reduced) 확산(diffusion), 그리고 강건한 반지도(semi-supervised) 노드 분류를 위한 PAC-Bayes 스펙트럴 정규화(PAC-Bayes spectral regularization)를 포함한 여러 메커니즘을 결합하는 통합 아키텍처이다. 우리는 성능 한계를 이론적으로 정립하고, 선형적 계산 복잡도(linear computational complexity)에서 엔드-투-엔드(end-to-end) 학습이 해당 한계를 인지하는(bound-aware) 목적함수를 달성할 수 있음을 보인다. 9개의 동형성(homophilic) 및 이형성 벤치마크에 대한 실험 결과, SGPC는 최신 스펙트럴 및 셰이프 기반 GNN을 능가하면서도 관측되지 않은 노드에 대해 인증된 신뢰 구간(certified confidence intervals)을 제공한다. 코드와 증명은 https://github.com/ChoiYoonHyuk/SGPC 에서 확인할 수 있다.

데이터 희소성(data sparsity)은 추천 시스템에 중대한 도전 과제를 제기한다. 이에 대응하여 검토 텍스트(review texts)와 같은 부가 정보를 활용하는 알고리즘들이 제안되어 왔다. 또한 최근에는 더 풍부한 도메인(소스)에서 희소한 도메인(타깃)으로 지식을 전이하는, 도메인 간 공유 가능한 지식을 포착하는 교차 도메인 추천(Cross-Domain Recommendation, CDR) 기법이 부상하고 있다. 그럼에도 불구하고 기존 방법들은 유클리드 임베딩 공간을 가정함으로써, 더 풍부한 텍스트 정보를 정확히 표현하고 복잡한 사용자-아이템 상호작용을 관리하는 데 어려움을 겪는다. 본 논문은 검토 기반 사용자-아이템 관계를 모델링하기 위한 쌍곡선(hyperbolic) CDR 접근법을 제안한다. 먼저, 기존의 거리 기반 도메인 정렬 기법은 쌍곡선 기하에서의 작은 변화가 증폭된 교란을 야기하여, 결국 위계 구조가 붕괴되는 문제로 이어질 수 있음을 강조한다. 이러한 과제를 해결하기 위해, 구조적 형태를 훼손하지 않으면서 도메인 간 공유 가능한 정보를 추출하도록 스케일을 조정하는 위계 인식 임베딩 및 도메인 정렬(hierarchy-aware embedding and domain alignment) 기법을 제안한다. 광범위한 실험을 통해 제안된 모델의 효율성, 견고성 및 확장성이 입증된다. 소스 코드는 다음 링크에서 제공된다: https://github.com/ChoiYoonHyuk/HEAD.

메시지 전달 신경망은 다양한 그래프 마이닝 응용에서 널리 사용된다. 그러나 이러한 방법은 라벨이 있는 데이터의 부족에 취약하며, 이로 인해 과적합이 자주 발생한다. 우리의 관찰에 따르면, 희소한 초기 벡터는 학습 가능한 매개변수의 범위를 충분히 대변하지 못함으로써 이 문제를 더욱 악화시킨다. 이러한 희소성은 초기 투영 행렬에서 특정 차원의 최적화를 방해할 수 있는데, 이는 학습 샘플이 해당 매개변수를 적절히 포괄하지 못할 수 있기 때문이다. 이를 극복하기 위해, 초기 특징과 투영 초평면에 변동성을 도입하는 새로운 섭동(perturbation) 기법을 제안한다. 특히, 격자 탐색(grid search)을 사용하지 않더라도, 작은 추정값을 이용한 이동(shift)이 다른 섭동 방법들보다 이 문제를 더 효과적으로 완화함을 보인다. 실제 데이터셋에 대한 실험 결과, 본 기법은 반지도(semi-supervised) 시나리오에서 노드 분류 정확도를 유의미하게 향상시킨다.