본 논문은 분자 물성 예측 과제의 성능을 향상시키는 새로운 적대적 데이터 증강 기법을 제안한다. 제안된 방법인 Adversarial Augmentation to Influential Sample (AAIS)는 전통적인 증강 기법이 종종 효과적이지 않은 다중 과제(multitask) 시나리오에서 불균형 데이터가 포함된 분류 문제를 다룬다. 데이터 증강은 분포 강건 최적화(distributionally robust optimization)를 통해 수행되므로, 사용 가능한 데이터의 양과 과제 수에 대한 성능 의존도가 낮다. 특히, 영향함수(influence function)를 사용하여 모델 훈련에 유의미한 영향을 주는 데이터 지점을 식별하는 적응형 증강을 고안하였다. 우리는 이러한 데이터 지점이 의사결정 경계(decision boundary) 근처에 위치함을 발견했으며, 적응형 증강이 의사결정 경계를 국소적으로 평탄화하여 예측의 강건성을 유도한다. 제안 방법은 분자 구조 기반 물성 예측에 흔히 사용되는 벤치마크 데이터셋을 통해 평가하였다. 그 결과, 개발된 적응형 적대적 증강 접근법이 AUC에서 1%–15%, F1-score에서 1%–35% 범위로 모델 예측 성능을 효과적으로 향상시키는 것을 확인하였다. 또한 본 방법은 영향력 있는 그래프 특성을 증강함으로써 클래스 불균형 문제를 효과적으로 해결하고 그래프 수준(graph-level) 과제에서 성능을 향상시킨다. 이러한 결과는 AAIS가 특히 복잡하거나 불균형이 존재하는 분자 예측 과제에서 모델의 일반화 능력과 정확도를 향상시키기 위한 유연한 도구를 제공함을 시사한다. • 분자 물성 예측에서 데이터 증강을 튜닝하기 위한 프레임워크를 제안한다. • 새로운 단일 단계(one-step) 영향함수를 설계한다. • 단일 단계 영향함수는 모델 훈련 중 데이터를 평가하는 것을 가능하게 한다. • 본 방법은 Graph Neural Networks로 모델 성능을 향상시키는 데 대한 통찰을 제공한다.

최근의 생성적 신경망 모델의 발전은 데이터 증강 방법의 개발을 확장해 왔다. 그러나 현대적 생성 모델에 기반한 증강 방법은, 기존 모델인 Synthetic Minority Oversampling Technique (SMOTE)에 비해 클래스 불균형 데이터에서 두드러진 개선을 달성하지 못한다. 본 연구는 불균형 분류를 위한 생성 모델의 문제를 조사하고, Variational Autoencoders (VAE s)를 사용하여 SMOTE 알고리즘을 향상시키는 프레임워크를 제안한다. 우리의 접근법은 VAE를 통해 저차원 잠재 공간에서 데이터 포인트의 밀도를 체계적으로 정량화하는 한편, 클래스 라벨 정보와 분류 난이도 정보를 동시에 통합한다. 그다음 증강을 저하시킬 가능성이 있는 데이터 포인트를 체계적으로 제외하고, 데이터 공간에서 인접 관측치를 직접 증강한다. 여러 불균형 데이터셋에 대한 경험적 연구는, 이러한 단순한 과정이 딥러닝 모델에 비해 기존 SMOTE 알고리즘을 혁신적으로 개선함을 보여준다. 따라서 소수의 데이터 포인트를 가진 불균형 분류 문제에서, 소수(minority) 데이터의 선택과 데이터 공간에서의 보간이 유익하다는 결론을 내린다.

하천 수위의 정확한 예측은 교통 흐름을 효율적으로 관리하고 자연재해와 관련된 위험을 완화하는 데 필수적이다. 본 과제는 하천의 흐름에 영향을 미치는 복잡한 요인들로 인해 여러 가지 어려움이 존재한다. 최근 기계학습의 발전은 다수의 효과적인 예측 방법을 제시해 왔다. 그러나 이러한 방법들은 복잡한 구조로 인해 해석 가능성이 부족하며, 그 결과 신뢰성이 제한된다. 이러한 문제를 해결하기 위해 본 연구는 수위 예측에 중점을 둔, 해석 가능성을 정량화하는 딥러닝 모델을 제안한다. 이 모델은 입력 데이터에 내재된 일반적인 지식과 부합하는 정량적 해석 가능성 측정치를 생성하는 데 초점을 둔다. 이를 위해 마스킹을 의도적으로 도입한 목적의 트랜스포머 아키텍처와, 시공간적 인과성을 포착하는 다층 네트워크의 활용을 통해 가능하게 한다. 우리는 2016년부터 2021년까지 대한민국 서울에서 얻은 한강 데이터셋에 대해 비교 분석을 수행하였다. 그 결과, 본 접근법은 일반적인 지식과 일치하는 향상된 해석 가능성을 제공하며, 경쟁 방법을 능가함을 보여주었다. 또한 본 접근법은 분포 변화(distribution shift)에 대한 견고성도 향상시킨다.

본 논문은 분자 물성 예측 과제의 성능을 향상시키는 새로운 적대적 데이터 증강 기법을 제안한다. 제안된 방법인 Adversarial Augmentation to Influential Sample (AAIS)는 전통적인 증강 기법이 종종 효과적이지 않은 다중 과제(multitask) 시나리오에서 불균형 데이터가 포함된 분류 문제를 다룬다. 데이터 증강은 분포 강건 최적화(distributionally robust optimization)를 통해 수행되므로, 사용 가능한 데이터의 양과 과제 수에 대한 성능 의존도가 낮다. 특히, 영향함수(influence function)를 사용하여 모델 훈련에 유의미한 영향을 주는 데이터 지점을 식별하는 적응형 증강을 고안하였다. 우리는 이러한 데이터 지점이 의사결정 경계(decision boundary) 근처에 위치함을 발견했으며, 적응형 증강이 의사결정 경계를 국소적으로 평탄화하여 예측의 강건성을 유도한다. 제안 방법은 분자 구조 기반 물성 예측에 흔히 사용되는 벤치마크 데이터셋을 통해 평가하였다. 그 결과, 개발된 적응형 적대적 증강 접근법이 AUC에서 1%–15%, F1-score에서 1%–35% 범위로 모델 예측 성능을 효과적으로 향상시키는 것을 확인하였다. 또한 본 방법은 영향력 있는 그래프 특성을 증강함으로써 클래스 불균형 문제를 효과적으로 해결하고 그래프 수준(graph-level) 과제에서 성능을 향상시킨다. 이러한 결과는 AAIS가 특히 복잡하거나 불균형이 존재하는 분자 예측 과제에서 모델의 일반화 능력과 정확도를 향상시키기 위한 유연한 도구를 제공함을 시사한다. • 분자 물성 예측에서 데이터 증강을 튜닝하기 위한 프레임워크를 제안한다. • 새로운 단일 단계(one-step) 영향함수를 설계한다. • 단일 단계 영향함수는 모델 훈련 중 데이터를 평가하는 것을 가능하게 한다. • 본 방법은 Graph Neural Networks로 모델 성능을 향상시키는 데 대한 통찰을 제공한다.

최근의 생성적 신경망 모델의 발전은 데이터 증강 방법의 개발을 확장해 왔다. 그러나 현대적 생성 모델에 기반한 증강 방법은, 기존 모델인 Synthetic Minority Oversampling Technique (SMOTE)에 비해 클래스 불균형 데이터에서 두드러진 개선을 달성하지 못한다. 본 연구는 불균형 분류를 위한 생성 모델의 문제를 조사하고, Variational Autoencoders (VAE s)를 사용하여 SMOTE 알고리즘을 향상시키는 프레임워크를 제안한다. 우리의 접근법은 VAE를 통해 저차원 잠재 공간에서 데이터 포인트의 밀도를 체계적으로 정량화하는 한편, 클래스 라벨 정보와 분류 난이도 정보를 동시에 통합한다. 그다음 증강을 저하시킬 가능성이 있는 데이터 포인트를 체계적으로 제외하고, 데이터 공간에서 인접 관측치를 직접 증강한다. 여러 불균형 데이터셋에 대한 경험적 연구는, 이러한 단순한 과정이 딥러닝 모델에 비해 기존 SMOTE 알고리즘을 혁신적으로 개선함을 보여준다. 따라서 소수의 데이터 포인트를 가진 불균형 분류 문제에서, 소수(minority) 데이터의 선택과 데이터 공간에서의 보간이 유익하다는 결론을 내린다.

하천 수위의 정확한 예측은 교통 흐름을 효율적으로 관리하고 자연재해와 관련된 위험을 완화하는 데 필수적이다. 본 과제는 하천의 흐름에 영향을 미치는 복잡한 요인들로 인해 여러 가지 어려움이 존재한다. 최근 기계학습의 발전은 다수의 효과적인 예측 방법을 제시해 왔다. 그러나 이러한 방법들은 복잡한 구조로 인해 해석 가능성이 부족하며, 그 결과 신뢰성이 제한된다. 이러한 문제를 해결하기 위해 본 연구는 수위 예측에 중점을 둔, 해석 가능성을 정량화하는 딥러닝 모델을 제안한다. 이 모델은 입력 데이터에 내재된 일반적인 지식과 부합하는 정량적 해석 가능성 측정치를 생성하는 데 초점을 둔다. 이를 위해 마스킹을 의도적으로 도입한 목적의 트랜스포머 아키텍처와, 시공간적 인과성을 포착하는 다층 네트워크의 활용을 통해 가능하게 한다. 우리는 2016년부터 2021년까지 대한민국 서울에서 얻은 한강 데이터셋에 대해 비교 분석을 수행하였다. 그 결과, 본 접근법은 일반적인 지식과 일치하는 향상된 해석 가능성을 제공하며, 경쟁 방법을 능가함을 보여주었다. 또한 본 접근법은 분포 변화(distribution shift)에 대한 견고성도 향상시킨다.

우리는 Variational AutoEncoder(VAE)의 새로운 반지도 학습 방법을 제안하며, 이를 통해 EXplainable encoder Network(EXoN)를 사용하여 맞춤형 잠재 공간을 산출한다. 이러한 맞춤형화는 근접성(proximity)과 같은 수동 설계를 통해 보간(interpolation)과 구조적 제약을 구성하는 방식으로 이루어지며, 이는 잠재 공간의 해석가능성을 향상시킨다. 분류 성능을 개선하기 위해 SCI(Soft-label Consistency Interpolation)라는 새로운 반지도 분류 방법을 도입한다. 설명 가능한 잠재 공간을 구성하는 데에는 분류 손실과 Kullback–Leibler 발산의 결합이 핵심이다. 또한 생성된 샘플의 변동성은 능동 잠재 부분공간(active latent subspace)에 의해 결정되며, 이는 서로 구별되는 특징을 효과적으로 포착한다. 우리는 MNIST, SVHN 및 CIFAR-10 데이터셋을 사용하여 실험을 수행하였고, 그 결과 본 접근법이 해석 가능한 잠재 공간을 제공함과 동시에 잠재 공간 내 표현 패턴을 분석하는 데 필요한 노력을 유의미하게 감소시킨다는 것을 보여준다.

최근 들어, 슬라이싱(slicing) 방법은 이미지, 사운드, 텍스트 데이터에 대한 생성 모델에서 성공적인 성과를 보여 왔으며, 주로 결합 분포 학습(joint distributional learning)에 초점을 맞추었다. 그러나 우리는 표 형태 데이터(tabular data)에 대해서는 슬라이싱 접근법의 중대한 한계가 있음을 확인했다. 즉, 이는 효과적인 표 형태 데이터 합성(synthesis)에 중요한 주변(마진) 분포(marginal distributional) 패턴을 포착하는 데 어려움을 겪는다. 이러한 문제를 해결하기 위해, 혼합(mixture) 크라머–월드 거리(mixture Cramer–Wold distance)라는 새로운 불일치(discrepancy) 척도를 제안한다. 이 척도는 주변과 결합 분포 패턴을 동시에 포착할 수 있게 하여 두 측면 사이의 균형을 이루며, 그 적용에 대한 이론적 기반을 제공한다. 혼합 크라머–월드 거리의 강점을 활용하여, CWDAE(Cramer–Wold Distributional AutoEncoder)라는 생성 모델을 제시하며, 합성 표 형태 데이터를 생성하는 데서 주목할 만한 성능을 보인다. 또한 본 모델은 특정 요구에 맞추어 데이터 프라이버시 수준을 손쉽게 조정할 수 있는 유연성을 제공한다.

주가 예측에서 시계열 프레임워크 안에서 주가 간의 확률적 의존성을 모델링하는 일은 지속적이며 매우 도전적인 연구 분야로 남아 있다. 우리는 시간적 의존성을 갖는 시계열 데이터의 다변량에서 나타나는 극단적 동반 움직임을 설명하기 위한 새로운 모델을 제안한다. 본 모델은 급격한 동시 움직임을 포착하기 위해 Hawkes 과정 층을 포함함으로써 시장 역학의 시간적 표현을 향상시킨다. 또한 우리는 주식시장 내 고차(쌍대가 아닌 집단 단위) 관계에 적응하도록 모델에 동적 하이퍼그래프를 도입한다. 실제 세계 벤치마크에 대한 광범위한 실험 결과, 본 접근법은 예측 성능과 포트폴리오 안정성 측면에서 견고함을 보여준다.

대규모 언어 모델(LLMs)은 최근 매우 자연스럽고 인간과 유사한 텍스트를 생성할 수 있다는 점에서 큰 주목을 받고 있다. 본 연구는 가설 검정 절차 내에서 LLM이 생성한 텍스트와 인간이 작성한 텍스트의 잠재 커뮤니티 구조를 비교한다. 구체적으로, 우리는 세 가지 텍스트 집합을 분석한다. 즉, 원래의 인간이 작성한 텍스트(), 그 LLM의 패러프레이즈 버전() 및 로부터 파생된 두 번 패러프레이즈된 집합()이다. 본 분석은 두 가지 핵심 질문을 다룬다. (1) 와 간의 잠재 커뮤니티 구조 차이가 와 간의 차이와 동일한가? (2) LLM 파라미터로서 텍스트 변동성을 제어하는 값이 조정될 때, 가 LLM에 의해 더 로 유사해지는가? 첫 번째 질문은 LLM이 생성한 텍스트가 진정으로 인간 언어를 닮는다면, 원래 텍스트와 그 패러프레이즈로 구성된 두 쌍()과() 사이의 간극이 유사할 것이라는 가정에 기반한다. 두 번째 질문은 LLM이 생성한 텍스트와 인간 텍스트 간의 유사성 정도가 텍스트 생성의 범위(폭) 변화에 따라 달라지는지를 살펴본다. 이러한 질문에 답하기 위해, 우리는 각 텍스트가 와 사이에 해당하는 부분을 갖는다는 사실을 활용하는 통계적 가설 검정 프레임워크를 제안한다. 이 관계는 한 데이터셋의 상대적 위치를 다른 데이터셋에 매핑할 수 있게 하여, 두 데이터셋을 세 번째 데이터셋으로 매핑할 수 있도록 한다. 그 결과, 두 개의 매핑된 데이터셋을 세 번째 데이터셋이 특징짓는 공간에서 정량화함으로써 두 데이터셋 간의 직접적인 비교가 가능해진다. 의 경우, 원래 인간 텍스트에 대해 숙소 예약 사이트에서 고객 리뷰를 수집하였고, 및 의 경우에는 GPT-3.5를 사용하여 를 패러프레이즈하였다. 우리의 결과는 GPT가 생성한 텍스트가 인간이 작성한 텍스트와는 여전히 구별된다는 점을 시사한다.

질의 성능 예측(Query Performance Prediction, QPP)은 정답에 해당하는 관련성 판정에 접근하지 않고도 정보 검색(IR) 시스템의 효과성을 추정하는 것을 목표로 한다. 기존의 지도학습 기반 QPP 방법들은 대개 질의-문서 표현을 RR@10 또는 nDCG@10과 같은 목표 지표로 매핑하는 회귀(regression) 모델의 틀을 따른다. 그러나 이러한 접근법은 개념 변화(concept shift) 상황에서 성능이 저하되는 경우가 흔한데, 이는 질의-문서 쌍에 주어진 관련성의 분포가 학습 데이터셋과 시험 데이터셋 사이에서 달라지는 현상이다. 본 논문은 분류(classification) 기반의 새로운 프레임워크인 QPP-MLC(QPP Multi-Label Classification)를 제안하며, QPP를 다중 레이블 분류(multi-label classification) 과제로 정식화한다. QPP-MLC는 상위-k로 검색된 결과들 각각에 대해 문서의 관련성을 추정하고, 문서 수준의 관련성 예측을 집계하여 전체 질의 성능을 예측한다. 그 결과, QPP-MLC는 개념 변화에 대한 진단 도구를 제공함과 동시에, 분류 과제의 임계값(threshold) 수준을 조절함으로써 개념 변화 하에서의 보정 방법을 제공한다. MS MARCO 및 TREC DL 벤치마크에 대한 실험 결과, QPP-MLC는 강력한 예측 정확도를 달성하며 전통적인 회귀 기반 QPP 방법들보다 성능이 우수함을 보였다.