자연어 처리(NLP)에서 트랜스포머(Transformer)는 널리 사용되고 있으며 언어 모델링, 요약, 분류와 같은 여러 NLP 과제에서 이미 최첨단 수준에 도달하였다. 또한 변분 오토인코더(variational autoencoder, VAE)는 표현 학습에서 효율적인 생성 모델로서, 인코딩된 표현에서의 통계적 추론과 딥러닝을 결합한다. 그러나 자연어 처리에서 VAE를 사용하는 경우에는 후방 붕괴(posterior collapse)라고도 알려진 쿨백–라이블러(Kullback–Leibler, KL) 소실(KL vanishing)과 같은 실질적인 어려움이 자주 발생한다. 이 문제를 완화하기 위하여, 언어 데이터 처리의 병렬화(parallelization) 이점을 활용하는 한편, 서로 다른 두 가지 딥러닝 모델을 통합하는 형태로서, 변분 오토인코더와만 결합된 트랜스포머 모델로 이루어진 새로운 언어 표현 모델을 제안한다. 제안한 모델을 VAE가 순환신경망(recurrent neural network, RNN)과 연결된 기존 연구 등과 비교한다. 실제 데이터셋 4개에 대한 실험 결과, KL annealing을 적용하는 구현이 후방 붕괴를 완화함을 확인하였다. 또한 결과는 제안한 트랜스포머 모델이 재구성과 표현 학습에서 RNN 기반 모델보다 우수하며, 제안 모델의 인코딩된 표현이 시험한 다른 모델의 표현보다 더 유익하다는 점을 보여준다.

경로 탐색 문제 해결을 위한 심층 강화학습(DRL)은 최근 연구에서 유망한 성과를 보였다. 그러나 계산 기반 DRL과 최적화 기반 휴리스틱 사이에는 본질적인 격차가 존재한다. 특정 문제에 대한 DRL 알고리즘은 여러 유사 문제 인스턴스를 해결할 수 있는 반면, 전통적인 최적화 알고리즘은 하나의 특정 문제 인스턴스에 대한 해를 최적화하는 데 초점을 둔다. 본 논문에서는 강화학습과 최적화 사이의 격차를 연결하면서 경로 탐색 문제를 해결하는 접근법 AlphaRouter를 제안한다. 경로 탐색 문제에 맞추어, 본 접근법은 모든 가능한 노드에 대한 확률 분포를 산출하는 정책 네트워크와 임의의 주어진 상태로부터의 기대 거리를 산출하는 가치 네트워크로 구성된 주의(attention) 기반 정책 및 가치 네트워크를 먼저 제안한다. 또한 경로 탐색 문제에 대해 몬테카를로 트리 탐색(MCTS)을 수정하고, 이를 경로 탐색 문제에 선택적으로 결합한다. 실험 결과, 결합된 접근법은 유망하며, MCTS 없이 적용한 기존 강화학습(RL) 접근법에 비해 더 나은 해를 도출하고, 고전적 휴리스틱과 비교할 만한 수준의 성능을 보임을 확인하였다.

현재 시대의 규정적 특징은 과거 역사상 유례없는 정보, 즉 다양한 과학 분야, 산업 공정, 그리고 사회적 상호작용으로부터 기원하는 데이터의 급격한 증가이다 [...] .

스마트워치와 스마트 팩토리와 같은 시계열 데이터 저장 기술이 보편화됨에 따라, 우리는 집합적으로 대량의 시계열 데이터를 축적하고 있다. 이러한 시계열 데이터의 축적과 함께, 사이버 침입 탐지(Cyber-Intrusion Detection), 사기 탐지(Fraud Detection), 소셜 네트워크 이상 탐지(Social Networks Anomaly Detection), 산업 이상 탐지(Industrial Anomaly Detection)와 같은 비정상 패턴을 탐지하는 시계열 이상 탐지 기술의 중요성이 부각되고 있다. 과거에는 시계열 이상 탐지 알고리즘이 주로 단변량(univariate) 데이터를 처리하는 데 집중되어 왔다. 그러나 기술의 발전과 함께 시계열 데이터는 복잡해졌으며, 이에 대응하는 딥러닝 기반 시계열 이상 탐지 기술이 활발히 개발되고 있다. 현재 대부분의 산업에서는 시계열 이상을 탐지하기 위해 딥러닝 알고리즘에 의존하고 있다. 본 논문에서는 시계열 도메인의 세 가지 경우에 적용할 수 있는 다중-포인트 LSTM의 앙상블을 기반으로 한 이상 탐지 알고리즘을 제안한다. 우리는 세 단계로 구성된 이상 탐지 모델을 제안한다. 첫 번째 단계는 모델 선택 단계로, 사용자 지정 범위 내에서 모델을 학습하고 그중에서 가장 적합한 모델들을 자동으로 선택한다. 다음 단계에서는 앞서 선택된 모델들의 앙상블 기법을 스태킹하여 M개의 LSTM으로부터 수집된 출력 벡터를 완성한다. 마지막 단계에서는 두 번째 단계의 출력 벡터를 이용하여 최종적으로 이상을 탐지한다. 우리는 제안된 모델의 성능을 다른 최신 시계열 탐지 딥러닝 모델들과 비교하는 실험을 세 개의 실제 데이터셋을 사용하여 수행하였다. 본 방법은 세 가지 데이터셋에서 우수한 정확도, 효율적인 실행 시간, 그리고 양호한 F1 점수를 보였으나, LSTM 앙상블을 학습하는 데에는 자연스럽게 더 많은 시간이 요구된다.

딥러닝은 수많은 머신러닝 과제에서 탁월한 성능을 보여 왔지만, 딥러닝에서의 한 가지 실용적 장애물은 계산량과 필요 메모리가 매우 크다는 점이다. 모델 압축, 특히 딥러닝에서의 모델 압축은 모델 성능을 유지하면서 메모리를 절감하고 저장 용량을 줄일 수 있어 매우 유용하다. 계층적 네트워크 구조에서의 모델 압축은 계산 과정에서 불필요하다고 판단되는 가중치를 가지치기(pruning)하여 간선(edge)의 수를 줄이는 것을 목표로 한다. 그러나 기존의 가중치 가지치기 방법은 레이어별(layer-by-layer)로 감소를 수행하며, 이는 각 레이어에 대해 사전에 정의된 제거 비율(removal-ratio) 제약이 필요하다. 레이어별 제거 비율은 과제에 따라 구조적으로 지정되어야 하므로, 조정해야 할 매개변수의 수가 많아 훈련 시간이 급격히 증가한다. 따라서 이러한 레이어별 전략은 딥 레이어드 모델에서는 거의 실행 가능하지 않다. 본 연구에서 제안하는 방법은 구조적 특성에 대한 사전 지식 없이, 전체 모델에 대해 전역 제거 비율(global removal ratio)을 설정함으로써 유사한 성능을 산출하면서 딥 레이어드 네트워크에서 가중치 가지치기를 수행하고자 한다. 제안 방법에 대한 실험 결과는 레이어별 제거 비율의 필요성을 없애면서도 신뢰할 수 있고 고품질의 성능을 보여주었다. 또한 레이어 수를 증가시키는 실험에서는 가지치기된 가중치에서 패턴이 나타났으며, 이는 해당 레이어들의 구조적 중요성에 대한 통찰을 제공할 수 있다. MNIST 데이터로 LeNet-5 모델을 실험한 결과, 제안 방법은 98.8%의 더 높은 압축률을 달성하여 기존 가지치기 알고리즘을 능가하였다. Resnet-56 실험에서는 제거 비율 10–90%에 따른 성능 변화를 조사하였고, 다른 실험된 모델들에 비해 더 높은 제거 비율을 달성하였다. 또한 제안 방법의 효과는 상당한 계산을 필요로 하는 실제 객체 탐지 모델인 YOLOv4에서도 입증하였다.