화학 공학, 환경 과학, 제약 개발에서 화합물의 휘발성과 안정성에 영향을 미치므로, 증기압의 정확한 예측은 필수적이다. 전통적 방법은 종종 복잡하고 새로 고안된 분자 구조에 대해 충분히 성능을 발휘하지 못한다. 본 연구는 예측 정확도를 향상시키기 위해 그래프 신경망(graph neural networks, GNN)과 CHEM-BERT 모델을 통합한 고도화된 기계 학습 접근법을 제시한다. 현재까지 최대 규모의 데이터셋을 활용하여 포괄적인 화학적 기술자(descriptors)와 핑거프린트를 도출하였다. 우리는 리지 회귀(ridge regression), 랜덤 포레스트(random forest), 서포트 벡터 회귀(support vector regression), 피드포워드 신경망(feed-forward neural networks) 등을 포함한 19개의 예측 모델을 평가하였으며, PaDEL과 Morgan 핑거프린트, 화학적 기술자, Chem-BERT 임베딩과 같은 다양한 특성을 사용하여 학습하였다. 방법론의 핵심은 19개의 다중 모델을 결합하여 정확도를 향상시키는 슈퍼 러너(super learner) 아키텍처이다. 슈퍼 러너는 개별 모델 및 선행 보고보다 우수한 성능을 보이며, 평균제곱근오차(root mean squared error, RMSE) 0.8200을 달성하였다. 이러한 성공적인 결과는 상세한 분자 정보를 포착하기 위해 GNN과 Chem-BERT를 통합하는 접근법의 효과를 보여주며, 증기압 예측을 위한 새로운 벤치마크를 제시한다. 본 연구는 고도화된 기계 학습 기법과 포괄적인 데이터셋의 가치를 강조하며, 연구자들에게 견고한 도구를 제공하고 화학적 물성 예측의 향후 발전을 위한 기반을 마련한다.

본 논문은 한국의 제조업과 ICT 부문의 기술적 구조를 살펴, 제4차 산업혁명(4IR) 시대에 지배적 기술 분야가 전환될 가능성을 검토한다. 1990년부터 2021년까지 한국 기업의 특허 데이터(patent data)를 활용한 결과, 제조업 부문은 4IR 시대에도 특허의 수와 기술의 다양성 측면에서 모두 한국의 지배적 기술 리더로 나타났다. ICT 부문은 2000년대 이후 Industry 4.0(I4) 기술에 대한 관심이 증가하여 향후 지배력 전환의 가능성을 시사하였으나, 두 부문 간 격차는 여전히 상당하다. 또한 본 연구는 제조업 부문이 기술을 다각화하는 경향이 있는 반면, ICT 부문은 특정 목표 기술들에 특화하는 경향이 있음을 보여준다. 아울러 분석 결과, 두 부문 모두 경로의존성(path-dependency)을 보이며, ICT 부문이 더 강한 특성을 나타내는 것으로 제시된다. 그리고 두 부문의 기업 모두 특허 활동에서 집중적(in intensive margin)·확장적(extensive margin) 여백을 중시하는 경향을 보이지만, 이러한 경향은 제조업 부문 기업에서 더 강하게 나타난다.

희소 부분상관 추정은 고차원 데이터 분석에서 널리 다루어지는 주제로, 0이 아닌 부분상관은 다른 변수들을 주었을 때 두 해당 변수 사이의 조건부 의존성을 나타낸다. 가우시안 그래픽 모델에서는 조건부 의존성의 희소성을 달성하기 위해 ${\ell }_1$ 정규화를 활용하는 많은 방법들이 개발되어 왔다. 기존의 대부분의 방법은 정밀도 행렬(precision matrix)의 비대각 원소들에 대해 ${\ell }_1$ 페널티를 부과한다. 그러나 이와 같은 접근은 정밀도 행렬의 해당 원소들이 상대적으로 작을 때, 부분상관 계수가 중간 정도의 크기를 갖는 조건부 의존성을 식별하지 못할 수 있다. 본 연구에서는 scaled Lasso를 이용하여 희소 부분상관을 추정하기 위한 2단계 절차를 제안한다. 제안된 절차는 scaled Lasso로부터 정밀도 행렬의 대각 원소들에 대한 일관된 추정기를 사용함으로써 부분상관 추정의 비볼록성(non-convexity)을 해결한다. 또한 반복적 수축 알고리즘(iterative shrinkage algorithm)을 기반으로, 그래픽 처리 장치(graphics processing units)를 활용하는 효율적인 알고리즘을 제안된 방법에 대해 개발한다. 수치 실험 결과는 본 방법이 Frobenius 노름 하에서 부분상관의 추정과 간선(edge) 복구 측면에서 기존 방법들보다 더 우수하게 수행함을 보여준다.

융합 라쏘 신호 근사기(FLSA)는 관측이 잡음에 오염된 경우에 대해 스무딩을 수행하는 절차로, 관측되지 않은 평균 수준에 대해 융합 라쏘 패널티를 적용하여 희소한 신호 블록을 찾는다. FLSA의 전체 해 경로를 구하기 위한 여러 경로(path) 알고리즘이 개발되어 왔다. 그러나 알려진 바에 따르면, FLSA는 기본 신호가 계단형(stair-case) 블록을 갖는 경우—즉, 연속된 세 개의 신호 블록이 엄밀하게 증가 또는 감소하는 경우—모형 선택의 일관성이 부족하다. 계단형 블록과 무관하게 모형 선택 일관성을 보장하기 위해 FLSA의 수정된 경로 알고리즘(modified path algorithms)이 제안되었다. 본 논문에서는 FLSA의 경로 알고리즘에 대한 포괄적인 검토를 제공하고, 최근에 수정된 경로 알고리즘의 hitting time(융합 도달 시간)에 대한 성질을 증명한다. 구체적으로, 수정된 경로 알고리즘을 국소(local) FLSA 문제를 위한 경로 알고리즘으로 재해석하고, 수정된 경로 알고리즘의 융합에 대한 hitting time이 조율 모수(tuning parameter)에서 단조(monotone)적이지 않다는 조건을 규명한다. 해 경로의 단조성을 회복하기 위해, 수정된 해 경로 알고리즘과 유사한 성능을 가지면서 단조성을 만족하는 경로별(pathwise) 적응형 FLSA를 제안한다. 마지막으로, 제안한 방법을 한국의 COVID-19 일일 확진자 수에 적용하여 확산의 변화 지점을 파악한다.

화학 공학, 환경 과학, 제약 개발에서 화합물의 휘발성과 안정성에 영향을 미치므로, 증기압의 정확한 예측은 필수적이다. 전통적 방법은 종종 복잡하고 새로 고안된 분자 구조에 대해 충분히 성능을 발휘하지 못한다. 본 연구는 예측 정확도를 향상시키기 위해 그래프 신경망(graph neural networks, GNN)과 CHEM-BERT 모델을 통합한 고도화된 기계 학습 접근법을 제시한다. 현재까지 최대 규모의 데이터셋을 활용하여 포괄적인 화학적 기술자(descriptors)와 핑거프린트를 도출하였다. 우리는 리지 회귀(ridge regression), 랜덤 포레스트(random forest), 서포트 벡터 회귀(support vector regression), 피드포워드 신경망(feed-forward neural networks) 등을 포함한 19개의 예측 모델을 평가하였으며, PaDEL과 Morgan 핑거프린트, 화학적 기술자, Chem-BERT 임베딩과 같은 다양한 특성을 사용하여 학습하였다. 방법론의 핵심은 19개의 다중 모델을 결합하여 정확도를 향상시키는 슈퍼 러너(super learner) 아키텍처이다. 슈퍼 러너는 개별 모델 및 선행 보고보다 우수한 성능을 보이며, 평균제곱근오차(root mean squared error, RMSE) 0.8200을 달성하였다. 이러한 성공적인 결과는 상세한 분자 정보를 포착하기 위해 GNN과 Chem-BERT를 통합하는 접근법의 효과를 보여주며, 증기압 예측을 위한 새로운 벤치마크를 제시한다. 본 연구는 고도화된 기계 학습 기법과 포괄적인 데이터셋의 가치를 강조하며, 연구자들에게 견고한 도구를 제공하고 화학적 물성 예측의 향후 발전을 위한 기반을 마련한다.

본 논문은 한국의 제조업과 ICT 부문의 기술적 구조를 살펴, 제4차 산업혁명(4IR) 시대에 지배적 기술 분야가 전환될 가능성을 검토한다. 1990년부터 2021년까지 한국 기업의 특허 데이터(patent data)를 활용한 결과, 제조업 부문은 4IR 시대에도 특허의 수와 기술의 다양성 측면에서 모두 한국의 지배적 기술 리더로 나타났다. ICT 부문은 2000년대 이후 Industry 4.0(I4) 기술에 대한 관심이 증가하여 향후 지배력 전환의 가능성을 시사하였으나, 두 부문 간 격차는 여전히 상당하다. 또한 본 연구는 제조업 부문이 기술을 다각화하는 경향이 있는 반면, ICT 부문은 특정 목표 기술들에 특화하는 경향이 있음을 보여준다. 아울러 분석 결과, 두 부문 모두 경로의존성(path-dependency)을 보이며, ICT 부문이 더 강한 특성을 나타내는 것으로 제시된다. 그리고 두 부문의 기업 모두 특허 활동에서 집중적(in intensive margin)·확장적(extensive margin) 여백을 중시하는 경향을 보이지만, 이러한 경향은 제조업 부문 기업에서 더 강하게 나타난다.

희소 부분상관 추정은 고차원 데이터 분석에서 널리 다루어지는 주제로, 0이 아닌 부분상관은 다른 변수들을 주었을 때 두 해당 변수 사이의 조건부 의존성을 나타낸다. 가우시안 그래픽 모델에서는 조건부 의존성의 희소성을 달성하기 위해 ${\ell }_1$ 정규화를 활용하는 많은 방법들이 개발되어 왔다. 기존의 대부분의 방법은 정밀도 행렬(precision matrix)의 비대각 원소들에 대해 ${\ell }_1$ 페널티를 부과한다. 그러나 이와 같은 접근은 정밀도 행렬의 해당 원소들이 상대적으로 작을 때, 부분상관 계수가 중간 정도의 크기를 갖는 조건부 의존성을 식별하지 못할 수 있다. 본 연구에서는 scaled Lasso를 이용하여 희소 부분상관을 추정하기 위한 2단계 절차를 제안한다. 제안된 절차는 scaled Lasso로부터 정밀도 행렬의 대각 원소들에 대한 일관된 추정기를 사용함으로써 부분상관 추정의 비볼록성(non-convexity)을 해결한다. 또한 반복적 수축 알고리즘(iterative shrinkage algorithm)을 기반으로, 그래픽 처리 장치(graphics processing units)를 활용하는 효율적인 알고리즘을 제안된 방법에 대해 개발한다. 수치 실험 결과는 본 방법이 Frobenius 노름 하에서 부분상관의 추정과 간선(edge) 복구 측면에서 기존 방법들보다 더 우수하게 수행함을 보여준다.

융합 라쏘 신호 근사기(FLSA)는 관측이 잡음에 오염된 경우에 대해 스무딩을 수행하는 절차로, 관측되지 않은 평균 수준에 대해 융합 라쏘 패널티를 적용하여 희소한 신호 블록을 찾는다. FLSA의 전체 해 경로를 구하기 위한 여러 경로(path) 알고리즘이 개발되어 왔다. 그러나 알려진 바에 따르면, FLSA는 기본 신호가 계단형(stair-case) 블록을 갖는 경우—즉, 연속된 세 개의 신호 블록이 엄밀하게 증가 또는 감소하는 경우—모형 선택의 일관성이 부족하다. 계단형 블록과 무관하게 모형 선택 일관성을 보장하기 위해 FLSA의 수정된 경로 알고리즘(modified path algorithms)이 제안되었다. 본 논문에서는 FLSA의 경로 알고리즘에 대한 포괄적인 검토를 제공하고, 최근에 수정된 경로 알고리즘의 hitting time(융합 도달 시간)에 대한 성질을 증명한다. 구체적으로, 수정된 경로 알고리즘을 국소(local) FLSA 문제를 위한 경로 알고리즘으로 재해석하고, 수정된 경로 알고리즘의 융합에 대한 hitting time이 조율 모수(tuning parameter)에서 단조(monotone)적이지 않다는 조건을 규명한다. 해 경로의 단조성을 회복하기 위해, 수정된 해 경로 알고리즘과 유사한 성능을 가지면서 단조성을 만족하는 경로별(pathwise) 적응형 FLSA를 제안한다. 마지막으로, 제안한 방법을 한국의 COVID-19 일일 확진자 수에 적용하여 확산의 변화 지점을 파악한다.

범용 GPU(GPGPU)는 심층 자연 네트워크 모델의 확산을 가속하는 것을 포함하여 다양한 분야에서 활용되고 있으나, 그 효과적인 구현을 위한 추가 연구가 필요하다. 최근 인기를 얻고 있는 연산 통합 장치 아키텍처(compute unified device architecture, CUDA)를 사용할 때의 상황은 GPU와 그 메모리 공간을 활용하는 경우와 유사하다. 이는 CUDA GPU 병렬 연산을 위해 가장 효율적인 접근법을 선택하는 데 필요한 표준(gold standard)이 부재하기 때문이다. 반대로, 최소 절대 수축 및 선택 연산자(least absolute shrinkage and selection operator, LASSO) 회귀를 해결하는 과정은 전적으로 기본 선형대수 연산으로 구성되므로, 다른 모델들에 비해 GPGPU를 이용한 계산이 더 효과적이다. 또한 그 최적화 문제는 종종 빠르고 효율적인 계산을 요구한다. 본 연구의 목적은 LASSO에 대한 CUDA GPU 병렬 연산의 구현 접근법을 간략히 소개하고, GPU 병렬 연산의 계산 효율을 LASSO를 위한 빠른 반복적 수축-임계( shrinkage-thresholding ) 알고리즘과 수치적으로 비교하는 데 있다. 본 연구는 계산 효율과 구현 용이성을 모두 고려하여 CUDA GPU 병렬 연산을 위한 표준을 제공하는 데 기여한다. 비교 결과에 근거하여, 반복 알고리즘에 대해 동적 링크 라이브러리 또는 PyTorch를 사용하여 Python으로 CUDA GPU 병렬 연산을 구현할 것을 권장한다.

현대 사회에서 소셜 미디어 및 인터넷 활용이 급속도로 증가함에 따라, 악성 댓글 및 스팸 메일과 같이 정상적인 분포에서 벗어나는 비정상적인 텍스트 데이터가 증가하고 있다. 이러한 문제의 해결을 위해 스팸 메일 및 악성 댓글 등을 식별하기 위한 텍스트 이상치 탐지 및 자연어 처리와 관련된 연구가 활발히 이루어지고 있다. 본 논문에서는 네이버 정치 뉴스 기사 댓글 데이터를 활용하여 딥러닝 기반 모형의 텍스트 이상치 탐지 성능을 비교하였다. 네이어 클린 봇에 의한 검열 정보의 활용 유무에 따라 지도 학습과 비지도 학습 접는 방식을 적용하여 모형의 성능을 비교하였으며, 한국어를 기반으로 사전 학습된 자연어 처리 모형을 활용하여 임베딩 벡터를 산출하였다. 이상치 탐지 성능 비교 결과, 지도 학습 기반 모형에서는 KcELECTRA 임베딩 기반의 FFNN 이진 분류 모형이 가장 우수한 성능을 보였으며, 비지도 학습 기반 모형에서는 KcBERT 임베딩 기반의 Deep SVDD모형이 가장 우수한 성능을 나타내었다.