Toward Generating Quality Test Questions and Answers Using Quantized Low-Rank Adapters in LLMs
Jongchan Choi, S. D. Hong, S. D. Hong, Jiyeon Park, Eun-Sung Jung
IF 4.2 (2025)
IEEE Access
질문-답변 생성에 대한 전통적 접근 방식은 자원 집약적이어서, 이러한 문제에 대응하기 위한 혁신적 자동화 기법이 필요하다. 이를 위해 우리는 정교하게 선별된 도메인 특화 데이터셋을 활용하여 Quantized Low-Rank Adaptation(QLoRA)에 기반한 미세조정 전략을 제안한다. 사례 연구로서, 우리는 한국 대학수학능력시험(College Scholastic Ability Test, KCSAT)에 초점을 맞추고 실제 및 모의 시험으로부터 수집한 질문과 답변으로 구성된 KCSAT-ENG 데이터셋을 소개한다. 우리의 접근 방식은 LLaMA-3-8B-Instruct 모델을 미세조정하여 22가지 서로 다른 작업 유형(task types)에 대한 질문과 답변을 생성하도록 하는 것이었다. 본 연구의 핵심 혁신은 질문 생성 및 답변 생성을 위한 별도의 모델을 배치하고, 정확도를 향상시키기 위해 교차 검증(cross-verification) 과정을 활용한 점이다. QLoRA 기법을 평가하기 위해 우리는 양자화, rank, alpha 값들을 변화시키며 광범위한 실험을 수행하였다. 그 결과 최적 구성은 양자화를 적용하지 않았을 때 질문 생성 모델이 rank, α = 32, 8에서 각각 가장 우수했으며, 답변 생성 모델은 rank, α = 64, 16에서 각각 최적의 성능을 보였다. 비(非) 미세조정 LLaMA-3-8B-Instruct 모델과 비교할 때, 질문 생성 모델은 41.5% 향상을 보였고, 답변 생성 모델은 16.1% 향상을 달성하였다. 이러한 결과는 정확하고 비용 효율적이며 확장 가능한 자동화 교육 도구를 구현하는 데 있어 QLoRA 기반 미세조정의 잠재력을 시사한다.
RLECN—A learning based dynamic threshold control of ECN
Shahzad Shahzad, Eun-Sung Jung, Hyung Seok Kim
IF 4.1 (2023)
ICT Express
명시적 혼잡 알림(ECN)은 네트워크 라우터가 패킷을 폐기하는 대신 패킷에 표시를 할 수 있게 한다. 큐 크기가 특정 임계값에 도달하면, 대기열에 있는 패킷들이 예측되는 혼잡을 나타내도록 표시된다. 그러나 ECN 임계값의 최적 값은 정의되어 있지 않다. 따라서 사전에 정해진 값은 추정 또는 시행착오에 의해 선택되므로, 다양한 네트워크 시나리오 전반에서 일반화가 잘 이루어지지 않는다. 우리는 이 문제를 해결하기 위해 소프트웨어 정의 네트워크(SDN)를 활용하는 강화학습(RL) 기반 ECN 메커니즘을 제안한다. 우리의 해법은 라우터가 현재의 네트워크 상태에 따라 동적으로 ECN 임계값을 유지할 수 있게 한다. SDN은 네트워크의 가시성과 학습 범위를 제공하여 RL 모델을 훈련하고 ECN 임계값을 동적으로 조정할 수 있도록 한다. 제안한 모델이 기존의 최신 기술보다 성능이 우수함을 실험 결과를 통해 보인다.
본 연구과제는 산업 응용 서비스 및 과학 응용 프로그램을 위한 Open RAN 지능형 서비스 구축을 목표로 한다. 이를 위한 세부 연구 목표는 다음과 같다.1) 분산 Open RAN AI/ML 프레임워크 실증: 현재 Open RAN 기반 무선 네트워크 구축 및 연구는 초기 단계이며 하드웨어 테스트베드에 소프트웨어를 탑재하여 실증2) 과학 응용 프로그램을 위...
- CDM-Cloud 통합 시험 및 GS 인증
- GUI 개발: CDM-Cloud, Kubernetes 클러스터 DR 및 DPaaS GUI
- CDM-Cloud 간 replication 기술 개발
- CDM DR 개발: Linux 및 Windows 기반 Kubernetes 클러스터 DR 개발
. 1:N Kuebernetes 클러스터 DR 개발
. active-active Kubernetes DR 개발
- CDM DPaaS 개발
. Kuebernetes 클러스터 DRaaS 개발
. OpenStack 클러스터 DRaaS 개발
. OpenStack 클러스터 BaaS 개발
. OpenStack 클러스터 CDP 개발
본 과제는 기상예측 모델의 계산 성능을 높이기 위해 데이터 읽기/쓰기와 네트워크 전송 병목을 줄이는 고성능 I/O 기술을 개발하는 연구임.
연구 목표는 메모리 중심 캐쉬 적용, lazy write, Deep I/O path 해결을 위한 RDMA 활용, I/O aggregation 및 XIO 서버/클라이언트 기반 통합으로 시스템 성능을 향상시키는 데 있음. 핵심 연구 내용은 memcached 등 메모리 캐쉬 모듈 검증, RDMA/GPU Direct Storage 적용 가능 모듈 및 수정 범위 시험, 기상예측 플랫폼용 분산파일시스템 이식 또는 기술 개발, 파라미터 최적화·데이터 압축의 현업 이전 및 평가 수행을 포함함. 기대 효과는 예측 시간 단축과 후속연구 촉진, 원가절감 및 산업 경쟁력 향상으로 귀결됨.