폐쇄형 네트워크를 갖춘 산업 환경에서의 대규모 언어 모델(LLM) 배치는 개인정보 보호 및 연결성 제한으로 인해 여전히 제약을 받는다. 본 연구는 로컬 벡터 임베딩, 온톨로지 기반 의미론적 풍부화, 양자화된 LLM을 통합하여 완전히 오프라인에서 동작하도록 설계된 검색 증강 질의응답 시스템을 제시하며, IEC 62351과 같은 산업 보안 표준을 준수하도록 했다. 시스템은 OpenChat-3.5 모델을 사용해 구현하였고, 두 가지 양자화 변형(Q5 및 Q8)으로 구성하였다. 또한 응답 정확도, 생성 속도, 안전한 문서 처리에 초점을 둔 비교 실험을 통해 평가하였다. 실증 결과, 두 양자화 모델은 유사한 답변 품질을 제공했으며, 제한된 하드웨어 조건에서 Q5 변형이 토큰 생성 속도를 약 1.5배 더 빠르게 달성하였다. 온톨로지 강화 검색기는 검색 단계에 구조화된 도메인 지식을 통합함으로써 의미론적 관련성을 추가로 향상시켰다. 전 실험을 통해 시스템은 속도, 정확도, 정보 포함성—보안에 민감한 영역에서 AI를 배치하기 위한 핵심 요구사항—전반에서 효과적인 성능을 보여주었다. 이러한 결과는 개인정보 보호를 준수하는 문서 검색을 위한 오프라인 LLM 시스템의 실용적 타당성을 시사하는 동시에, 이를 스마트 그리드 또는 방위에 있어 핵심적인 인프라와 같은 환경으로 확장하는 데 필수적인 아키텍처적 고려사항을 부각한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.