Integrity Verification for AI Systems
연구 내용
AI 시스템의 데이터·모델·추론 과정에서 조작 가능 지점을 식별하고 무결성을 검증하는 연구
AI 학습 데이터와 추론 결과의 변경 가능성을 고려하여, 모델 및 시스템 무결성을 검증하는 분석 절차를 연구합니다. 입력 변형과 출력 이상을 관찰 지표로 설정하고, 프로그램 포렌식 관점에서 추론 실행 단서와 이벤트 기록을 정합성 있게 연결합니다. 또한 재현 가능한 검증 절차를 제공하기 위해 검증 단계별로 필요한 관찰 데이터와 판별 기준을 명확히 구성합니다. 이러한 접근은 AI 시스템의 신뢰성 확보와 침해사고 분석을 동시에 지원하는 데 목적이 있습니다.
관련 연구 성과
관련 논문
0편
관련 특허
0건
관련 프로젝트
0건
연구 흐름
초기에는 AI 관련 시스템에서 조작이 의심되는 상황을 시나리오로 분류하고, 입력-출력 관찰만으로 확인 가능한 단서의 한계를 정리합니다. 이후 추론 실행 환경과 로그 이벤트를 함께 활용하여 정합성을 높이는 방향으로 절차를 확장합니다. 중기에는 모델 및 시스템 단에서 무결성 검증에 필요한 판별 기준을 계층적으로 구성하고, 프로그램 단서와 결합해 설명 가능한 결과로 정리합니다. 최근에는 AI와 소프트웨어가 결합된 실제 서비스 환경을 가정해 적용 가능성을 점검하는 연구를 수행합니다.
활용 가능성
활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.