동적 제어 흐름이 포함된 인공지능 모델의 바이트 코드(bytecode)에 기초하여 모델의 연산 구조를 분석하는 바이트 코드 분석부; 및상기 바이트 코드 분석부의 분석 결과를 이용하여 설명가능 인공지능 알고리즘의 결정 과정 시각화 제공을 위한 모델 그래프를 생성하는 바이트 코드 추적부; 를 포함하고,상기 바이트 코드 분석부는모델의 함수 또는 메서드를 바이트 코드로 변환하는 바이트 코드 변환부; 및변환된 바이트 코드를 정렬하여 동작 구조 테이블(OP-CODE Table)을 생성하는 동작 구조 테이블 생성부; 를 포함하고,상기 바이트 코드 추적부는상기 바이트 코드 분석부로부터 동작 구조 테이블을 수신하여 이를 분석하는 동작 구조 테이블 분석부; 및분석된 동작 구조 테이블을 이용하여 모델에 대한 그래프 트리를 생성하는 그래프 트리 생성부; 를 포함하고,상기 그래프 트리 생성부는바이트 코드 분석부로부터 전달받은 동작 구조 테이블을 분석하면서 동작 과정 계산 결과를 추적 테이블에 저장하고, 추적 테이블의 동작 과정 계산 순서에 따라 변수의 변화 과정을 추적하여 변수 트리를 생성하며, 변수 트리를 통해 모델에 대한 그래프 정보를 생성하여 그래프 트리에 저장하며,상기 바이트 코드 추적부는이미지 shape이 소정의 값보다 크거나 같은 경우, 슬라이싱(Slicing) 및 동작 과정을 포함하여 변수 트리 및 그래프 트리를 생성하고, 이미지 shape이 상기 소정의 값보다 작은 경우, Transpose 과정을 통해 이미지의 축을 변환시킨 후 슬라이싱 및 동작 과정을 포함하여 변수 트리 및 그래프 트리를 생성하는 것을 특징으로 하는 설명가능 인공지능 장치.