[2차년도 개발내용] - 주관연구개발기관(비트리) • ISP to NPU Interface Architecture 하드웨어 설계 • FPGA 검증을 위한 F/W 개발 • FPGA 검증을 위한 Top RTL 설계 • FPGA 검증을 위한 윈도 프로그램 개발 • FPGA 보드를 이용한 WDR/3D-NR/SCALER/AE/AWB 기능 검증 • 영상 처리 블록에 대한 합성 및 타이밍 개선 작업 진행 - 공동연구개발기관 1(서울대학교 산학협력단) • 개발한 설계 코드를 기반으로 공동연구개발기관인 알파홀딩스로부터 자문을 받아 수정 및 개선 • 멀티코어 가속기 구조 개발 • FPGA를 사용한 NPU 검증환경 구축 및 검증 · FPGA 검증 시스템 개발 · FPGA 개발용 SW 환경 구축 · FPGA 검증으로 Functional Correctness 검증 및 성능 예측 • 신경망 가속기 구동 펌웨어 개발 • 신경망 가속기 SDK/NDK 개발 - 공동연구개발기관 2(알파홀딩스) • Chip Size Estimation · 선정된 공정과 이에 따른 IP별 Size를 정보를 수집하여 Chip Size 구체화 • 최종 IP 선정 및 SoC Bus 구조 최적화 · Chip Size Estimation 정보를 바탕으로 IP(NPU)의 개수와 외부 인터페이스 조정하고 이에 따른 Bus 구조를 최적화. • SoC RTL 설계 · IP Integration, Clock/Reset 구조 설계 · Pre Physical Implementation 및 검증 결과에 따라 SoC RTL 수정 및 보완 • SoC 검증 · 수립한 시나리오에 다른 Performance 검증 • Power Estimation · 시나리오에 따른 전력 소비량 예상 · Pre Physical Implementation과 최종 Physical Implementation 결과로 2차례 수행 • Pre Physical Implementation · Power/Size Estimation을 위한 Block 혹은 Top 합성 및 Layout 진행 • Physical Implementation · Chip으로 제작하기 위해 모든 IP, IO, Block 배치를 하는 Floorplan부터 각 Cell을 배치시키는 Place, Cell간 Signal을 연결시키는 Routing을 수행 • Pre / Post simulation · 합성 및 Layout 이후 netlist. sdf를 이용하여 진행하며 이를 통해 Physical Implementation과정의 정합성을 보완

[1차년도 개발내용] - 주관연구개발기관(비트리) • FHD 카메라 영상을 실시간 처리 가능한 ISP RTL 설계 · 영상 처리를 위한 LSC/Interpolation/CCM/Gamma/ NR/SHARP/HDR 종합하여각 블록은 외부 Pipeline 행태로 연결되어 다음 블록으로 영상 데이터가 전달 • 140dB 이상의 Dynamic Range를 가지는 WDR 알고리즘 개발 및 RTL 설계 · CIS(CMOS Image Sensor)는 일반적으로 60dB 정도의 Dynamic Range를 가진다. 이경우 발생하는 밝기표현의 한계를 해결하기 위해 노출이 다른 두 개의 이미지를 촬영 후 합성해 Dynamic Range가 큰 이미지를 만듦 • 저조도 노이즈 개선을 위한 3D-NR 알고리즘 개발 및 RTL 설계 · 저조도 상황에서 노이즈를 개선하기 위해서 이전 프레임의 여러 장의 이미지를 참조해서 노이즈를 제거 • 고화질 이미지 스케일러 알고리즘 개발 및 RTL 설계 · 이미지 확대 또는 축소 시 발생하는 이미지 열화를 최소화하기 위해 특별하게 고안된 3rd order Polynomial Interpolation 방식사용 · WDR/3D-NR/ISP/SCALER의 실시간 검증을 위한 FPGA 보드 개발 - 공동연구개발기관 1(서울대학교 산학협력단) • 서울대가 보유하고 있는 NPU인 MIDAP IP의 가상 프로토타입 환경을 이용하여 신경망 응용 성능 예측 • 신경망 벤치마킹 네트워크를 효율적으로 지원하기 위한 가속기 구조 개선 • 신경망 성능을 높이기 위한 컴파일러 최적화 • 신경망 설계 코드(RTL) 개발 • RTL 시뮬레이터를 통한 신경망 가속기 설계 코드 검증 - 공동연구개발기관 2(알파홀딩스) • IP 수집 및 기능 검토 · 핵심 IP인 ISP, NPU를 포함하여 MIPI, DDR, Flash, CPU IP 선정을 위한 정보를 수집하고 기능을 검토 · IP별 개발 일정을 확인 · Edge 및 이동용 로봇 응용에서 요구하는 데이터 처리속도를 위한 IP 별 동작 주파수 요구사항 확인 · Edge 및 이동용 로봇 응용에서 외부 통신을 위한 효율적 Interface 장치 분석 • Block 수준에서의 IP 검증 · Integration 전 Block 수준에서의 IP 검증을 진행하여 IP 수정 및 보완을 진행 • SoC 구조 설계 · CPU, ISP, NPU, MIPI, 기타 Peripherals가 사용되며, 이를 사용한 Platform의 효율화, 최적화를 진행하여 성능 및 Size 측면에서 최대 효율을 갖는 Bus 구성 · 동작 주파수와 Performance를 고려하여 IP별 Bandwidth 분

o 저전력(2 TOPS/W) 및 응용에 대해 효율적(Average MAC Utilization > 15~40%)으로 동작하는 신경망 가속기 IP 개발- 저전력(2 TOPS/W)으로 동작하는 신경망 가속기 개발을 통해 임베디드 환경에서 디바이스 운용시간 연장- 신경망 가속기 내부 곱셈-누산기 평균 사용률(Average MAC Utilization > ...

본 과제는 컴퓨터 기술을 미래 융합교육 플랫폼(걸리버 플랫폼)과 사회공헌형 연구로 연결해, 스타학생연구자와 글로벌 리더를 육성하고 교육·연구 체계를 혁신하는 연구임. 연구 목표는 10년내 세계 10위권 진입, 인공지능·빅데이터 기반 산학협력(ABCIC) 및 학부 연구그룹 융복합 활성화, AI 연구원과 수평적 협력 구축임. 기대효과는 연구환경·인센티브·인력유치를 통한 연구역량 강화, 국제적 인지도 향상, 산학협력으로 국내 경쟁력 증진, 컴퓨터 기술로 사회 문제 해결 및 사회적 약자 지원 확대임