제10항에 있어서, 상기 동적신경망할당(DNNA) 코어는상기 비트마스크에 의거하여 상기 복수의 뉴럴엔진들 각각의 클럭을 제어하는 클럭제어부를 더 포함하는 것을 특징으로 하는 인공지능 기반 고속 저전력 3D 렌더링 가속기.

동일한 물체를 여러 방향에서 촬영한 다수의 2D 사진을 사용하여 DNN의 가중치를 학습시킨 뒤 이를 이용하여 3D 렌더링하는 심층신경망(DNN) 기반 3D 렌더링 가속기에 있어서,관찰자의 위치 및 방향에서 3D 렌더링 대상인 물체에 대한 이미지 평면을 생성하고 상기 이미지 평면을 다수의 타일 단위로 분할한 후, 분할된 타일단위이미지들을 뇌모방 시각인지하여 3D 렌더링을 위해 필요한 DNN 추론범위를 축소 결정하는 시각인지코어(VPC);입력 희소성에 따라 연산 효율이 서로 다른 복수의 뉴럴엔진(NE)을 구비하고, 상기 축소 결정된 DNN 추론범위에 포함된 DNN 추론을 가속하되, 상기 DNN 추론을 위해 연산량이 축소된 태스크들을 상기 복수의 뉴럴엔진(NE)들에 분할 할당하여 가속하는 하이브리드 뉴럴엔진(HNE); 및상기 타일단위이미지들 각각의 희소성 비율에 의거하여 상기 복수의 뉴럴엔진(NE)들 중 하나로 상기 태스크들 각각을 할당하기 위한 선택정보를 생성하는 동적신경망할당(DNNA) 코어를 포함하되,상기 시각인지코어(VPC)는관찰자의 위치 변화시, 이전프레임과 현재프레임의 친숙도 평가에 의해 재사용 가능한 이전프레임의 픽셀값인 재사용 픽셀값을 결정하고, 상기 재사용 픽셀값을 반영하여 현재프레임의 픽셀들 중 DNN 추론이 필요한 DNN 추론 대상 픽셀을 결정한 후, 상기 DNN 추론 대상 픽셀을 나타내는 바이너리 맵을 생성하는 시간적 친숙도 유닛(TFU); 및상기 물체를 사전에 미리 생성된 저해상도 복셀(voxel)로 표현한 후 관찰자의 시선방향으로 상기 복셀 내부에 위치한 좌표만을 DNN 추론 대상인 샘플좌표로 생성하되, 상기 DNN 추론 대상 픽셀에 대응한 복셀 내부의 좌표만을 샘플좌표로 생성하는 공간적 주의 유닛(SAU)을 포함하는 것을 특징으로 하는 인공지능 기반 고속 저전력 3D 렌더링 가속기.

삭제

제1항에 있어서, 상기 시간적 친숙도(TF) 유닛은상기 타일단위이미지를 3D 변환한 후, 상기 관찰자의 위치 및 방향의 변화값을 기준으로, 이전프레임의 픽셀별 RGB 값을 회전 및 평행 이동시켜 대응된 현재프레임의 픽셀에 투영하는 3D 변환기; 및이전프레임 및 대응된 현재프레임의 픽셀단위로 색상변화값을 예측하고, 상기 예측된 색상변화값이 미리 설정된 허용변화값 미만인 픽셀의 RGB값만을 재사용하도록 결정하는 재사용처리부를 포함하는 것을 특징으로 하는 인공지능 기반 고속 저전력 3D 렌더링 가속기.

제3항에 있어서, 상기 3D 변환기는상대적 주소 기반 버퍼링 기법을 활용하여 상기 이전프레임의 픽셀별 RGB값을 회전 및 평행 이동시키는 것을 특징으로 하는 인공지능 기반 고속 저전력 3D 렌더링 가속기.

제3항에 있어서, 상기 재사용처리부는하나의 현재프레임 픽셀에 다수의 이전프레임 픽셀이 매칭되는 겹침현상이 발생한 경우, 겹침이 발생한 이전프레임 픽셀들 중 가장 앞에 위치하는 픽셀의 RGB값을 선택하여 타일내 겹침을 해소하고, DNN 추론에 의해 타일간 겹침을 해소하는 것을 특징으로 하는 인공지능 기반 고속 저전력 3D 렌더링 가속기.

제1항에 있어서, 상기 공간적 주의(SA) 유닛은외부 메모리로부터 수집된 상기 복셀(voxel)에 대한 정보를 저장하는 복셀캐시(Voxel Cache); 상기 바이너리 맵을 기반으로 광선을 발사하여, 상기 광선상의 좌표들 중 상기 DNN 추론 대상 픽셀에 대응한 복셀 내부의 좌표만을 샘플좌표로 생성하는 샘플좌표생성부; 및상기 샘플좌표 생성결과에 의해 상기 DNN 추론 대상 픽셀 별로 유효한 샘플수를 결정하고, 그 결과를 이용하여 상기 타일단위이미지를 밀집타일 또는 희소타일로 분류한 후 상기 종류에 따라 상기 하이브리드 뉴럴엔진(HNE)과의 입/출력을 제어하는 태스크 컨트롤러를 포함하는 것을 특징으로 하는 인공지능 기반 고속 저전력 3D 렌더링 가속기.

제6항에 있어서, 상기 공간적 주의(SA) 유닛은DNN 추론 결과에 의거하여 추론의 지속 여부, 및 상기 샘플좌표생성부의 샘플좌표 생성동작을 제어하는 하향식 주의(TDA) 로직을 더 포함하고,상기 하향식 주의(TDA) 로직은상기 하이브리드 뉴럴엔진(HNE)으로부터 임의의 제1 레이어에 대한 중간연산결과를 전달받고, 상기 중간연산결과에 포함된 중간밀도값이 미리 설정된 하향임계값 미만인 경우 상기 제1 레이어의 잔여 DNN 추론 단계의 스킵을 결정하고,상기 하이브리드 뉴럴엔진(HNE)으로부터 3D 렌더링 과정 전체에서 발생한 누적밀도값을 전달받고, 상기 누적밀도값이 미리 설정된 상향임계값을 초과하는 경우 상기 샘플좌표생성부의 샘플좌표 생성동작에 대한 중단을 결정하는 것을 특징으로 하는 인공지능 기반 고속 저전력 3D 렌더링 가속기.

제1항에 있어서, 상기 하이브리드 뉴럴엔진(HNE)은입력 데이터에 0이 있을 때 해당 연산을 스킵하는 1D 뉴럴엔진(NE); 입력 데이터에 0의 존재 여부와 상관없이 데이터를 재사용하는 2D 뉴럴엔진(NE);상기 1D NE, 및 상기 2D NE의 입/출력값을 저장하는 입출력 메모리(IOMEM); 및2차 함수와 모듈로 함수로 구성된 근사수식을 이용하여 정현파를 생성하고, 상기 정현파를 이용하여 위치 인코딩을 수행하는 모듈로 기반 위치 인코딩 유닛(Mod-PEU)을 포함하는 것을 특징으로 하는 인공지능 기반 고속 저전력 3D 렌더링 가속기.

제8항에 있어서, 상기 모듈로 기반 위치 인코딩 유닛(Mod-PEU)은반정밀도 형식의 샘플좌표를 2로 나눈 나머지값을 산출하고, 그에 대한 2의 보수를 취하여 제1 및 제2 파라미터를 생성한 후, 상기 제1 및 제2 파라미터를 하기의 수학식에 적용하여 위치 인코딩에 필요한 다수의 사인파 및 코사인파를 생성하는 것을 특징으로 하는 인공지능 기반 고속 저전력 3D 렌더링 가속기.(수학식)

제1항에 있어서, 상기 동적신경망할당(DNNA) 코어는상기 타일단위이미지 마다, 상기 DNN 추론 대상 픽셀들 중 일부를 희소성 기준 픽셀로 결정하되, 원심 샘플링 방식(CS)으로 상기 희소성 기준 픽셀을 결정하고, 상기 희소성 기준 픽셀들 각각의 출력제로패턴을 추출하는 출력제로패턴 추출부; 상기 희소성 기준 픽셀들 각각의 출력제로패턴을 비트와이즈(Bitwise) OR 연산으로 취합하여 상기 희소성 비율을 나타내는 비트마스크를 생성하는 비트마스크 생성부; 및상기 비트마스크가 가지는 0의 개수에 따라 상기 복수의 뉴럴엔진들 중 하나로 상기 태스크들 각각을 할당하기 위한 선택정보를 생성하는 선택정보 생성부를 포함하는 것을 특징으로 하는 인공지능 기반 고속 저전력 3D 렌더링 가속기.

제10항에 있어서, 상기 동적신경망할당(DNNA) 코어는상기 선택정보에 의한 상기 복수의 뉴럴엔진들 각각의 태스크 할당정보를 모니터링하고 상기 복수의 뉴럴엔진들 각각의 연산수행시간 점유율 특성에 의해 태스크 오프로딩을 실시하되, 상기 복수의 뉴럴엔진들 중 연산수행시간 점유율이 일정한 하나의 뉴럴엔진의 활용도를 향상시키는 방향으로 오프로딩을 수행하는 오프로딩제어부를 더 포함하는 것을 특징으로 하는 인공지능 기반 고속 저전력 3D 렌더링 가속기.

동일한 물체를 여러 방향에서 촬영한 다수의 2D 사진을 사용하여 DNN의 가중치를 학습시킨 뒤 이를 이용하여 3D 렌더링하는 심층신경망(DNN) 기반 3D 렌더링 가속기를 이용한 3D 렌더링 방법에 있어서,관찰자의 위치 및 방향에서 3D 렌더링 대상인 물체에 대한 이미지 평면을 생성하고 상기 이미지 평면을 다수의 타일 단위로 분할한 후, 분할된 타일단위이미지들을 뇌모방 시각인지하여 3D 렌더링을 위해 필요한 DNN 추론범위를 축소 결정하는 시각인지단계;상기 타일단위이미지들 각각의 희소성 비율에 의거하여 상기 타일단위이미지들 각각의 DNN 추론 방법을 결정하되, 상기 DNN 추론 범위에 포함된 DNN 추론 연산 태스크들을, 입력 희소성에 따라 연산 효율이 서로 다른 복수의 뉴럴엔진(NE)들에 분할 할당하여 상기 타일단위이미지들 각각의 DNN 추론 방법을 결정하는 동적신경망할당단계; 및상기 동적신경망할당단계에서 결정된 DNN 추론 방법에 의해, 상기 DNN 추론을 가속하는 가속단계를 포함하되,상기 시각인지단계는상기 물체를 사전에 미리 생성된 저해상도 복셀(voxel)로 표현한 후 관찰자의 시선방향으로 상기 복셀 내부에 위치한 좌표만을 DNN 추론 대상인 샘플좌표로 생성하는 공간적 주의(SA) 단계;관찰자의 위치 변화시 이전프레임과 현재프레임의 친숙도 평가에 의해 재사용 가능한 이전프레임의 픽셀값인 재사용 픽셀값을 결정하고, 상기 재사용 픽셀값을 반영하여 현재프레임의 픽셀들 중 DNN 추론이 필요한 DNN 추론 대상 픽셀을 결정하는 시간적 친숙도(TF) 단계; 및상기 DNN 추론 결과에 의거하여, 추론의 지속 여부 및 추가 샘플링 필요성 여부를 판단하는 하향식 주의(TDA) 단계를 포함하는 것을 특징으로 하는 인공지능기반 고속 저전력 3D 렌더링 방법.

삭제

제13항에 있어서, 상기 공간적 주의(SA) 단계는외부 메모리로부터 수집된 상기 복셀(voxel)에 대한 정보를 캐시메모리에 저장하는 캐싱단계;상기 관찰자의 시선방향으로 광선을 발사하여, 상기 광선상의 좌표들 중 상기 DNN 추론 대상 픽셀에 대응한 복셀 내부의 좌표만을 샘플좌표로 생성하는 샘플좌표생성단계; 및상기 타일단위이미지를 밀집타일 또는 희소타일로 분류한 후 상기 분류결과에 의해 상기 복수의 뉴럴엔진(NE)들에 분할 할당하도록 입/출력을 제어하는 태스크 컨트롤단계를 포함하는 것을 특징으로 하는 인공지능기반 고속 저전력 3D 렌더링 방법.

제13항에 있어서, 상기 시간적 친숙도(TF) 단계는상기 타일단위이미지를 3D 변환한 후, 상기 관찰자의 위치 및 방향의 변화값을 기준으로, 이전프레임의 픽셀별 RGB 값을 회전 및 평행 이동시켜 대응된 현재프레임의 픽셀에 투영하는 3D 변환단계; 및 이전프레임 및 대응된 현재프레임의 픽셀단위로 색상변화값을 예측하고, 상기 예측된 색상변화값이 미리 설정된 허용변화값 미만인 픽셀의 RGB값만을 재사용하도록 결정하는 재사용처리단계를 포함하는 것을 특징으로 하는 인공지능 기반 고속 저전력 3D 렌더링 방법.

제16항에 있어서, 상기 3D 변환단계는상대적 주소 기반 버퍼링 기법을 활용하여 상기 이전프레임의 픽셀별 RGB값을 회전 및 평행 이동시키는 것을 특징으로 하는 인공지능 기반 고속 저전력 3D 렌더링 방법.

제16항에 있어서, 상기 재사용처리단계는하나의 현재프레임 픽셀에 다수의 이전프레임 픽셀이 매칭되는 겹침현상이 발생한 경우, 겹침이 발생한 이전프레임 픽셀들 중 가장 앞에 위치하는 픽셀의 RGB값을 선택하여 타일내 겹침을 해소하고, DNN 추론에 의해 타일간 겹침을 해소하는 것을 특징으로 하는 인공지능 기반 고속 저전력 3D 렌더링 방법.

제15항에 있어서, 상기 하향식 주의(TDA) 단계는상기 복수의 뉴럴엔진(NE)들로부터 3D 렌더링 과정 전체에서 발생한 누적밀도값을 전달받고, 상기 누적밀도값이 미리 설정된 상향임계값을 초과하는 경우 상기 샘플좌표생성단계의 샘플좌표 생성동작에 대한 중단을 결정하는 샘플좌표생성 중단단계; 및상기 복수의 뉴럴엔진(NE)들로부터 임의의 제1 레이어에 대한 중간연산결과를 전달받고, 상기 중간연산결과에 포함된 중간밀도값이 미리 설정된 하향임계값 미만인 경우 상기 제1 레이어의 잔여 DNN 추론 단계의 스킵을 결정하는 잔여 DNN 추론 스킵단계를 포함하는 것을 특징으로 하는 인공지능 기반 고속 저전력 3D 렌더링 방법.

제13항에 있어서, 상기 동적신경망할당단계는상기 타일단위이미지 마다, 상기 DNN 추론 대상 픽셀들 중 일부를 희소성 기준 픽셀로 결정하되, 원심 샘플링 방식(CS)으로 상기 희소성 기준 픽셀을 결정하고, 상기 희소성 기준 픽셀들 각각의 출력제로패턴을 추출하는 출력제로패턴 추출단계;상기 희소성 기준 픽셀들 각각의 출력제로패턴을 비트와이즈(Bitwise) OR 연산으로 취합하여 상기 희소성 비율을 나타내는 비트마스크를 생성하는 비트마스크 생성단계; 및상기 복수의 뉴럴엔진들 중 하나로 상기 DNN 추론을 위한 태스크들 각각을 할당하기 위한 선택정보를 생성하되, 상기 비트마스크가 가지는 0의 개수에 따라 상기 선택정보를 생성하는 선택정보 생성단계를 포함하는 것을 특징으로 하는 인공지능 기반 고속 저전력 3D 렌더링 방법.

제20항에 있어서, 상기 동적신경망할당단계는상기 선택정보에 의한 상기 복수의 뉴럴엔진들 각각의 태스크 할당정보를 모니터링하고 상기 복수의 뉴럴엔진들 각각의 연산수행시간 점유율 특성에 의해 태스크 오프로딩을 실시하되, 상기 복수의 뉴럴엔진들 중 연산수행시간 점유율이 일정한 하나의 뉴럴엔진의 활용도를 향상시키는 방향으로 오프로딩을 수행하는 오프로딩단계를 더 포함하는 것을 특징으로 하는 인공지능 기반 고속 저전력 3D 렌더링 방법.

제20항에 있어서, 상기 동적신경망할당단계는상기 비트마스크에 의거하여 상기 복수의 뉴럴엔진들 각각의 클럭을 제어하는 클럭제어단계를 더 포함하는 것을 특징으로 하는 인공지능 기반 고속 저전력 3D 렌더링 방법.

제20항에 있어서, 상기 가속단계는2차 함수와 모듈로 함수로 구성된 근사수식을 이용하여 정현파를 생성하고, 상기 정현파를 이용하여 위치 인코딩을 수행하는 모듈로 기반 위치 인코딩 단계; 및상기 선택정보에 의거하여 상기 태스크들 각각을 추론하되, 입력 데이터에 0이 있을 때 해당 연산을 스킵하는 1D 뉴럴엔진(NE), 및 입력 데이터에 0의 존재 여부와 상관없이 데이터를 재사용하는 2D 뉴럴엔진(NE) 중 상기 태스크들 각각에 할당된 어느 하나를 이용하여 대응된 태스크들을 DNN 추론하는 추론단계를 포함하는 것을 특징으로 하는 인공지능 기반 고속 저전력 3D 렌더링 방법.

제23항에 있어서, 상기 모듈로 기반 위치 인코딩 단계는반정밀도 형식의 샘플좌표를 2로 나눈 나머지값을 산출하고, 그에 대한 2의 보수를 취하여 제1 및 제2 파라미터를 생성한 후, 상기 제1 및 제2 파라미터를 하기의 수학식에 적용하여 위치 인코딩에 필요한 다수의 사인파 및 코사인파를 생성하는 것을 특징으로 하는 인공지능 기반 고속 저전력 3D 렌더링 방법.(수학식)