최근 자율주행 기술이 빠르게 발전함에 따라, 영상 처리 과정에서 보행자 및 물체를 탐지하고 추적하기 위한 정확한 움직임 분석의 필요성이 제기되고 있다. 움직임 분석을 위한 여러 방법 중, 의미론적인 해석이 가능한 Optical Flow 추정이 현재 널리 사용되고 있다. 본 논문에서는 HD 이미지를 실시간으로 처리하는 고성능 Optical Flow 추정 회로의 구조를 제안한다. 회로에 구현된 알고리즘은 DIS-FAST Optical Flow 추정 알고리즘이며, 역 탐색을 통해 시간 복잡도를 크게 낮춘 기법이다. 회로 내의 저장 공간을 줄이기 위해 이미지 피라미드에서 특정 스케일의 이미지만 내부 메모리에 저장하고, 그 외 스케일의 이미지 데이터는 필요할 때 계산을 통해 구한다. 이미지 피라미드 데이터를 외부 메모리에 저장하고 필요할 때마다 접근하는 기존 연구들에 비해 외부 메모리에 대한 접근이 최소화되어 처리 속도가 향상된다. 65㎚ 표준 셀 라이브러리를 이용하여 합성한 결과, 게이트 수는 313,408개이고 최대 동작주파수는 333㎒이며 HD 이미지를 33 FPS의 속도로 처리함으로써 실시간 처리에 필요한 성능을 만족한다.

본 논문에서는 UHD 이미지를 실시간으로 처리하는 고성능 방사 왜곡 보정 회로의 구조를 제안한다. 기존 연구에서는 왜곡보정에 필요한 이미지 데이터에 접근할 때, 이미지 전체를 메모리에 저장하고 매 클락마다 메모리에 직접 접근하는 방식을 사용하고 있다. 그러나 이러한 방법은 고해상도 이미지를 처리할 경우 내부 메모리에 이미지 전체를 저장하는 것은 불가능하며, 외부 메모리에 이미지 전체를 저장한다고 하더라도 실제 애플리케이션 상에서 실시간 처리를 위해 매 클락마다 외부 메모리에 접근하는 것은 비현실적이다. 이를 해결하기 위해 본 논문에서 제안하는 회로 구조에서는 캐시 개념을 도입하였다. 접근해야 하는 이미지 픽셀 값을 캐시 메모리에 미리 저장해 둠으로써 외부 메모리 접근 횟수를 크게 감소시켜서 UHD 이미지와 같은 고해상도 이미지를 실시간으로 처리한다. 캐시 메모리는 362K 비트 SRAM으로 구현하였다. 65nm 표준 셀 라이브러리를 사용하여 합성한 결과, 게이트 수는 29,667개이다. 최대 동작주파수는 1,200MHz이고, 4K UHD 이미지를 0.3 GPPS의 속도로 처리함으로써 실시간 처리에 필요한 성능을 만족한다.

물체 인식, 물체 추적과 같은 컴퓨터 비전 분야에서 안정적인 성능을 얻기 위해서는 선명한 이미지가 필요하다. 안개가 자욱한 날씨에는 물체들을 인식하기 어렵기 때문에 효과적인 안개 제거 기술이 중요하다. 본 논문에서는 8K UHD 이미지를 실시간으로 처리하는 고성능 안개 제거 회로의 구조를 제안한다. 회로에 구현된 알고리즘은 Tarel이 제안한 것으로서 단일 이미지를 바탕으로 MMAL 필터를 이용하여 안개 성분을 추출한다. 안개 제거 역량과 회로의 성능을 절충하기 위해 실험을 통해 적절한 필터 크기를 결정했으며, 중간 계산 결과를 저장하는 라인 버퍼를 효율적으로 관리하여 성능을 유지하면서 회로의 면적을 감소시켰다. 65nm 표준 셀 라이브러리를 이용하여 합성한 결과, 게이트 수는 13,792개이고 최대 동작주파수는 1,200MHz이며 8K UHD 이미지를 1.2 GPPS의 속도로 처리함으로써 실시간 처리에 필요한 성능을 만족한다.

3D-HEVC는 2개 이상의 시점을 이용해 중간시점들을 생성하며, 각 시점은 텍스쳐영상과 깊이영상의 두 가지 형태로 이루어진다. DMM1은 깊이영상을 부호화하는 기법들 중 하나로서, PU 블록을 2개의 영역으로 분할하고 각각의 영역을 1개의 대표값 CPV로 표현한다. 분할된 영역은 0과 1의 조합으로 이루어진 비트 패턴으로 나타내며, 이를 wedgelet이라 한다. 계산된 CPV는 원본 PU 블록과의 SAD를 구하는 데 사용되며, 이 값들을 비교하여 가장 작은 SAD를 갖는 최적의 wedgelet을 선정한다. Wedgelet은 4x4, 8x8, 16x16, 32x32 PU 블록마다 각각 86개, 802개, 510개, 510개로 총 1,908개가 존재한다. 제안한 DMM1 회로는 CPV와 SAD 연산을 수행하는 CPV_SAD 모듈 51개를 사용하여 모든 wedgelet이 병렬 처리되도록 설계했다. 제안하는 회로구조를 바탕으로 Verilog HDL을 이용해 RTL로 설계하고 130nm 표준 셀 라이브러리를 이용해 합성한 결과, 면적은 3,369,532 게이트이며 최대 동작주파수는 200MHz로서 UHD급 영상을 초당 48프레임의 속도로 처리한다.

본 논문은 4K-UHD 영상 크기를 지원하는 실시간 통합 복호기용 부화소 보간 회로를 제안한다. 제안하는 통합부화소 보간 회로는 H.264, MPEG-4, VC-1과 새로운 동영상 압축 표준인 HEVC를 지원한다. 회로의 면적을 줄이기 위해 각 표준에 해당하는 보간 알고리즘의 공통되는 부분을 공유하였다. 또한 회로의 저면적과 성능의 최적화를 위해 중간 버퍼를 효율적으로 사용하였다. 제안하는 통합 부화소 보간 회로를 130nm 표준 셀 라이브러리를 이용하여 합성한 결과, 회로의 크기는 122,564 게이트이고, 최대 동작 주파수 200MHz에서 4K-UHD 영상을 초당 35~86 프레임 속도로 처리한다. 따라서 제안하는 회로는 4K-UHD 영상을 실시간으로 처리할 수 있다.

본 논문은 실시간 보행자 검출을 위한 고성능 히스토그램 of oriented gradient(HOG) 특징 계산 회로의 설계를 제안한다. 중첩 블록과 윈도우의 연산에 대해 면밀히 분석한 결과를 활용하고, HOG 특징의 중간 결과를 효율적으로 저장하기 위해 내부 메모리와 레지스터를 관리함으로써, 모든 중복 연산을 완전히 제거할 뿐 아니라 제안된 회로에 삼선형 보간(trilinear interpolation) 기법을 성공적으로 적용한다. 제안된 회로는 입력 영상의 크기를 최대 고화질(HD) 해상도까지 처리할 수 있으며, 두 가지 유형의 검출 윈도우와 입력 영상의 색 포맷을 지원한다. 처리 시간을 가속하기 위해 제안된 회로는 파이프라인을 갖는 병렬 아키텍처를 채택하고, 내부 메모리와 레지스터를 효율적으로 관리하여 외부 메모리 대역폭을 최소화한다. 또한 공통 연산에 대해 회로 자원을 공유하고 필요한 저장 공간을 최소화함으로써 회로 크기를 감소시킨다. 삼선형 보간으로 인해 많은 계산이 요구되지만, 스케일링 팩터 0.9를 가정할 때 제안된 회로는 실시간으로 full HD 영상을 처리할 수 있다. 따라서 이는 다양한 응용 분야에서 실시간 보행자 검출에 사용할 수 있다.

Histogram of oriented gradient (HOG) 특징은 영상 기반 보행자 인식에서 널리 사용되고 있다. HOG 특징을 이용한 보행자 인식의 인식률을 높이는데 가장 중요한 역할을 하는 것은 보간 기술이다. HOG 특징 연산에 보간 기술을 적용하기 위해서는 각 픽셀의 기울기 방향에 가장 근접한 두 개의 기울기 방향 bin과 가중치를 계산해야 한다. 따라서 본 논문에서는 HOG 특징 연산에 적용하기 위한 효율적인 기울기 방향 bin 및 가중치 연산 회로를 제안한다. 제안하는 회로는 탄젠트 함수와 나눗셈 연산을 피하기 위해 미리 계산된 값을 테이블로 지정하여 사용하였으며, 탄젠트 함수와 가중치 값의 특성을 이용함으로써 회로 내 테이블의 크기를 최소화하였다. 또한 처리 속도 향상을 위해 파이프라인 구조를 적용하였으며, 효율적인 coarse 및 fine 탐색 방법을 적용하여 각 픽셀에 대한 기울기 방향 bin과 가중치를 두 클락 사이클 내에 계산한다. 본 논문에서 제안하는 회로는 1° 단위로 기울기 방향을 계산하여 기울기 방향 bin과 가중치를 모두 결정하기 때문에 HOG 특징을 위한 보간 기술에 적용되어 높은 인식률을 제공하기 위해 사용될 수 있다.

최근 자율주행 기술이 빠르게 발전함에 따라, 영상 처리 과정에서 보행자 및 물체를 탐지하고 추적하기 위한 정확한 움직임 분석의 필요성이 제기되고 있다. 움직임 분석을 위한 여러 방법 중, 의미론적인 해석이 가능한 Optical Flow 추정이 현재 널리 사용되고 있다. 본 논문에서는 HD 이미지를 실시간으로 처리하는 고성능 Optical Flow 추정 회로의 구조를 제안한다. 회로에 구현된 알고리즘은 DIS-FAST Optical Flow 추정 알고리즘이며, 역 탐색을 통해 시간 복잡도를 크게 낮춘 기법이다. 회로 내의 저장 공간을 줄이기 위해 이미지 피라미드에서 특정 스케일의 이미지만 내부 메모리에 저장하고, 그 외 스케일의 이미지 데이터는 필요할 때 계산을 통해 구한다. 이미지 피라미드 데이터를 외부 메모리에 저장하고 필요할 때마다 접근하는 기존 연구들에 비해 외부 메모리에 대한 접근이 최소화되어 처리 속도가 향상된다. 65㎚ 표준 셀 라이브러리를 이용하여 합성한 결과, 게이트 수는 313,408개이고 최대 동작주파수는 333㎒이며 HD 이미지를 33 FPS의 속도로 처리함으로써 실시간 처리에 필요한 성능을 만족한다.

본 논문에서는 UHD 이미지를 실시간으로 처리하는 고성능 방사 왜곡 보정 회로의 구조를 제안한다. 기존 연구에서는 왜곡보정에 필요한 이미지 데이터에 접근할 때, 이미지 전체를 메모리에 저장하고 매 클락마다 메모리에 직접 접근하는 방식을 사용하고 있다. 그러나 이러한 방법은 고해상도 이미지를 처리할 경우 내부 메모리에 이미지 전체를 저장하는 것은 불가능하며, 외부 메모리에 이미지 전체를 저장한다고 하더라도 실제 애플리케이션 상에서 실시간 처리를 위해 매 클락마다 외부 메모리에 접근하는 것은 비현실적이다. 이를 해결하기 위해 본 논문에서 제안하는 회로 구조에서는 캐시 개념을 도입하였다. 접근해야 하는 이미지 픽셀 값을 캐시 메모리에 미리 저장해 둠으로써 외부 메모리 접근 횟수를 크게 감소시켜서 UHD 이미지와 같은 고해상도 이미지를 실시간으로 처리한다. 캐시 메모리는 362K 비트 SRAM으로 구현하였다. 65nm 표준 셀 라이브러리를 사용하여 합성한 결과, 게이트 수는 29,667개이다. 최대 동작주파수는 1,200MHz이고, 4K UHD 이미지를 0.3 GPPS의 속도로 처리함으로써 실시간 처리에 필요한 성능을 만족한다.