딥러닝을 이용한 보색 바코드 기반 광카메라 통신 방법 및 시스템
Deep Learning Driven Complementary Color Barcode based Optical Camera Communication Method and System
특허 요약
딥러닝을 이용한 보색 바코드 기반 광카메라 통신 방법 및 시스템이 제시된다. 본 발명에서 제안하는 딥러닝을 이용한 보색 바코드 기반 광카메라 통신 방법은 광카메라 통신을 위한 송신부의 인코딩부를 통해 입력 비트 스트림의 이진 데이터를 컬러 바코드로 인코딩하여 지정된 색상 값에 매핑하고 데이터 패킷으로 구성하는 단계, 상기 인코딩된 컬러 바코드에 대하여 데이터 패킷 생성부를 통해 모든 심볼이 보색 쌍으로 구성되는 연속적인 데이터 패킷을 생성하고, 디스플레이 버퍼를 통해 송신하는 단계, 광카메라 통신을 위한 수신부를 통해 상기 송신되는 데이터 패킷에 대하여 셔터 카메라를 이용하여 표시 영역을 캡처하고, 캡처된 이미지는 카메라 프레임 버퍼에 저장하는 단계, 상기 저장된 이미지에 대해 컬러 바코드 감지부를 통해 딥 러닝 모델을 사용하여 컬러 바코드 영역이 감지되면 컬러 바코드 이미지를 이미지 목록에 저장하는 단계, 패킷 동기화부를 통해 지속적인 패킷 동기화를 위한 딥 러닝 기반 파일럿 심볼 검출 프로세스를 수행하여 각 패킷의 시작점을 식별하고 동기화하는 단계 및 상기 동기화가 완료되면, 각 패킷 내의 데이터에 대해 딥 러닝을 사용하여 데이터 심볼 검출부를 통해 연속적으로 디코딩하는 단계를 포함한다.
청구항
번호청구항
10

제9항에 있어서,상기 컬러 바코드 감지부는, 상기 YOLO 모델의 넥(neck) 구조는 공간 피라미드 풀링(SPP)과 경로 집합 네트워크(PAN)를 사용하고, 훈련 비용을 증가시켜 학습 정확도를 향상시키고, 예측 정확도를 높이기 위해 BoF(Bag of Freebies) 및 BoS(Bag of Specials) 기법을 사용하며, 이미지의 일부 영역에 노이즈를 추가하고, 컷 아웃(CutOut)을 통해 일부 영역을 제거하며, 믹스 업(MixUp)을 통해 레이블이 다른 두 이미지를 혼합하고, 컷 믹스(CutMix)를 통해 레이블이 있는 두 이미지를 잘라내어 붙여 넣는 광카메라 통신 시스템.

11

제9항에 있어서,상기 컬러 바코드 감지부는, 컬러 바코드 영역에서 추출된 좌표를 이미지 목록에 저장하고, 저장된 좌표에서 x축 및 y축 좌표의 최소값과 높이 및 너비의 최대값을 찾는 과정을 통해 컬러 바코드 정보의 손실 없이 가능한 가장 작은 크기의 영역을 획득하는광카메라 통신 시스템.

12

제8항에 있어서,상기 패킷 동기화부는, 3개의 파일럿 심볼(R, G, B) 및 8개의 데이터 심볼(0-7)을 갖는 총 11개의 컬러 바코드의 클래스는 디스플레이 버퍼와 셔터 카메라 사이의 비동기를 감소시키기 위해 각 클래스에 대하여 상기 감지된 컬러 바코드의 패턴에 대한 추가 레이블링을 수행하는 광카메라 통신 시스템.

1

광카메라 통신을 위한 송신부의 인코딩부를 통해 입력 비트 스트림의 이진 데이터를 컬러 바코드로 인코딩하여 지정된 색상 값에 매핑하고 데이터 패킷으로 구성하는 단계; 상기 인코딩된 컬러 바코드에 대하여 데이터 패킷 생성부를 통해 모든 심볼이 보색 쌍으로 구성되는 연속적인 데이터 패킷을 생성하고, 디스플레이 버퍼를 통해 송신하는 단계; 광카메라 통신을 위한 수신부를 통해 상기 송신되는 데이터 패킷에 대하여 셔터 카메라를 이용하여 표시 영역을 캡처하고, 캡처된 이미지는 카메라 프레임 버퍼에 저장하는 단계; 상기 저장된 이미지에 대해 컬러 바코드 감지부를 통해 딥 러닝 모델을 사용하여 컬러 바코드 영역이 감지되면 컬러 바코드 이미지를 이미지 목록에 저장하는 단계; 패킷 동기화부를 통해 지속적인 패킷 동기화를 위한 딥 러닝 기반 파일럿 심볼 검출 프로세스를 수행하여 각 패킷의 시작점을 식별하고 동기화하는 단계; 및 상기 동기화가 완료되면, 각 패킷 내의 데이터에 대해 딥 러닝을 사용하여 데이터 심볼 검출부를 통해 연속적으로 디코딩하는 단계를 포함하는 광카메라 통신 방법.

2

제1항에 있어서,상기 저장된 이미지에 대해 컬러 바코드 감지부를 통해 딥 러닝 모델을 사용하여 컬러 바코드 영역이 감지되면 컬러 바코드 이미지를 이미지 목록에 저장하는 단계는, 상기 각 패킷 내의 데이터에 대한 디코딩을 수행하기 위해 상기 저장된 이미지 내에서 컬러 바코드 영역만을 감지하고, 디스플레이 버퍼와 셔터 카메라 사이의 비동기를 감소시키기 위해 컬러 바코드 영역의 주석을 포함하는 데이터를 이용하여 YOLO 모델을 통해 컬러 바코드 영역을 감지하는 광카메라 통신 방법.

3

제2항에 있어서,상기 저장된 이미지에 대해 컬러 바코드 감지부를 통해 딥 러닝 모델을 사용하여 컬러 바코드 영역이 감지되면 컬러 바코드 이미지를 이미지 목록에 저장하는 단계는, 상기 YOLO 모델의 넥(neck) 구조는 공간 피라미드 풀링(SPP)과 경로 집합 네트워크(PAN)를 사용하고, 훈련 비용을 증가시켜 학습 정확도를 향상시키고, 예측 정확도를 높이기 위해 BoF(Bag of Freebies) 및 BoS(Bag of Specials) 기법을 사용하며, 이미지의 일부 영역에 노이즈를 추가하고, 컷 아웃(CutOut)을 통해 일부 영역을 제거하며, 믹스 업(MixUp)을 통해 레이블이 다른 두 이미지를 혼합하고, 컷 믹스(CutMix)를 통해 레이블이 있는 두 이미지를 잘라내어 붙여 넣는 광카메라 통신 방법.

4

제2항에 있어서,상기 저장된 이미지에 대해 컬러 바코드 감지부를 통해 딥 러닝 모델을 사용하여 컬러 바코드 영역이 감지되면 컬러 바코드 이미지를 이미지 목록에 저장하는 단계는, 컬러 바코드 영역에서 추출된 좌표를 이미지 목록에 저장하고, 저장된 좌표에서 x축 및 y축 좌표의 최소값과 높이 및 너비의 최대값을 찾는 과정을 통해 컬러 바코드 정보의 손실 없이 가능한 가장 작은 크기의 영역을 획득하는광카메라 통신 방법.

5

제1항에 있어서,상기 패킷 동기화부를 통해 지속적인 패킷 동기화를 위한 딥 러닝 기반 파일럿 심볼 검출 프로세스를 수행하여 각 패킷의 시작점을 식별하고 동기화하는 단계는, 3개의 파일럿 심볼(R, G, B) 및 8개의 데이터 심볼(0-7)을 갖는 총 11개의 컬러 바코드의 클래스는 디스플레이 버퍼와 셔터 카메라 사이의 비동기를 감소시키기 위해 각 클래스에 대하여 상기 감지된 컬러 바코드의 패턴에 대한 추가 레이블링을 수행하는 광카메라 통신 방법.

6

제5항에 있어서,상기 패킷 동기화부를 통해 지속적인 패킷 동기화를 위한 딥 러닝 기반 파일럿 심볼 검출 프로세스를 수행하여 각 패킷의 시작점을 식별하고 동기화하는 단계는, 패킷 동기화를 위해 상기 감지된 컬러 바코드의 패턴의 입력으로부터 파일럿 심볼(R, G, B)의 패턴을 개별 클래스로 지정하고 데이터 심볼에 나타나는 패턴을 하나의 클래스로 묶어 총 4개의 동기화 클래스를 분류하도록 훈련함으로써 파일럿 심볼과 데이터 심볼을 식별하고, 파일럿 심볼의 종류를 인식하는 광카메라 통신 방법.

7

제6항에 있어서,상기 동기화가 완료되면, 각 패킷 내의 데이터에 대해 딥 러닝을 사용하여 데이터 심볼 검출부를 통해 연속적으로 디코딩하는 단계는, 총 11개의 컬러 바코드의 클래스, 총 4개의 동기화 클래스 및 복수의 이미지 캡처 각수에 따라 데이터 심볼 검출을 위한 딥 러닝 훈련 데이터 셋을 구축하고, 확대, 축소, 회전, 위치 변환, 수직 반전을 포함하는 데이터 증강 기법을 이용하여 합성 데이터를 생성하여 심볼 검출을 위한 딥 러닝 수행하는 광카메라 통신 방법.

8

광카메라 통신시스템에 있어서,송신부 및 수신부를 포함하고, 상기 송신부는, 입력 비트 스트림의 이진 데이터를 컬러 바코드로 인코딩하여 지정된 색상 값에 매핑하고 데이터 패킷으로 구성하는 인코딩부; 상기 인코딩된 컬러 바코드에 대하여 모든 심볼이 보색 쌍으로 구성되는 연속적인 데이터 패킷을 생성하는 데이터 패킷 생성부; 및 상기 생성된 연속적인 데이터 패킷을 송신하는 디스플레이 버퍼를 포함하고, 상기 수신부는, 상기 송신되는 데이터 패킷에 대하여 셔터 카메라를 이용하여 표시 영역을 캡처하고, 캡처된 이미지를 저장하는 카메라 프레임 버퍼; 상기 저장된 이미지에 대해 딥 러닝 모델을 사용하여 컬러 바코드 영역이 감지하고, 감지된 컬러 바코드의 이미지를 이미지 목록에 저장하는 컬러 바코드 감지부; 지속적인 패킷 동기화를 위한 딥 러닝 기반 파일럿 심볼 검출 프로세스를 수행하여 각 패킷의 시작점을 식별하고 동기화하는 패킷 동기화부; 및 상기 동기화가 완료되면, 각 패킷 내의 데이터에 대해 딥 러닝을 사용하여 연속적으로 디코딩을 수행하는 데이터 심볼 검출부를 포함하는 광카메라 통신 시스템.

9

제8항에 있어서,상기 컬러 바코드 감지부는, 상기 각 패킷 내의 데이터에 대한 디코딩을 수행하기 위해 상기 저장된 이미지 내에서 컬러 바코드 영역만을 감지하고, 디스플레이 버퍼와 셔터 카메라 사이의 비동기를 감소시키기 위해 컬러 바코드 영역의 주석을 포함하는 데이터를 이용하여 YOLO 모델을 통해 컬러 바코드 영역을 감지하는 광카메라 통신 시스템.

13

제12항에 있어서,상기 패킷 동기화부는, 패킷 동기화를 위해 상기 감지된 컬러 바코드의 패턴의 입력으로부터 파일럿 심볼(R, G, B)의 패턴을 개별 클래스로 지정하고 데이터 심볼에 나타나는 패턴을 하나의 클래스로 묶어 총 4개의 동기화 클래스를 분류하도록 훈련함으로써 파일럿 심볼과 데이터 심볼을 식별하고, 파일럿 심볼의 종류를 인식하는 광카메라 통신 시스템.

14

제13항에 있어서,상기 데이터 심볼 검출부는, 총 11개의 컬러 바코드의 클래스, 총 4개의 동기화 클래스 및 복수의 이미지 캡처 각수에 따라 데이터 심볼 검출을 위한 딥 러닝 훈련 데이터 셋을 구축하고, 확대, 축소, 회전, 위치 변환, 수직 반전을 포함하는 데이터 증강 기법을 이용하여 합성 데이터를 생성하여 심볼 검출을 위한 딥 러닝 수행하는 광카메라 통신 시스템.