인공지능 모델을 이용한 광학 현미경 이미지 개선 방법 및 이를 이용한 입자 정량화 방법
OPTICAL MICROSCOPY IMAGE ENHANCEMENT METHOD USING AI MODEL AND PARTICLE QUANTIFICATION METHOD USING THE SAME
특허 요약
본 발명은 컨볼루션 신경망을 통해 광학 현미경 이미지를 개선하고 이를 이용하여 이미지 내 입자를 정량화하는 방법에 관한 것이다. 본 발명의 일 실시예에 따른 광학 현미경 이미지 개선 방법은, 광학 현미경(optical microscopy; OM) 이미지와 이에 대응하는 주사 전자 현미경(scanning electron microscope; SEM) 이미지를 수집하는 단계, 상기 SEM 이미지로부터 입자를 식별하는 단계, 상기 식별된 입자의 위치에 기초하여 상기 OM 이미지에 대한 GT(Ground Truth) 이미지를 생성하는 단계, 상기 OM 이미지와 상기 GT 이미지를 훈련 데이터셋으로 설정하여 컨볼루션 신경망을 학습시키는 단계 및 상기 컨볼루션 신경망에 타겟 OM 이미지를 입력하여 상기 타겟 OM 이미지를 개선하는 단계를 포함하는 것을 특징으로 한다. 또한, 본 발명의 일 실시예에 따른 입자 정량화 방법은 앞서 개선된 타겟 OM 이미지에 기초하여 상기 타겟 OM 이미지 내 입자를 정량화하는 것을 특징으로 한다.
청구항
번호청구항
1

광학 현미경(optical microscopy; OM) 이미지와 이에 대응하는 주사 전자 현미경(scanning electron microscope; SEM) 이미지를 수집하는 단계;상기 SEM 이미지로부터 원형의 입자를 식별하는 단계;상기 식별된 입자의 중심에서 가장자리로 갈수록 상기 입자의 선명도가 낮아지는 GT(Ground Truth) 이미지를 생성하는 단계;상기 OM 이미지를 입력받아 상기 GT 이미지를 출력하도록 컨볼루션 신경망을 학습시키는 단계; 및상기 컨볼루션 신경망에 타겟 OM 이미지를 입력하여 상기 타겟 OM 이미지를 개선하는 단계를 포함하는광학 현미경 이미지 개선 방법.

2

제1항에 있어서,상기 OM 이미지와 SEM 이미지를 수집하는 단계는상기 입자에 반응한 감지체를 동일한 FoV(Field of View)에서 촬영한 OM 이미지와 SEM 이미지를 수집하는 단계를 포함하는광학 현미경 이미지 개선 방법.

3

제2항에 있어서,상기 감지체는 상기 입자와 접촉하면 화학적 반응을 통해 색상이 변하는광학 현미경 이미지 개선 방법.

4

제2항에 있어서,상기 감지체는 상기 입자와의 항원-항체 반응을 통해 색상이 변하는광학 현미경 이미지 개선 방법.

5

제2항에 있어서,상기 감지체는금속을 포함하는 반사층과,상기 반사층에 형성되는 공진층과,상기 공진층의 상부에 위치하며 항체를 고정시키는 항체고정층과,상기 항체고정층 상에 형성되는 항체층을 포함하는광학 현미경 이미지 개선 방법.

6

제1항에 있어서,상기 입자를 식별하는 단계는상기 SEM 이미지를 사용자 단말로 송신하는 단계와,상기 사용자 단말에서 수신된 명령에 기초하여 상기 입자를 어노테이션(annotation)하는 단계를 포함하는광학 현미경 이미지 개선 방법.

7

제1항에 있어서,상기 입자를 식별하는 단계는상기 SEM 이미지에 원 허프 변환(circle Hough Transform)을 적용하여 상기 입자를 식별하는 단계를 포함하는광학 현미경 이미지 개선 방법.

8

제7항에 있어서,상기 입자를 식별하는 단계는기준 범위의 반지름에 대한 원 허프 변환을 적용하여 상기 입자를 식별하는 단계를 포함하는광학 현미경 이미지 개선 방법.

9

제1항에 있어서,상기 입자를 식별하는 단계는상기 SEM 이미지를 객체 검출(object detection) 신경망에 입력하여 상기 입자를 식별하는 단계를 포함하는광학 현미경 이미지 개선 방법.

10

제9항에 있어서,상기 객체 검출 신경망은 기준 범위의 반지름을 갖는 입자가 촬영된 SEM 이미지를 통해 미리 학습된광학 현미경 이미지 개선 방법.

11

제1항에 있어서,상기 GT 이미지를 생성하는 단계는상기 식별된 입자의 중심 위치에 대응하는 임펄스 신호에 포인트 스프레드 함수(point spread function; PSF)를 적용하여 상기 GT 이미지를 생성하는 단계를 포함하는광학 현미경 이미지 개선 방법.

12

제1항에 있어서,상기 GT 이미지를 생성하는 단계는상기 식별된 입자의 중심 위치에 대응하는 임펄스 신호 가우시안 필터(Gaussian filter)를 적용하여 상기 GT 이미지를 생성하는 단계를 포함하는광학 현미경 이미지 개선 방법.

13

제1항에 있어서,상기 컨볼루션 신경망을 학습시키는 단계는상기 OM 이미지를 상기 컨볼루션 신경망의 입력 데이터로 설정하고, 상기 GT 이미지를 상기 컨볼루션 신경망의 출력 데이터로 설정하여 상기 컨볼루션 신경망을 지도 학습(supervised learning)시키는 단계를 포함하는광학 현미경 이미지 개선 방법.

14

제13항에 있어서,상기 컨볼루션 신경망을 학습시키는 단계는상기 컨볼루션 신경망의 출력 이미지와 상기 GT 이미지의 차이가 최소가 되도록 상기 컨볼루션 신경망을 지도 학습시키는 단계를 포함하는광학 현미경 이미지 개선 방법.

15

제1항에 있어서,상기 타겟 OM 이미지는, 타겟 입자에 반응한 감지체를 촬영한 이미지인광학 현미경 이미지 개선 방법.

16

제1항 내지 제15항 중 어느 한 항의 광학 현미경 이미지 개선 방법에 의해 개선된 타겟 OM 이미지에 기초하여 상기 타겟 OM 이미지 내 입자를 정량화하는 단계를 포함하는입자 정량화 방법.

17

제16항에 있어서,상기 입자를 정량화하는 단계는상기 타겟 OM 이미지의 채도값에 따라 상기 타겟 OM 이미지 내 입자의 배열과 밀도 중 적어도 하나를 결정하는 단계를 포함하는입자 정량화 방법.

18

제16항에 있어서,상기 입자를 정량화하는 단계는상기 타겟 OM 이미지의 RGB 색상값을 채도값으로 변환하는 단계와,상기 채도값에 따라 상기 입자의 배열과 밀도 중 적어도 하나를 결정하는 단계를 포함하는입자 정량화 방법.

19

제16항에 있어서,상기 입자를 정량화하는 단계는상기 타겟 OM 이미지를 구성하는 픽셀 중 색상값 또는 채도값이 기준 범위 이내인 픽셀을 클러스터링(clustering)하는 단계와,상기 클러스터링된 픽셀의 채도값에 따라 상기 입자의 다층 배열 여부와 밀도를 결정하는 단계를 포함하는입자 정량화 방법.

20

제16항에 있어서,상기 입자를 정량화하는 단계는상기 타겟 OM 이미지의 채도값이 서로 중복되지 않는 복수의 기준 범위에 포함되는지에 따라 상기 입자의 다층 배열 여부를 결정하는 단계를 포함하는입자 정량화 방법.

21

제16항에 있어서,상기 입자를 정량화하는 단계는상기 타겟 OM 이미지의 채도값에 대응하는 상기 입자의 밀도를 결정하는 단계를 포함하는입자 정량화 방법.

22

제16항에 있어서,상기 입자를 정량화하는 단계는상기 타겟 OM 이미지를 회귀(regression) 신경망에 입력하고, 상기 회귀 신경망의 출력값을 상기 입자의 개수로 결정하는 단계를 포함하는입자 정량화 방법.

23

제22항에 있어서,상기 회귀 신경망은 상기 타겟 OM 이미지와 상기 타겟 OM 이미지에 포함된 입자의 수로 이루어진 훈련 데이터셋에 의해 미리 학습된입자 정량화 방법.