생성적 대립 신경망(GAN, Generative Adversarial Network)을 활용한 주사투과전자현미경 영상에서의 노이즈 제거 방법
Method for Removing Noise in scanning transmission electron microscopy images using GAN
특허 요약
생성적 대립 신경망(GAN, Generative Adversarial Network)을 활용한 주사투과전자현미경 영상에서의 노이즈 제거 방법은 주사투과전자현미경에서 촬영된 주사투과전자현미경 영상을 수신하는 단계, 생성적 대립 신경망을 이용하여 수신된 촬영된 주사투과전자현미경 영상에서 노이즈를 제거하여 생성된 노이즈 제거 영상을 생성하는 단계, 노이즈가 제거된 시뮬레이션으로 구현한 노이즈가 없는 주사투과전자현미경 영상에 대한 정상 노이즈 범위의 영상인지 여부를 판단하는 단계 및 노이즈가 제거된 시뮬레이션으로 구현한 노이즈가 없는 주사투과전자현미경 영상에 대한 정상 노이즈 범위인 경우 제1스템영상으로 출력하는 단계를 포함한다.
청구항
번호청구항
1

생성적 대립 신경망(GAN, Generative Adversarial Network)을 활용한 주사투과전자현미경 영상에서의 노이즈 제거 방법에 있어서,주사투과전자현미경에서 촬영된 주사투과전자현미경 영상을 수신하는 단계;상기 생성적 대립 신경망을 이용하여 수신된 상기 촬영된 주사투과전자현미경 영상에서 노이즈를 제거하여 생성된 노이즈 제거 영상을 생성하는 단계;상기 노이즈가 제거된 영상에 대한 정상 노이즈 범위의 영상인지 여부를 판단하는 단계; 및상기 노이즈가 제거된 시뮬레이션으로 구현한 노이즈가 없는 주사투과전자현미경 영상에 대한 제1스템영상으로 출력하는 단계를 포함하는, GAN을 활용한 주사투과전자현미경 영상에서의 노이즈 제거 방법에 있어서,상기 생성적 대립 신경망은, 딥러닝 모델을 구성하는 과정에서 생성자(Generator)와 판별자(Discriminator)라는 모델의 서로 적대적인 피드백을 통해 학습을 진행하는 방법인 것을 특징으로 하며,상기 딥러닝 모델을 구성하는 과정은, 상기 노이즈가 제거된 영상이 상기 정상 노이즈 범위의 영상이 아닌 경우 손실함수를 산출하는 과정을 추가적으로 포함하는 것을 특징으로 하는, GAN을 활용한 주사투과전자현미경 영상에서의 노이즈 제거 방법.

2

제1 항에 있어서,상기 노이즈 제거 영상을 생성하는 단계는,잔차 신경망(Residual neural network) 기반 블록을 활용하여 입력 영상의 특징을 추출하여 노이즈를 제거하는 것을 특징으로 하는, GAN을 활용한 주사투과전자현미경 영상에서의 노이즈 제거 방법.

3

제 1항에 있어서,상기 노이즈가 제거된 영상에 대한 정상 노이즈 범위의 영상인지 여부를 판단하는 단계는, 상기 노이즈가 제거된 시뮬레이션으로 구현한 노이즈가 없는 주사투과전자현미경 영상에 대한 정상 노이즈 범위의 영상인지 여부를 판단하는 것을 특징으로 하는, GAN을 활용한 주사투과전자현미경 영상에서의 노이즈 제거 방법.

4

제 1 항에 있어서,상기 노이즈가 제거된 시뮬레이션으로 구현한 노이즈가 없는 주사투과전자현미경 영상에 대한 제1스템영상으로 출력하는 단계는, 상기 노이즈가 제거된 시뮬레이션으로 구현한 노이즈가 없는 주사투과전자현미경 영상에 대한 정상 노이즈 범위인 경우에 제1스템영상으로 출력하는 것을 특징으로 하는, GAN을 활용한 주사투과전자현미경 영상에서의 노이즈 제거 방법.

5

삭제

6

제 1 항에 있어서,상기 딥러닝 모델을 구성하는 과정은,상기 생성자가 노이즈가 없는 주사투과전자현미경 영상에 제1노이즈를 추가하여 제1노이즈영상을 생성하는 단계;상기 제1노이즈영상에서 상기 제1노이즈를 제거하는 단계;상기 제1노이즈가 제거된 영상에서 노이즈 수치가 소정치 이하인 정상 노이즈 범위인지 여부를 판단하는 단계; 및상기 제1노이즈가 제거된 영상이 상기 정상 노이즈 범위의 영상인 경우 제1스템영상으로 출력하는 단계를 포함하는, GAN을 활용한 주사투과전자현미경 영상에서의 노이즈 제거 방법.

7

삭제

8

제 6 항에 있어서,상기 딥러닝 모델을 구성하는 과정은, 상기 제1노이즈가 제거된 영상이 상기 정상 노이즈 범위의 영상이 아닌 경우 손실함수를 산출하여, 상기 제1노이즈가 제거된 영상에서 상기 제1노이즈를 제거하는 단계 및 상기 정상 노이즈 범위인지 여부를 판단하는 단계를 반복하도록 하는 것을 추가적으로 포함하는 것을 특징으로 하는, GAN을 활용한 주사투과전자현미경 영상에서의 노이즈 제거 방법.

9

제 1 항 또는 제 8항에 있어서,상기 손실함수를 산출하는 것은, 공간적 특성과 주파수 특성을 모두 학습할 수 있도록, 평균 제곱 오차(mse, mean squared error)와 구조적 유사도 지수 측정(SSIM, structural similarity index measure) 및 푸리에 변환(fourier transform)을 활용하는 것을 특징으로 하는, GAN을 활용한 주사투과전자현미경 영상에서의 노이즈 제거 방법.

10

제 1 항 또는 제 8항에 있어서,상기 손실함수를 산출하는 것은, 하기의 수식 1에 의하여 수행되는 것을 특징으로 하는, GAN을 활용한 주사투과전자현미경 영상에서의 노이즈 제거 방법:[수식 1]상기 수식 1에서, Ltotal은 최종 손실함수를 의미한다.

11

제 1 항 또는 제 8항에 있어서,상기 손실함수를 산출하는 것은, 하기의 수식 2를 포함하여 산출하는 것을 특징으로 하는, GAN을 활용한 주사투과전자현미경 영상에서의 노이즈 제거 방법:[수식 2]상기 수식 2에서, y는 정답 영상(노이즈가 없는 영상)을 의미하고, t는 생성자가 만들어낸 영상을 의미한다.

12

제 1 항 또는 제 8항에 있어서,상기 손실함수를 산출하는 것은, 하기의 수식 3 및 수식 4를 포함하여 산출하는 것을 특징으로 하는, GAN을 활용한 주사투과전자현미경 영상에서의 노이즈 제거 방법:[수식 3][수식 4]상기 수식 3 및 4에서, y는 정답 영상(노이즈가 없는 영상)을 의미하고, t는 생성자가 만들어낸 영상을 의미하며, fft2는 2D fast fourier transform을 의미한다.

도면대표도면