본 연구는 크게 세 단계로 나누어 진행할 예정이다. 첫번째 단계에서는 자동 검수 과정에서 정상과 이상 제품 분류를 위한 딥러닝 모델의 강건성을 높이기 위한 테스트 데이터 증폭 방법에 대해 연구할 것이다. 해당 연구가 완료된 이후에는 물체 검출기(Object Detection) 딥러닝 모델을 학습시켜 이상이 발견되었을 때 정확한 위치와 원인을 찾을 수 있는 방법을 연구한다. 그리고 최종적으로는 기존 모델 학습 단계에서의 데이터 증폭과 테스트 데이터 증폭 간의 관계를 규명하고, 두 방법의 균형 조합을 찾아 최적의 성능을 낼 수 있는 방법에 대한 연구를 진행할 것이다. 테스트 데이터 증폭과 관련한 기존 연구에서는 단순한 이미지 Cropping이나 이미지 Mixup과 같은 증폭 기법들을 적용한 후 결과를 Ensemble하는 기법들이 활용되었다. 이러한 방법들의 경우 여러 장의 이미지를 불필요하게 생성하고 용량이 큰 딥러닝 모델에 해당 이미지들을 입력해야 하기 때문에 계산적인 비효율성이 생긴다. 더불어 테스트 단계에서 불필요한 변환이 적용된 이미지 분류 결과도 동등하게 활용되기 때문에 자동 검수 모델의 성능을 높이는 데 한계가 있다. 이러한 한계점을 극복하기 위해 본 연구에서는 최종적으로 자동 검수하는 딥러닝 모델이 가장 잘 작동할 수 있도록 입력 이미지 변환을 추천해주거나, 입력 이미지를 직접 변환시켜줄 수 있는 추가적인 딥러닝 모델을 구축하고 학습시킬 예정이다. 즉 입력되는 이미지에 대해서 최종적으로 정상, 불량을 판정하는 자동 검수 네트워크와 최적의 이미지 변환을 해주는 Auxiliary 네트워크를 동시에 학습하는 것이다. 그리고 Auxiliary 네트워크 결과에 의한 이미지 변환이 정확하다면 자동 검수 네트워크의 큰 성능 향상을 기대해볼 수 있다. 테스트 데이터 증폭을 이용해 정상과 이상 제품 분류를 강건하게 만든 이후에는 해당 방법론을 물체 검출 기법에 응용한다. 물체 검출 기법에서는 먼저 바운딩 박스를 이용해서 찾고자 하는 대상의 위치를 추출한다. 그 다음 해당 바운딩 박스 안에 있는 물체를 분류하게 되는데 앞선 분류 성능 향상 연구에서 제안한 Auxiliary 네트워크를 검출된 물체를 분류하는 과정에 적용할 예정이다. 이를 통해 이상을 일으킨 원인을 검출하는 성능을 향상시킬 수 있다. 최근 Transformer를 응용한 물체 검출 기법이 제안되었는데 해당 모형을 이용할 경우 모델 학습의 복잡도를 낮출 수 있고 Auxiliary 네트워크의 효과성을 극대화하는 데 적절할 것으로 판단한다. 테스트 데이터 증폭에 대한 연구를 완료한 이후에는 학습 데이터 증폭과의 관계를 규명하고 기존 학습 데이터 증폭과의 조합을 통해서 최적으로 성능을 향상시킬 수 있는 방법을 연구할 계획이다. 학습 데이터 증폭과의 관계를 규명한다는 것은 학습 데이터의 증폭 과정에서 적용된 이미지 변형 방법의 조합과 테스트 데이터 증폭에서 활용된 이미지 변형 방법의 조합이 어떻게 최종 자동 검수 결과에 영향을 주는지를 연구하는 것이다. 예를 들어 특정 이미지 변환은 자동 검수 네트워크 학습 과정에 포함되었을 때 좋은 성능을 보이고, 그 외의 다른 이미지 변환은 테스트 단계에서 고려되었을 때 더 좋은 성능을 보이는 내용들을 규명하는 것이다. 이 과정에서 우리는 최적의 학습, 테스트 데이터 증폭 조합을 찾아내서 궁극적으로는 자동 검수 모델의 성능을 극대화할 수 있다.