주식회사 무신사
상품 이미지 촬영 및 후처리를 자동화하는 방법 및 시스템
METHOD AND SYSTEM FOR AUTOMATING PRODUCT IMAGE CAPTURE AND POST-PROCESSING
특허 요약
일 실시예에 따른 전자 장치에 의해 수행되는 인공지능 학습 방법은 상품 이미지를 입력 데이터로 포함하고, 상기 상품 이미지에 대응하는 배경제거 이미지를 정답 데이터로 포함하는 학습 데이터를 준비하는 단계; 상기 상품 이미지를 인공신경망 모듈에 입력하여 출력 이미지를 획득하는 단계; 상기 출력 이미지 및 상기 배경제거 이미지에 기초하여 손실 값을 결정하는 단계; 상기 손실 값에 가중치를 적용하여 최종 손실을 계산하는 단계; 및 상기 최종 손실을 사용하여 상기 인공신경망 모듈을 학습시키는 단계를 포함한다.
청구항
번호청구항
1

프로세서와, 상기 프로세서에 연결된 메모리를 포함하고,상기 메모리는 프로그램을 저장하도록 구성되며,상기 프로세서는 상기 프로그램을 실행하도록 구성되고,상기 프로그램이 실행되면, 제1항 내지 제6항 및 제8항 내지 제12항 중 어느 한 항의 방법의 단계들이 구현되는,전자 장치.

1

제11항에 있어서,상기 인공신경망 모듈이 출력하는 상기 출력 이미지의 경계 정확도 점수, 일관성 점수, 및 형태 보존 점수 중 적어도 하나를 계산하는 단계; 및상기 적어도 하나에 기초하여 상기 제1 가중치, 상기 제2 가중치, 및 상기 제3 가중치 중 적어도 둘을 조정하는 단계를 더 포함하는 인공지능 학습 방법.

1

전자 장치에 의해 수행되는 인공지능 학습 방법으로서,상품 이미지를 입력 데이터로 포함하고, 상기 상품 이미지에 대응하는 배경제거 이미지를 정답 데이터로 포함하는 학습 데이터를 준비하는 단계;상기 상품 이미지를 인공신경망 모듈에 입력하여 출력 이미지를 획득하는 단계;상기 출력 이미지 및 상기 배경제거 이미지에 기초하여 손실 값을 결정하는 단계;상기 손실 값에 가중치를 적용하여 최종 손실을 계산하는 단계; 및상기 최종 손실을 사용하여 상기 인공신경망 모듈을 학습시키는 단계를 포함하고,상기 인공지능 학습 방법은,환경(environment) 및 보상(reward)을 사용하여 상기 인공신경망 모듈에 강화학습을 수행함으로써 파인튜닝하는 단계를 더 포함하고, 상기 환경은,상태(state)로서 상기 상품 이미지와, 상기 배경제거 이미지로부터 생성된 정답 마스크를 포함하고,행동(action)으로서 상기 상태에 기초하여 상기 인공신경망 모듈이 상기 출력 이미지를 생성하도록 하는 것이고,상기 보상은,경계 정확도 점수, 일관성 점수, 및 형태 보존 점수에 기초하여 계산되고,상기 인공신경망 모듈은 상기 보상을 최대화하도록 파라미터가 업데이트되는,인공지능 학습 방법.

1

제1항에 있어서,상기 출력 이미지 및 상기 배경제거 이미지에 기초하여 손실 값을 결정하는 단계는,상기 출력 이미지 및 상기 배경제거 이미지 간 픽셀 정확도에 대한 제1 손실 값을 계산하는 단계;상기 출력 이미지 및 상기 배경제거 이미지 간 경계 일치도에 대한 제2 손실 값을 계산하는 단계; 및상기 출력 이미지 및 상기 배경제거 이미지 간 품질 유지도에 대한 제3 손실 값을 계산하는 단계를 포함하는, 인공지능 학습 방법.

1

제2항에 있어서,상기 출력 이미지 및 상기 배경제거 이미지 간 픽셀 정확도에 대한 제1 손실 값을 계산하는 단계는, 상기 출력 이미지의 각 픽셀의 전경 확률 값을 포함하는 확률 맵을 결정하는 단계;상기 배경제거 이미지를 이진 정답 마스크로 변환하는 단계; 및상기 확률 맵과 상기 정답 마스크 사이의 픽셀 단위 오차에 기초하여 상기 제1 손실 값을 결정하는 단계를 포함하는, 인공지능 학습 방법.

1

제2항에 있어서,상기 출력 이미지 및 상기 배경제거 이미지 간 경계 일치도에 대한 제2 손실 값을 계산하는 단계는, 상기 출력 이미지의 각 픽셀의 전경 확률 값을 포함하는 확률 맵을 결정하는 단계;상기 배경제거 이미지를 이진 정답 마스크로 변환하는 단계; 상기 정답 마스크 및 상기 확률 맵으로부터 경계 후보를 추출하여 경계 맵을 생성하는 단계;상기 정답 마스크의 경계로부터의 거리를 나타내는 거리 변환 맵을 산출하는 단계;상기 거리 변환 맵에 기초하여 미리 정한 폭의 경계 대역을 설정하는 단계;상기 경계 대역에서 상기 전경 확률 값과 상기 정답 마스크 값의 차이에 거리 가중을 적용하여 경계 손실을 산출하는 단계;상기 확률 맵과 상기 정답 마스크 사이의 유사도에 기초한 유사도 손실을 산출하는 단계; 및상기 경계 손실과 상기 유사도 손실을 가중 합산하여 상기 제2 손실 값을 결정하는 단계를 포함하고,상기 경계 손실에 적용되는 가중치가 상기 유사도 손실에 적용되는 가중치보다 큰, 인공지능 학습 방법.

1

제2항에 있어서,상기 출력 이미지 및 상기 배경제거 이미지 간 품질 유지도에 대한 제3 손실 값을 계산하는 단계는,상기 출력 이미지의 각 픽셀의 전경 확률 값을 포함하는 확률 맵을 결정하는 단계;상기 배경제거 이미지를 이진 정답 마스크로 변환하는 단계; 상기 확률 맵을 이용하여 상기 상품 이미지를 미리 정한 배경과 합성한 예측 합성 이미지를 생성하는 단계;상기 확률 맵을 이용하여 상기 정답 마스크를 상기 미리 정한 배경과 합성한 기준 합성 이미지를 생성하는 단계;상기 예측 합성 이미지와 상기 기준 합성 이미지 각각으로부터 특징 맵들을 추출하는 단계;상기 특징 맵들 간의 차이에 기반하여 특징 손실을 산출하는 단계;상기 예측 합성 이미지와 상기 기준 합성 이미지를 색공간으로 변환하여 색상 및 명도 성분의 차이에 기반한 색상 손실을 산출하는 단계; 및상기 특징 손실과 상기 색상 손실을 가중 합산하여 상기 제3 손실 값을 결정하는 단계를 포함하고,상기 특징 손실에 적용되는 가중치는 상기 색상 손실에 적용되는 가중치보다 작은, 인공지능 학습 방법.

1

제2항에 있어서,상기 손실 값에 가중치를 적용하여 최종 손실을 계산하는 단계는,상기 제1 손실 값에 제1 가중치를 적용하고, 상기 제2 손실 값에 제2 가중치를 적용하고, 상기 제3 손실 값에 제3 가중치를 적용함으로써 상기 최종 손실을 계산하는 단계를 포함하고,상기 제1 가중치는 상기 제2 가중치보다 크고,상기 제2 가중치는 상기 제3 가중치보다 큰, 인공지능 학습 방법.

1

삭제

1

제1항에 있어서,상기 경계 정확도 점수는,상기 출력 이미지의 제1 경계 픽셀 집합과, 상기 정답 마스크의 제2 경계 픽셀 집합 간의 교차합집합비에 기초하여 결정되는, 인공지능 학습 방법.

1

제1항에 있어서,상기 일관성 점수는,상기 출력 이미지와 상기 상품 이미지 간의 명도 차이 및 색상 차이에 기초하여 결정되는, 인공지능 학습 방법.

1

제1항에 있어서,상기 형태 보존 점수는,상기 정답 마스크에서 검출되는 소형 객체와, 상기 출력 이미지에서 검출되는, 상기 소형 객체에 대응하는 매칭 객체 간의 교차합집합비에 기초하여 결정되는,인공지능 학습 방법.

1

제1항에 있어서,상기 보상은,상기 경계 정확도 점수에 제1 가중치를 적용하고, 상기 일관성 점수에 제2 가중치를 적용하고, 상기 형태 보존 점수에 제3 가중치를 적용하여 계산되고,상기 제2 가중치는 상기 제1 가중치 및 상기 제3 가중치보다 크고,상기 제1 가중치, 상기 제2 가중치, 및 상기 제3 가중치의 합은 1인, 인공지능 학습 방법.