라이언로켓
복수의 이미지에서 대표 이미지를 결정하여 인공신경망을 학습시키는 방법 및 이를 수행하는 전자 장치
METHOD FOR TRAINING ARTIFICIAL NEURAL NETWORK BY DETERMINING REPRESENTATIVE IMAGE AMONG PLURALITY OF IMAGES AND ELECTRONIC DEVICE PERFORMING THE SAME
특허 요약
일 실시예에 따른 인공신경망 학습 방법은 복수의 이미지를 획득하는 단계; 상기 복수의 이미지의 객체 벡터들을 결정하는 단계; 군집화 알고리즘을 사용하여 상기 복수의 이미지를, 제1 객체 벡터와 관련된 제1 이미지들 및 제2 객체 벡터와 관련된 제2 이미지들로 군집화하는 단계; 얼굴 점수, 표정 점수, 의상 점수, 및 헤어 점수를 결정하는 점수 알고리즘을 사용하여 상기 제1 이미지들에서 제1 객체의 제1 점수들을 결정하는 단계; 상기 점수 알고리즘을 사용하여 상기 제2 이미지들에서 제2 객체의 제2 점수들을 결정하는 단계; 상기 제1 점수들에 기초하여 상기 제1 이미지들의 제1 대표 이미지를 결정하는 단계; 상기 제2 점수들에 기초하여 상기 제2 이미지들의 제2 대표 이미지를 결정하는 단계; 및 상기 제1 및 제2 대표 이미지들을 사용하여 인공신경망을 학습시키는 단계를 포함한다.
청구항
번호청구항
1

제6항에 있어서,상기 제3 이미지들 각각에서 상기 제1 객체와 상기 제2 객체의 상호 관계에 기초하여 관계 매트릭스를 생성하는 단계는,상기 제1 객체와 상기 제2 객체의 시선 교차 스코어, 동시 등장 빈도 기반 스코어, 감정 상태 일치도 스코어, 및 스토리 우호/적대 라벨에 기초하여 상기 관계 매트릭스를 생성하는 단계를 포함하는, 인공신경망 학습 방법.

1

전자 장치에 의해 수행되는 인공신경망 학습 방법으로서, 복수의 이미지를 획득하는 단계;상기 복수의 이미지의 객체 벡터들을 결정하는 단계;군집화 알고리즘을 사용하여 상기 복수의 이미지를, 제1 객체 벡터와 관련된 제1 이미지들 및 제2 객체 벡터와 관련된 제2 이미지들로 군집화하는 단계;얼굴 점수, 표정 점수, 의상 점수, 및 헤어 점수를 결정하는 점수 알고리즘을 사용하여 상기 제1 이미지들에서 제1 객체의 제1 점수들을 결정하는 단계;상기 점수 알고리즘을 사용하여 상기 제2 이미지들에서 제2 객체의 제2 점수들을 결정하는 단계;상기 제1 점수들에 기초하여 상기 제1 이미지들의 제1 대표 이미지를 결정하는 단계;상기 제2 점수들에 기초하여 상기 제2 이미지들의 제2 대표 이미지를 결정하는 단계;상기 복수의 이미지 중에서, 상기 제1 객체와 상기 제2 객체를 동시에 포함하는 제3 이미지들을 획득하는 단계;상기 제3 이미지들에서 상기 제1 객체와 상기 제2 객체의 관계 중요도를 결정하는 단계;상기 점수 알고리즘을 사용하여 상기 제3 이미지들에서 상기 제1 객체의 제3 점수들 및 상기 제2 객체의 제4 점수들을 결정하는 단계;상기 관계 중요도, 상기 제3 점수들, 및 상기 제4 점수들에 기초하여 제3 대표 이미지를 결정하는 단계; 및상기 제1 내지 제3 대표 이미지들을 사용하여 인공신경망을 학습시키는 단계를 포함하는 인공신경망 학습 방법.

1

제1항에 있어서,상기 복수의 이미지의 객체 벡터들을 결정하는 단계는,상기 복수의 이미지 중 하나의 이미지에서 객체가 존재하는 위치를 결정하는 단계;상기 객체의 활성도가 높은 영역에는 제1 가중치를, 배경 영역에는 제2 가중치를 부여하는 가중치 맵을 생성하는 단계; 및상기 가중치 맵을 상기 하나의 이미지의 특징 맵과 원소별 곱하여 배경 정보를 약화시키고 객체 영역을 강조함으로써, 객체 중심의 객체 벡터를 생성하는 단계를 포함하고,상기 제1 가중치는 상기 제2 가중치보다 높은, 인공신경망 학습 방법.

1

제1항에 있어서,상기 얼굴 점수는 객체의 얼굴의 가림 여부, 해상도, 각도, 및 조도 중 적어도 하나에 기초하여 결정되고, 상기 표정 점수는 각도, 표정 인식, 및 눈 상태 중 적어도 하나에 기초하여 결정되고, 상기 의상 점수는 객체의 자세 및 조명 중 적어도 하나에 기초하여 결정되고, 상기 헤어 점수는 장신구에 의한 가림 여부 및 헤어스타일에 기초하여 결정되고, 상기 점수 알고리즘은 상기 얼굴 점수, 상기 표정 점수, 상기 의상 점수, 및 상기 헤어 점수를 소정의 범위로 표준화하는,인공신경망 학습 방법.

1

제1항에 있어서,상기 얼굴 점수, 표정 점수, 의상 점수, 및 헤어 점수를 결정하는 점수 알고리즘을 사용하여 상기 제1 이미지들에서 제1 객체의 제1 점수들을 결정하는 단계는,상기 제1 이미지들 각각에서, 상기 제1 객체의 얼굴 점수, 표정 점수, 의상 점수, 및 헤어 점수에 제1 내지 제4 가중치를 적용하여 상기 제1 점수들을 결정하는 단계를 포함하고,상기 제1 내지 제4 가중치의 합은 1이고,상기 제1 점수들에 기초하여 상기 제1 이미지들의 제1 대표 이미지를 결정하는 단계는,상기 제1 이미지들 중 제1 점수가 기준 임계값보다 낮은 이미지를 제거하는 단계; 및남은 제1 이미지들 중 상기 제1 점수들에 기초하여 상기 대표 이미지를 결정하는 단계를 포함하는, 인공신경망 학습 방법.

1

삭제

1

제1항에 있어서,상기 제3 이미지들에서 상기 제1 객체와 상기 제2 객체의 관계 중요도를 결정하는 단계는,상기 제3 이미지들 각각에서 상기 제1 객체와 상기 제2 객체의 상호 관계에 기초하여 관계 매트릭스를 생성하는 단계; 및상기 관계 매트릭스의 원소값들에 기초하여 상기 관계 중요도를 결정하는 단계를 포함하는, 인공신경망 학습 방법.

1

제7항에 있어서,상기 제1 객체와 상기 제2 객체의 거리 스코어, 시선 교차 스코어, 동시 등장 빈도 기반 스코어, 감정 상태 일치도 스코어, 및 스토리 우호/적대 라벨에 기초하여 상기 관계 매트릭스를 생성하는 단계는,'1-((상기 제1 객체의 픽셀 및 상기 제2 객체의 픽셀 간 거리)/(상기 제3 이미지의 대각선 길이))'에 기초하여 상기 거리 스코어를 결정하는 단계;'max(0,1-((상기 제1 객체 및 상기 제2 객체가 서로 바라보는 각도 차이)/90))'에 기초하여 상기 시선 교차 스코어를 결정하는 단계;'(상기 제3 이미지들의 수)/(상기 복수의 이미지의 전체 수)'에 기초하여 상기 동시 등장 빈도 기반 스코어를 결정하는 단계;관계 및 감정 일치 여부에 기초하여 상기 감정 상태 일치도 스코어를 결정하는 단계; 및스토리상 관계 중요도에 기초하여 상기 스토리 우호/적대 라벨을 결정하는 단계를 포함하는, 인공신경망 학습 방법.

1

제8항에 있어서,상기 제1 객체와 상기 제2 객체의 거리 스코어, 시선 교차 스코어, 동시 등장 빈도 기반 스코어, 감정 상태 일치도 스코어, 및 스토리 우호/적대 라벨에 기초하여 상기 관계 매트릭스를 생성하는 단계는,상기 거리 스코어, 상기 시선 교차 스코어, 상기 동시 등장 빈도 기반 스코어, 상기 감정 상태 일치도 스코어, 및 상기 스토리 우호/적대 라벨에 제1 내지 제5 가중치를 적용하는 단계 를 더 포함하는, 인공신경망 학습 방법.

1

제9항에 있어서,상기 거리 스코어, 상기 시선 교차 스코어, 상기 동시 등장 빈도 기반 스코어, 상기 감정 상태 일치도 스코어, 및 상기 스토리 우호/적대 라벨에 제1 내지 제5 가중치를 적용하는 단계는,시나리오 정보에 기초하여 상기 감정 상태 일치도 스코어 및 상기 스토리 우호/적대 라벨에 시나리오 구간별 계수를 더 적용하는 단계를 포함하는, 인공신경망 학습 방법.

1

제6항에 있어서,상기 관계 매트릭스의 원소값들에 기초하여 상기 관계 중요도를 결정하는 단계는,상기 관계 매트릭스의 원소값들을 합산하거나 또는 특정 캐릭터 쌍의 원소값에 가중치를 적용하여 합산함으로써 상기 관계 중요도를 결정하는 단계를 포함하는, 인공신경망 학습 방법.

1

제1항에 있어서,상기 관계 중요도, 상기 제3 점수들, 및 상기 제4 점수들에 기초하여 제3 대표 이미지를 결정하는 단계는,상기 제3 점수들 및 상기 제4 점수들에 기초하여 캐릭터 품질 점수 평균을 계산하는 단계;상기 관계 중요도 및 상기 캐릭터 품질 점수 평균에 기초하여 최종 점수를 계산하는 단계; 및상기 최종 점수에 기초하여 상기 제3 대표 이미지를 결정하는 단계를 포함하는, 인공신경망 학습 방법.

1

프로세서와, 상기 프로세서에 연결된 메모리를 포함하고,상기 메모리는 프로그램을 저장하도록 구성되며,상기 프로세서는 상기 프로그램을 실행하도록 구성되고,상기 프로그램이 실행되면, 제1항 내지 제4항 및 제6항 내지 제12항 중 어느 한 항의 방법의 단계들이 구현되는,전자 장치.