음성 인식 기반의 수술 영상 가공 장치 및 방법
APPARATUS AND METHOD FOR PROCESSING SURGICAL IMAGE BASED ON VOICE RECOGNITION
특허 요약
음성 인식 기반의 수술 영상 가공 장치 및 방법이 개시되며, 본원의 일 실시예에 따른 음성 인식 기반의 수술 영상 가공 방법은, 화상 정보 및 음성 정보를 포함하는 수술 영상을 수신하는 단계, 상기 음성 정보를 텍스트 정보로 변환하는 단계, 상기 변환된 텍스트 정보 중 상기 수술 영상에 자막으로 삽입될 타겟 텍스트 정보를 선별하는 단계 및 상기 화상 정보에 상기 선별된 타겟 텍스트 정보를 기초로 한 자막을 삽입하는 단계를 포함할 수 있다.
청구항
번호청구항
15

제11항에 있어서,상기 자막에 기초하여 색인 정보를 생성하고, 상기 색인 정보를 반영하여 상기 수술 영상을 저장하는 영상 저장부; 및수술 영상 검색 입력을 수신하고, 상기 검색 입력에 대응하는 상기 색인 정보가 반영되어 저장된 상기 수술 영상을 제공하는 영상 검색부,를 더 포함하는, 수술 영상 가공 장치.

1

음성 인식 기반의 수술 영상 가공 방법에 있어서,화상 정보 및 음성 정보를 포함하는 수술 영상을 수신하는 단계;상기 음성 정보를 텍스트 정보로 변환하는 단계;상기 변환된 텍스트 정보 중 상기 수술 영상에 자막으로 삽입될 타겟 텍스트 정보를 선별하는 단계; 및상기 화상 정보에 상기 선별된 타겟 텍스트 정보를 기초로 한 자막을 삽입하는 단계,를 포함하되,상기 음성 정보는,주 수술자의 음성 정보인 제1음성 정보 및 수술 보조자의 음성 정보인 제2음성 정보를 포함하고,상기 텍스트 정보로 변환하는 단계는,상기 제1음성 정보 및 상기 제2음성 정보를 각각 텍스트 정보로 변환하는 것이고,상기 타겟 텍스트 정보를 선별하는 단계는,상기 주 수술자가 수술과 연계된 사항을 설명하는 설명 구간에 대응하여 상기 제1음성 정보로부터 변환된 텍스트 정보를 포함하도록 상기 타겟 텍스트 정보를 선별하고,상기 자막을 삽입하는 단계는,상기 수술 영상과 연계된 수술 유형 정보, 수술자 정보 및 수술 대상자 정보 중 적어도 하나를 포함하는 수술 정보 및 상기 화상 정보에 기초하여 식별되는 수술 부위 정보, 수술 도구 정보 및 수술 행위 정보 중 적어도 하나를 포함하는 상태 정보를 고려하여 상기 화상 정보에 대한 상기 자막의 삽입 방식을 결정하되, 상기 수술 부위 정보와 관련된 상기 타겟 텍스트 정보에 기초하여 생성된 상기 자막이 상기 수술 부위 정보와 매칭되는 상기 화상 정보 내의 소정의 위치에 배치되도록 오버레이하는 것인, 수술 영상 가공 방법.

2

제1항에 있어서,상기 텍스트 정보로 변환하는 단계는,미리 설정된 마커 정보가 상기 화상 정보 및 상기 음성 정보 중 적어도 하나에 기초하여 상기 수술 영상으로부터 식별되면, 상기 마커 정보에 대응하는 영상 구간에서의 상기 음성 정보를 선택적으로 상기 텍스트 정보로 변환하는 것인, 수술 영상 가공 방법.

3

제1항에 있어서,상기 타겟 텍스트 정보를 선별하는 단계는,상기 수술 정보를 고려하여 상기 타겟 텍스트 정보를 선별하는 것인, 수술 영상 가공 방법.

4

제3항에 있어서,상기 타겟 텍스트 정보를 선별하는 단계는,상기 상태 정보를 더 고려하여 상기 타겟 텍스트 정보를 선별하는 것인, 수술 영상 가공 방법.

5

제4항에 있어서,상기 텍스트 정보로 변환하는 단계는,상기 수술 정보 및 상기 상태 정보 중 적어도 하나를 고려하여 상기 음성 정보에 대응하여 변환되는 상기 텍스트 정보를 결정하는 것인, 수술 영상 가공 방법.

6

삭제

7

제1항에 있어서,상기 자막을 삽입하는 단계는,상기 제1음성 정보와 연계된 타겟 텍스트 정보와 상기 제2음성 정보와 연계된 타겟 텍스트 정보가 구분되어 표시되도록 상기 자막을 삽입하는 것인, 수술 영상 가공 방법.

8

삭제

9

제1항에 있어서,상기 자막에 기초하여 색인 정보를 생성하는 단계; 및상기 색인 정보를 반영하여 상기 수술 영상을 저장하는 단계,를 더 포함하는 것인, 수술 영상 가공 방법.

10

제9항에 있어서,수술 영상 검색 입력을 수신하는 단계; 및상기 검색 입력에 대응하는 상기 색인 정보가 반영되어 저장된 상기 수술 영상을 제공하는 단계,를 더 포함하는 것인, 수술 영상 가공 방법.

11

음성 인식 기반의 수술 영상 가공 장치에 있어서,화상 정보 및 음성 정보를 포함하는 수술 영상을 수신하는 영상 수신부;상기 음성 정보를 텍스트 정보로 변환하는 텍스트 변환부;상기 변환된 텍스트 정보 중 상기 수술 영상에 자막으로 삽입될 타겟 텍스트 정보를 선별하는 텍스트 선별부; 및상기 화상 정보에 상기 선별된 타겟 텍스트 정보를 기초로 한 자막을 삽입하는 자막 삽입부,를 포함하되,상기 음성 정보는,주 수술자의 음성 정보인 제1음성 정보 및 수술 보조자의 음성 정보인 제2음성 정보를 포함하고,상기 텍스트 변환부는,상기 제1음성 정보 및 상기 제2음성 정보를 각각 텍스트 정보로 변환하는 것이고,상기 텍스트 선별부는,상기 주 수술자가 수술과 연계된 사항을 설명하는 설명 구간에 대응하여 상기 제1음성 정보로부터 변환된 텍스트 정보를 포함하도록 상기 타겟 텍스트 정보를 선별하고,상기 자막 삽입부는,상기 수술 영상과 연계된 수술 유형 정보, 수술자 정보 및 수술 대상자 정보 중 적어도 하나를 포함하는 수술 정보 및 상기 화상 정보에 기초하여 식별되는 수술 부위 정보, 수술 도구 정보 및 수술 행위 정보 중 적어도 하나를 포함하는 상태 정보를 고려하여 상기 화상 정보에 대한 상기 자막의 삽입 방식을 결정하되, 상기 수술 부위 정보와 관련된 상기 타겟 텍스트 정보에 기초하여 생성된 상기 자막이 상기 수술 부위 정보와 매칭되는 상기 화상 정보 내의 소정의 위치에 배치되도록 오버레이하는 것인, 수술 영상 가공 장치.

12

제11항에 있어서,상기 텍스트 변환부는,미리 설정된 마커 정보가 상기 화상 정보 및 상기 음성 정보 중 적어도 하나에 기초하여 상기 수술 영상으로부터 식별되면, 상기 마커 정보에 대응하는 영상 구간에서의 상기 음성 정보를 선택적으로 상기 텍스트 정보로 변환하는 것인, 수술 영상 가공 장치.

13

제11항에 있어서,상기 텍스트 선별부는,상기 수술 정보 및 상기 상태 정보 중 적어도 하나를 고려하여 상기 타겟 텍스트 정보를 선별하는 것인, 수술 영상 가공 장치.

14

제13항에 있어서,상기 텍스트 변환부는,상기 수술 정보 및 상기 상태 정보 중 적어도 하나를 고려하여 상기 음성 정보에 대응하여 변환되는 상기 텍스트 정보를 결정하는 것인, 수술 영상 가공 장치.