기술 개요
“영상과 언어의 의미를 연결하고 데이터 편향과 입력 교란에 대응해 장면 검색의 정확도와 영상 인식의 안정성을 높이는 기술입니다.”
산업 별 활용 방안
영상 검색·미디어 아카이브 서비스를 운영하는 기업·기관
대량의 동영상을 보유한 기업·기관은 사용자가 설명한 장면을 찾아도 검색 결과의 앞뒤를 다시 확인하고 필요한 구간을 골라야 하는 부담이 있습니다. 본 기술을 자연어 검색 과정에 적용해 문장과 장면의 의미를 연결하고 시작·종료 시점을 정밀하게 산출하도록 검색 모델을 보완할 수 있습니다. 기존 모델의 구조에 맞춰 편향 완화 학습이나 추론 단계의 구간 경계 산출 모듈을 선택해 결합하고, 보유 영상 기반 PoC로 검색 품질과 처리 지연을 확인하는 방식으로 도입할 수 있습니다.
영상·언어 모델 기반 이미지 인식 서비스를 개발하는 기업
이미지 인식 서비스를 개발하는 기업은 고객별 입력 데이터가 달라질 때 인식 품질을 유지하면서 추론 비용과 응답시간도 관리해야 합니다. 본 기술의 신뢰도 기반 프롬프트 조정 또는 손상도 기반 방어 모듈을 추론 과정에 적용해 신뢰하기 어려운 입력과 악의적 교란의 영향을 줄이는 데 활용할 수 있습니다. 모델 구조와 연산 여건에 맞는 모듈을 선택해 API·SDK 연동을 검토하고, 기업 데이터 기반 PoC에서 정확도·처리량·자원 사용량을 함께 확인할 수 있습니다.
지능형 영상분석·영상 모니터링 솔루션을 제공하는 기업
영상분석 솔루션 기업은 고객이 필요한 이벤트를 빠르게 확인하도록 지원하면서, 현장별 영상 차이와 입력 교란에 따른 분석 품질 저하도 관리해야 합니다. 본 기술을 문장으로 이벤트 구간을 찾는 검색 기능과 이미지 인식의 안정성을 높이는 기능에 각각 적용해 영상 확인 업무를 지원할 수 있습니다. 검색·인식 기능별로 필요한 모듈을 선택해 기존 처리 과정에 연동하고, 현장 영상 기반 PoC에서 이벤트 검색 품질과 인식 성능 및 운영 지연을 검증하는 방식으로 도입할 수 있습니다.
기술 설명
어떤 기술인가요?
영상·언어 AI는 이미지나 동영상의 내용과 문장의 의미를 연결해, 글로 설명한 장면을 찾거나 이미지에 담긴 대상을 판단하는 기술입니다. 본 기술 포트폴리오는 원하는 장면의 시간 구간을 찾는 검색 기술과 입력 조건이 달라져도 인식 성능을 유지하도록 돕는 추론 기술을 다룹니다. 영상으로 가려진 검색어를 복원하는 학습과 인위적인 편향을 구별하는 학습을 결합해 특정 단어·시간 위치에 대한 의존을 줄이고(특허 4·5), 관련 장면을 포함하는 정도와 구간 길이를 함께 고려해 시작·종료 경계를 정하며(특허 3), 원본·변형 이미지의 예측 일관성과 특징 유사도로 신뢰도를 평가해 모델의 텍스트 프롬프트를 조정하고(특허 2), 이미지별 손상도에 맞춰 공격 영향을 줄이기 위한 보정 강도를 조절하는(특허 1) 방식으로 검색과 인식 과정의 오류 요인에 대응합니다.
어떤 문제를 해결하나요?
1. 학습 데이터의 편향에 의존하는 장면 검색
기존 장면 검색 모델은 영상과 문장의 실제 의미보다 자주 등장하는 단어나 정답 장면이 몰린 시간 위치를 단서로 삼아, 다른 유형의 영상에서 검색 성능이 저하될 수 있습니다. 검색 문장의 중요 단어를 가린 뒤 해당 영상 구간으로 복원하도록 학습하고, 인위적으로 주입한 편향을 구별하는 학습을 결합해 영상·문장의 의미에 집중하도록 유도합니다.
2. 불필요한 배경 포함과 핵심 장면 누락
관련 장면의 발생 가능성을 나타내는 분포에서 고정된 규칙으로 검색 구간을 정하면, 불필요한 배경이 포함되거나 중요한 장면 일부가 누락될 수 있습니다. 구간 안에 포함되는 이벤트 발생 가능성과 구간이 길어지는 데 따른 불이익을 함께 계산해 시작·종료 시점을 결정하고, 활용 목적에 맞춰 넓게 포함할지 정밀하게 좁힐지 조절합니다.
3. 입력 변화와 악의적 교란에 따른 오인식
학습 때와 다른 이미지나 오분류를 유도하는 미세한 변형이 입력되면 영상·언어 모델의 판단이 흔들릴 수 있으며, 변형 이미지를 모두 같은 비중으로 사용하면 신뢰하기 어려운 입력의 영향이 커질 수 있습니다. 이미지의 예측 일관성과 특징 유사도에 따라 신뢰도를 매겨 텍스트 프롬프트와 최종 예측을 조정하거나, 변형 전후 특징 차이로 추정한 손상도에 따라 방어용 보정 강도를 조절합니다.
연구자 및 특허 소개
김선오
단국대학교(죽전캠퍼스) 컴퓨터공학과
서울대학교 전기·정보공학부 공학박사(2024)
前 삼성전자 MX Language AI 연구개발(2024.03～2025.02)
前 네이버 클로바 Visual AI 연구인턴(2022.07～2023.01)
現 단국대학교 컴퓨터공학과 조교수(2025.03～)
“저는 영상과 언어의 의미를 연결해 원하는 장면과 시간 구간을 찾고, 데이터 편향·분포 변화·악의적 입력 교란에 대응하는 영상·언어 AI 기술을 연구하고 있습니다. 영상·언어 모델, 영상 검색, 지능형 영상분석 서비스를 개발하는 기업은 편향 완화 학습, 구간 경계 최적화, 신뢰도 기반 프롬프트 조정, 손상도 기반 방어 모듈을 업무와 모델에 맞춰 활용할 수 있습니다. 관심 있는 기업과 핵심 모듈 기술이전과 기업 데이터 기반 PoC, API·SDK 연동을 추진하고자 하며, 모델 구조와 연산 여건에 맞춰 모듈을 선택·결합하는 방향으로 협업하고자 합니다.”
기술과 관련된 특허 5건
FAQ
연구자가 보유한 기술을 기업에 소개하는 기술 제안 자료입니다. 알앤디써클은 기업이 이 자료를 검토한 뒤 기술 도입이나 협업을 판단할 수 있도록, 연구자·연구기관과의 연결을 지원합니다.
이 기술이 귀사가 다루는 사업 영역에 적용될 수 있다고 알앤디써클에서 판단해 제안드렸습니다. 실제로 도움이 될 기술인지는 확인이 필요하니, 궁금한 점을 「기술 문의」로 남겨주세요.
기술 자료를 추가로 받아보거나 연구자와의 미팅을 요청하실 수 있습니다. 도입·협업을 검토하신다면 연구자와 연구기관에 직접 연결해드립니다. 필요한 내용을 「기술 문의」에 남겨주세요.
문의와 검토 과정에는 비용이 발생하지 않습니다. 기술 도입 조건은 이후 연구기관과 협의해 정하게 됩니다.
남겨주신 문의는 연구자와 연구기관에 전달되어 검토를 거칩니다. 검토 결과는 2일 내로 회신드리며, 협업이나 기술 도입 논의가 필요한 경우 미팅으로 연결해드립니다.