특허 개요
본 특허는 자율주행용 라이다 데이터에서 추가 라벨링이 필요한 장면을 선별하는 3D 불확실성 기반 능동학습 기술입니다. 라벨이 있는 데이터에는 지도 손실을 적용하고, 라벨이 없는 데이터에는 원본 라이다 포인트 클라우드와 반전·회전·거리 변환 데이터의 예측 차이로 계산한 3D 일관성(3D consistency) 기반 비지도 손실을 적용합니다. 클래스 예측 차이는 KL 발산으로, 3D 바운딩 박스의 위치·크기·방향 차이는 Smooth-L1 오차로 산출하며, 일관성이 낮은 데이터를 불확실성이 큰 추가 라벨링 대상으로 선택합니다.
- 핵심 기능
라이다 포인트 클라우드의 원본 데이터와 3차원 변환 데이터를 3D 객체 검출 네트워크에 입력해 각각의 클래스와 3D 바운딩 박스를 예측합니다. 라벨 데이터의 지도 손실과 원본·변환 예측 간 3D 일관성 손실을 함께 최소화하고, 예측 불일치가 큰 라벨 없는 데이터를 다음 라벨링 대상으로 선별합니다.
- 차별 강점
기존 능동학습은 선택된 데이터 중심으로 재학습하거나 2D 이미지 기반 중요도를 적용해, 3D 위치와 크기 정확도가 중요한 객체 검출에 한계가 있었습니다. 본 기술은 선택되지 않은 라벨 없는 데이터도 준지도학습에 활용하고, 동일한 3D 일관성 값을 학습 손실과 라벨링 우선순위 지표로 함께 사용한다는 점에서 차별됩니다.
- 활용 범위
기술·연구 측면에서는 자율주행 차량의 3D 객체 인지모델 학습, 라이다 기반 차량·보행자·장애물 검출, 주행 데이터 큐레이션 및 지속적 재학습 분야에 활용 가능합니다. 사업 측면에서는 자율주행 소프트웨어, 첨단 운전자 보조 시스템, 라이다 데이터 플랫폼, 차량용 인지모델 검증·학습 서비스로 확장할 수 있습니다.
연구 개발 단계
KITTI 라이다 데이터셋에서 CenterPoint 3D 객체 검출 모델에 비지도 손실 기반 능동학습을 적용하고, 무작위 선택 및 Entropy 방법과 비교했습니다. 본 발명 방법은 라벨 데이터 수별 객체 검출 성능에서 비교 방법보다 높은 성능 향상 경향을 보였으며, 다른 지역·날씨·센서 구성과 실차 탑재 환경에서의 재현성 및 처리지연은 구체적으로 제시되지 않았습니다.
- 검증 데이터: KITTI 라이다 데이터 7481개, 학습 3712개·평가 3769개
- 검증 모델: CenterPoint 3D 객체 검출 모델과 비지도 손실 기반 능동학습
- 비교 방법: 무작위 선택(Random), 기존 Entropy 방법, 본 발명 방법
- 선별 조건: 선택단계마다 300프레임, 총 5사이클, 최대 1500프레임
현재 성과
라벨 데이터 수별 객체 검출 성능 비교에서 본 발명 능동학습 모델은 무작위 선택 및 Entropy 방법보다 높은 성능 향상 경향을 보였습니다. 동일 객체 검출 성능에 필요한 라벨 수를 줄이고, 동일 라벨 수에서 더 높은 성능을 달성하는 것을 목표로 합니다.
KITTI 라이다 데이터 7481개를 학습 3712개와 평가 3769개로 분리해 CenterPoint 모델을 학습·검증했습니다. 매 선택단계 300프레임을 총 5사이클에 걸쳐 선별하고, 무작위 선택 및 Entropy 방법과 비교했습니다.
기존 방식은 선택되지 않은 라벨 없는 데이터를 충분히 활용하지 못하거나 2D 기반 중요도 판단에 의존할 수 있었습니다. 본 기술은 3차원 변환 전후의 클래스·3D 바운딩 박스 예측 불일치를 비지도 손실과 3D 불확실성 지표로 함께 사용해, 학습과 라벨링 대상 선별을 연계합니다.
상용화까지 남은 부분
다른 지역·날씨·교통 환경과 다양한 라이다 센서 구성에서의 재현성 검증
대규모 실제 차량 주행 데이터 기반의 라벨 선별 효과 및 객체 검출 성능 실증
실차 탑재 환경에서의 처리지연, 연산 자원 사용량, 운영 안정성 검증
기술 이전 형태·도입 과정
도입은 이렇게 진행됩니다.
검토 미팅
귀사 상황·데이터 구조 기준으로 적합성을 논의합니다. 자료 검토만으로 끝나도 됩니다.
PoC 공동 검증
연구팀 동행 하에 귀사 데이터 기준 재학습·성능을 확인합니다.
라이센싱 계약
PoC 결과를 기반으로 희망 형태(실시권·공동연구 등)를 협의합니다.
기술지도·후속
도입 초기 기술지도, 필요 시 후속 공동연구·정부과제 연계까지 진행합니다.
특허 정보
자율주행을 위한 3D 객체 검출 모델의 비지도 손실 기반 능동학습 방법 및 그 시스템
10-2024-0037439 (2024.03.18)
1028022610000 (2025.04.25)
금동석 (한국과학기술원), 황시환 (한국과학기술원)
한국과학기술원
한국과학기술원