최근의 언어 모델 발전은 문맥 이해와 생성적 표상을 수행할 수 있는 능력을 보여주었다. 이러한 발전을 바탕으로, 우리는 VLMTraj라는 이름의 비전-언어 모델을 기반으로 한 새로운 멀티모달 궤적 예측(multimodal trajectory predictor)을 제안하며, 멀티모달 대규모 언어 모델의 사전 지식과 다양한 양식(modality) 정보 전반에 걸친 인간과 유사한 추론 능력을 충분히 활용한다. 본 모델의 핵심 아이디어는 궤적 예측 과제를 시각 질의응답(visual question answering) 형식으로 재구성하는 것이다. 역사적 정보를 문맥(context)으로 사용하고, 언어 모델에게 대화형 방식으로 예측을 수행하도록 지시한다. 구체적으로, 모든 입력을 자연어 스타일로 변환한다. 과거 궤적은 텍스트 프롬프트로 변환하고, 장면 이미지는 이미지 캡셔닝(image captioning)을 통해 기술한다. 또한 입력 이미지로부터 얻은 시각적 특징 역시 모달리티 인코더(modality encoder)와 커넥터(connector)를 통해 토큰으로 변환한다. 변환된 데이터는 이후 언어 모델에 사용될 수 있도록 포맷화된다. 다음으로, 장면 맥락과 보행자 간 사회적 관계와 같은 고수준 지식을 언어 모델이 이해하고 추론하도록 유도하기 위해, 보조적인 멀티태스크 질의응답(auxiliary multi-task question and answers)을 도입한다. 학습 단계에서는 먼저 프롬프트 데이터를 사용하여 수치 토크나이저(numerical tokenizer)를 최적화함으로써 정수와 소수 부분을 효과적으로 분리하여, 언어 모델에서 연속된 수들 간의 상관관계를 포착할 수 있도록 한다. 이후 모든 시각 질의응답 프롬프트를 사용하여 언어 모델을 학습한다. 모델 추론 시에는 빔서치(beam-search) 기반 최빈도(most-likely) 예측과 온도(temperature) 기반 멀티모달 생성(multimodal generation)을 통해 결정론적 및 확률론적 예측 방법을 모두 구현한다. VLMTraj는 언어 기반 모델이 강력한 보행자 궤적 예측기(pedestrian trajectory predictor)가 될 수 있음을 입증하며, 기존의 수치 기반 예측 방법을 능가한다. 광범위한 실험을 통해 VLMTraj는 사회적 관계를 성공적으로 이해하고, 공공 보행자 궤적 예측 벤치마크에서 멀티모달 미래를 정확하게 외삽(extrapolate)할 수 있음을 보여준다.

도시 안전은 시민의 삶의 질과 도시의 지속가능한 발전에 필수적인 역할을 한다. 최근 몇 년 동안 연구자들은 도시 안전의 발전에서 위치 특이적 속성이 차지하는 역할을 파악하기 위해 기계학습 기법을 적용하려는 시도를 해왔다. 그러나 기존 연구는 주로 상대적으로 큰 지리적 단위에 기반한 제한된 이미지(예: 지도 이미지, 단일 방향 또는 네 방향 이미지)에 의존해 왔으며, 중대한 범죄율에만 협소하게 초점을 맞춰 예측 성능과 도시 안전에 대한 함의를 제한한다. 본 연구에서는 공식적 일탈 범죄(예: 살인)와 비공식적 일탈 행위(예: 야간의 시끄러운 파티)를 모두 포함하는 개념인 “일탈(deviance)”을 예측하는 새로운 방법을 제안한다. 이를 위해 먼저, Google Street View에서 제공된 사건 현장 주변의 순차적 이미지와 함께, 일곱 개 광역도시의 사건 보고 데이터로 구성된 대규모 지오태그(geo-tagged) 데이터셋을 수집한다. 이후 우리는 일탈 거리(deviant streets)의 시공간적 시각 속성을 학습하는 합성곱 신경망을 설계한다. 실험 결과, 본 프레임워크는 다양한 도시에서 실제 세계의 일탈을 신뢰성 있게 인식할 수 있음을 보여준다. 또한 우리는 사회과학적 관점에서 일탈 식별 및 심각도 추정에 어떤 시각 속성이 중요한지, 그리고 신경망에서 활성화된 특징 맵(feature maps)이 무엇인지 분석한다.