항공 LiDAR 점군으로부터 건물 와이어프레임을 재구성하면, 조밀한 메시를 넘어 구조적 이해를 가능하게 하는 컴팩트하고 위상 중심적인 표현을 얻을 수 있다. 그러나 중요한 한계가 여전히 남아 있다. 즉, 기존 방법들은 상당한 잡음, 희소성 또는 내부 코너가 존재하는 영역에서 정확한 와이어프레임 재구성을 달성하지 못했다. 이러한 실패는, 대규모이고 희소한 건물 점군의 풍부한 3차원 기하 정보를 효과적으로 활용하기 위한 적응형 탐색 공간을 설정하지 못하기 때문이다. 본 연구에서는 이 문제를 Delaunay Canopy로 해결한다. Delaunay Canopy는 기하학적 선행정보로 Delaunay 그래프를 활용하여 기하학적으로 적응적인 탐색 공간을 정의한다. 우리의 접근에서 핵심은 Delaunay Graph Scoring이며, 이는 단지 기저의 기하학적 다양체를 재구성하는 데 그치지 않고 영역 단위 곡률 서명을 산출하여 재구성을 견고하게 안내한다. 이러한 기반 위에서 코너 및 와이어 선택 모듈은 Delaunay로 유도된 선행정보를 활용하여 높은 가능성을 갖는 요소들에 초점을 맞추고, 따라서 탐색 공간을 형성하며 이전에는 다루기 어려웠던 영역에서도 정확한 예측을 가능하게 한다. Building3D Tallinn 도시 데이터와 엔트리 레벨 데이터셋에 대한 광범위한 실험 결과, 최신 수준의 와이어프레임 재구성을 보이며 다양한 복잡한 건물 형상에 걸쳐 정확한 예측을 제공함을 확인하였다.

비행체 탑재 LiDAR 포인트 클라우드로부터 건물 와이어프레임을 재구성하면, 조밀한 메쉬를 넘어 구조적 이해를 가능하게 하는 압축적이고 토폴로지 중심의 표현을 얻을 수 있다. 그러나 핵심적인 한계가 여전히 존재한다. 즉, 기존 방법들은 상당한 잡음, 희소성, 또는 내부 코너가 존재하는 영역에서 정확한 와이어프레임 재구성을 달성하지 못했다. 이러한 실패는 크고 희소한 건물 포인트 클라우드의 풍부한 3차원 기하 정보를 효과적으로 활용할 수 있도록 적응형 탐색 공간을 설정하지 못하기 때문이다. 본 연구에서는 이러한 문제를 Delaunay Canopy로 해결한다. Delaunay Canopy는 기하학적 선행정보로 Delaunay 그래프를 활용하여 기하학적으로 적응적인 탐색 공간을 정의한다. 우리의 접근에서 중심이 되는 Delaunay Graph Scoring은 단지 기저 기하학적 다양체를 재구성하는 데 그치지 않고, 영역 단위 곡률 시그니처를 산출하여 재구성을 견고하게 안내한다. 이러한 기반 위에서 코너 및 와이어 선택 모듈은 Delaunay 유도 선행정보를 활용하여 높은 확률을 갖는 요소들에 초점을 맞춤으로써 탐색 공간을 형성하고, 이전에는 다루기 어려웠던 영역에서도 정확한 예측을 가능하게 한다. Building3D Tallinn 도시 데이터와 엔트리 레벨 데이터셋에 대한 광범위한 실험 결과, 최신 수준의 와이어프레임 재구성이 입증되었으며, 다양한 복잡한 건물 형상에 걸쳐 정확한 예측을 제공한다.

개방 어휘 의미 분할(Open-Vocabulary Semantic Segmentation, OVSS)은 최근의 비전-언어 모델(Vision-Language Models, VLMs)과 함께 발전하여, 다양한 학습 체계를 통해 사전에 정의된 범주를 넘어 분할을 수행할 수 있게 되었다. 특히 학습 없이 수행하는 훈련-프리(training-free) 방법은, OVSS의 핵심 목표인 보이지 않는 데이터를 처리하기 위한 확장 가능하고 손쉽게 배포할 수 있는 해결책을 제공한다. 그러나 여전히 중요한 문제가 남아 있는데, 이는 임의의 질의 프롬프트를 기반으로 OVSS의 도전적인 환경에서 복잡한 객체를 분할할 때 객체 수준의 문맥을 고려하지 않는다는 점이다. 이러한 간과는, 객체 내에서 의미적으로 일관된 요소들을 묶고 이를 사용자가 정의한 임의의 클래스에 정확히 대응시키는 모델의 능력을 제한한다. 본 연구에서는 이러한 한계를 극복하기 위해 이미지 안에 객체 수준의 맥락 정보를 통합하는 새로운 접근법을 제안한다. 구체적으로, 제안하는 모델은 시각 인코더의 어텐션 메커니즘에 비전 파운데이션 모델로부터 스펙트럼 기반 특징을 증류(distillation)함으로써 객체 내부의 일관성을 향상시켜, 의미적으로 일관된 구성 요소들이 하나의 객체 마스크를 형성하도록 한다. 또한 텍스트 임베딩을 제로샷 객체 존재 가능도(zero-shot object presence likelihood)로 정교화하여, 이미지에 나타난 특정 객체들과의 정렬(alignment)을 정확히 보장한다. 객체 수준의 문맥 정보를 활용함으로써, 본 접근법은 다양한 데이터셋에 걸친 강한 일반화 성능과 함께 최첨단(state-of-the-art) 성과를 달성한다.

영상 수준 클래스 지식으로부터 유의미하게 정확한(pseudo) 마스크를 도출하여 분할에 활용하는 기법, 즉 영상 수준 약지도 의미 분할(image-level Weakly Supervised Semantic Segmentation, WSSS)은 여전히 어렵다. CNN을 사용하는 클래스 활성화 맵(Class Activation Maps, CAMs)은 사람의 얼굴만처럼 특정 클래스의 부분에 초점을 맞춤으로써 WSSS를 향상시키는 반면, 비전 트랜스포머(Vision Transformers, ViT)는 더 넓은 의미적 부분을 포착하지만 사람의 몸과 같은 클래스 전체에 대해, 개와 같은 인접한 물체를 포함한 완전한 클래스 특이 세부 정보를 종종 놓친다. 본 연구에서는 CNN으로부터의 클래스 지식과 ViT로부터의 의미론적 지식을 상호 보완적으로 제공하는 두 가지 서로 다른 아키텍처로 구성된 새로운 쌍(dual) 분기 프레임워크인 Co mplementary Bra nch(CoBra)를 제안한다. 구체적으로, CNN 분기에는 클래스 인지 투영(Class-Aware Projection, CAP)을, ViT 분기에는 의미 인지 투영(Semantic-Aware Projection, SAP)을 학습하고, 이들의 통찰을 결합하여 새로운 패치 수준 감독을 가능하게 하며, 클래스와 의미 정보를 통합하는 효과적인 유사 마스크를 생성한다. 광범위한 실험을 통해 각 분기가 서로 어떻게 보완하는지를 정성적 및 정량적으로 면밀히 분석하였고, 유의미한 결과를 보였다. 프로젝트 페이지와 코드는 다음에 제공된다: https://micv-yonsei.github.io/cobra2024/ . • 본 연구는 Complementary Branch Framework인 CoBra를 제안하며, CNN과 ViT의 강점을 활용하고 최대화하는 동시에 서로의 한계를 보완한다. • 각각 클래스 정보와 의미 정보를 포착하기 위해 Class-Aware Projection(CAP)과 Semantic-Aware Pro- jection(SAP)을 사용하고, 대조 학습(contrastive learning)을 통해 CNN 및 ViT 분기 모두에 대해 향상되고 보완적인 지침을 제공한다. • 본 모델의 영상 수준 WSSS 성능을 PASCAL VOC 2012 데이터셋 및 MS-COCO 2014에서 평가하였으며, seed, mask 및 분할 결과 전반에서 유의미한 성과를 보인다.

이론적으로 도메인 적응(domain adaptation)은 잘 연구된 문제이다. 또한 이러한 이론은 실제에서 잘 활용되어 왔다. 특히 Ben-David 등(Ben-David et al., Mach Learn 79(1–2):151–175, 2010)이 제시한 목표 오류(target error)에 대한 상한(bound)을 주목하며, 이 연구를 기반으로 한 도메인 정렬(domain-aligning) 알고리즘인 Domain Adversarial Neural Networks(DANN)를 Ganin과 Lempitsky(International conference on machine learning, pp 1180–1189)에서 제안한 바 있다. 최근에는 도메인 일반화(domain generalization)라는 관련 문제에 대해 DANN의 여러 변형들이 제안되었으나, 원래의 동기 부여가 된 상한에 대해서는 충분히 논의되지 않았다. 본 논문에서는 이러한 관점에서 도메인 일반화에서 DANN의 타당성을 조사한다. DANN을 적용하는 것이 타당한 조건들을 규명하고, 나아가 훈련 중 DANN을 동적 과정으로서 고려한다. 우리의 조사 결과는, 도메인 일반화에 DANN을 적용하는 일이 겉보기보다 단순하지 않을 수 있음을 시사한다. 이를 해결하기 위해, 도메인 일반화의 경우에 해당하는 DANN에 대한 알고리즘적 확장을 설계한다. 실험을 통해 이론과 알고리즘 모두를 검증한다.

측두하악장애의 조기 진단은 어렵다. 특히, 관절강 내 측두하악관절(TMJ) 이상은 자기공명영상(MRI)으로만 확인할 수 있다. 본 연구는 MRI로 탐지 가능한 TMJ 병리를 포괄적으로 선별하기 위한 방법을 개발하는 것을 목표로 하였다. 우리는 개방구 및 폐구 상태의 TMJ 파노라마 방사선영상과 구조화된 임상 메타데이터를 쌍으로 활용하는 해석 가능한 딥러닝 프레임워크를 개발하였다. 해당 아키텍처는 해부학적으로 유도된 어텐션, 다중 양식 임상 특징, 그리고 진단 정확도 및 해석가능성을 향상시키기 위한 앙상블 학습을 통합하였다. 1355명의 환자(2710개 관절)에서, 최우수 성능의 앙상블 프레임워크는 곡선하 면적(area under the curve) 0.86을 달성하였으며, MRI 음성 및 양성 사례에 대해 균형 잡힌 분류 성능을 보였다. 그라디언트 가중 클래스 활성화 매핑(Gradient-weighted Class Activation Mapping) 시각화는 과두(condylar) 부위에 대한 일관된 초점을 확인했으며, 절제(ablative) 연구에서는 임상 메타데이터와 공간 어텐션의 추가적 가치가 입증되었다. 결론적으로, 본 연구의 프로토타입 워크플로우는 TMJ 환자를 MRI 의뢰 대상으로 분류(triage)하는 데 유용할 수 있으며, 따라서 TMJ 이상에 대한 조기 발견과 적시의 개입을 지원할 수 있다.

시각적 그라운딩(visual grounding)은 자유 형식 텍스트 설명에 해당하는 이미지 영역을 국소화하는 것을 목표로 한다. 최근 대규모 비전-언어 모델(Large Vision-Language Models, LVLMs)의 강력한 멀티모달 능력은 시각적 그라운딩의 성능을 크게 향상시켰지만, 바운딩 박스 또는 세그멘테이션 마스크를 명시적으로 생성하기 위해서는 필연적으로 미세조정(fine-tuning)과 추가 모델 구성요소가 요구된다. 그러나 우리는 고정(frozen)된 LVLM에서 소수의 어텐션 헤드(attention heads)가 강력한 시각적 그라운딩 능력을 보인다는 사실을 발견했다. 우리는 텍스트 의미와 관련된 객체의 위치를 일관되게 포착하는 이러한 헤드를 ‘국소화 헤드(localization heads)’라고 부른다. 국소화 헤드를 사용하여, 국소화 헤드의 텍스트-투-이미지 텍스트-투-이미지 어텐션 맵(text-to-image attention maps)을 활용해 목표 객체를 식별하는, 간단하면서도 효과적인 학습-불필요(training-free) 시각적 그라운딩 프레임워크를 제안한다. 놀랍게도, 미세조정이 필요한 기존 LVLM 기반 시각적 그라운딩 방법과 비교해 경쟁력 있는 국소화 성능을 달성하는 데 필요한 어텐션 헤드는 수천 개 중 단 3개면 충분하다. 이러한 결과는 LVLM이 텍스트-이미지 관계에 대한 심층적 이해를 바탕으로 객체를 본질적으로 그라운딩할 수 있으며, 관련 이미지 영역에 암묵적으로 집중하여 유의미한 텍스트 출력을 생성한다는 점을 시사한다.

단일 이미지로부터 장면의 고품질 신규 시점을 생성하려면 서로 다른 시점들 간의 구조적 일관성을 유지해야 하며, 이를 시점 일관성(view consistency)이라 한다. 확산 모델은 신규 시점 합성(novel view synthesis)에서의 발전을 이끌어 왔지만, 여전히 시점 간의 공간적 연속성을 보존하는 데 어려움을 겪는다. 이러한 문제를 해결하기 위해 확산 모델을 3D 모델과 결합한 접근들이 제안되어 왔으나, 복잡한 다단계 파이프라인으로 인해 효율성이 떨어진다. 본 논문은 추가 모듈 없이 확산 모델을 활용하는 새로운 시점-일관적 이미지 생성 방법을 제안한다. 핵심 아이디어는 뷰-가이드 워핑(view-guided warping)을 활용하여 시점 일관성을 보장함으로써, 학습 없이(training-free) 적응형 어텐션 조작(adaptive attention manipulation)과 노이즈 재초기화(noise reinitialization)를 가능하게 하는 방식으로 확산 모델을 강화하는 것이다. 신규-시점 데이터셋에 적합한 포괄적인 메트릭 프레임워크를 통해, 본 방법이 다양한 확산 모델 전반에 걸쳐 시점 일관성을 향상시킴을 보여주며, 이는 더 넓은 적용 가능성을 입증한다.

대규모 멀티모달 모델(LMM)은 트랜스포머 디코더에서 텍스트 토큰과 시각 토큰 간의 어텐션 메커니즘을 활용함으로써 이미지를 ‘본다’. 이상적으로는 이러한 모델이 텍스트 토큰과 관련된 핵심 시각 정보를 주의 깊게 살펴야 한다. 그러나 최근의 연구 결과는, LMM이 해당 텍스트에 대응하지 않더라도 특정 시각 토큰에 일관되게 높은 어텐션 가중치를 부여하는 비상한 경향을 보인다는 점을 시사한다. 본 연구에서는 이러한 무관한 시각 토큰의 출현 배후에 있는 성질을 규명하고, 그것들의 특성을 분석한다. 우리의 결과는 이러한 현상이 특정 은닉 상태 차원들의 대규모 활성화에서 기인하며, 이는 언어 모델에서 관찰되는 attention sink와 유사함을 보여준다. 따라서 우리는 이 현상을 시각 어텐션 싱크(visual attention sink)라 명명한다. 특히, 분석 결과 무관한 시각 싱크 토큰을 제거하더라도 해당 토큰들이 높은 어텐션 가중치를 받음에도 불구하고 모델 성능에는 영향이 없음을 확인하였다. 이에 따라 우리는 이러한 토큰에 배분된 어텐션을 잉여 자원으로 재활용하여, 이미지에 대한 집중도를 높이기 위해 어텐션 예산을 재분배한다. 이를 위해 우리는 이미지 중심의 head에서 어텐션을 재분배하는 방법인 Visual Attention Redistribution (VAR)을 제안하며, 이는 선천적으로 시각 정보를 향해 집중하는 것으로 우리가 식별한 head에 적용된다. VAR은 추가적인 학습이나 모델 또는 추론 단계 없이도 다양한 LMM에 손쉽게 적용되어, 일반적인 비전-언어 작업, 시각적 환각(visual hallucination) 작업, 그리고 시각 중심(vision-centric) 작업을 포함한 광범위한 과제에서 성능을 향상시킬 수 있다. 실험 결과는 VAR이 내부 어텐션 메커니즘을 조정함으로써 LMM이 시각 정보를 보다 효과적으로 처리할 수 있음을 보여주며, 이는 LMM의 멀티모달 능력을 강화하기 위한 새로운 방향을 제시한다.

항공 LiDAR 점군으로부터 건물 와이어프레임을 재구성하면, 조밀한 메시를 넘어 구조적 이해를 가능하게 하는 컴팩트하고 위상 중심적인 표현을 얻을 수 있다. 그러나 중요한 한계가 여전히 남아 있다. 즉, 기존 방법들은 상당한 잡음, 희소성 또는 내부 코너가 존재하는 영역에서 정확한 와이어프레임 재구성을 달성하지 못했다. 이러한 실패는, 대규모이고 희소한 건물 점군의 풍부한 3차원 기하 정보를 효과적으로 활용하기 위한 적응형 탐색 공간을 설정하지 못하기 때문이다. 본 연구에서는 이 문제를 Delaunay Canopy로 해결한다. Delaunay Canopy는 기하학적 선행정보로 Delaunay 그래프를 활용하여 기하학적으로 적응적인 탐색 공간을 정의한다. 우리의 접근에서 핵심은 Delaunay Graph Scoring이며, 이는 단지 기저의 기하학적 다양체를 재구성하는 데 그치지 않고 영역 단위 곡률 서명을 산출하여 재구성을 견고하게 안내한다. 이러한 기반 위에서 코너 및 와이어 선택 모듈은 Delaunay로 유도된 선행정보를 활용하여 높은 가능성을 갖는 요소들에 초점을 맞추고, 따라서 탐색 공간을 형성하며 이전에는 다루기 어려웠던 영역에서도 정확한 예측을 가능하게 한다. Building3D Tallinn 도시 데이터와 엔트리 레벨 데이터셋에 대한 광범위한 실험 결과, 최신 수준의 와이어프레임 재구성을 보이며 다양한 복잡한 건물 형상에 걸쳐 정확한 예측을 제공함을 확인하였다.

비행체 탑재 LiDAR 포인트 클라우드로부터 건물 와이어프레임을 재구성하면, 조밀한 메쉬를 넘어 구조적 이해를 가능하게 하는 압축적이고 토폴로지 중심의 표현을 얻을 수 있다. 그러나 핵심적인 한계가 여전히 존재한다. 즉, 기존 방법들은 상당한 잡음, 희소성, 또는 내부 코너가 존재하는 영역에서 정확한 와이어프레임 재구성을 달성하지 못했다. 이러한 실패는 크고 희소한 건물 포인트 클라우드의 풍부한 3차원 기하 정보를 효과적으로 활용할 수 있도록 적응형 탐색 공간을 설정하지 못하기 때문이다. 본 연구에서는 이러한 문제를 Delaunay Canopy로 해결한다. Delaunay Canopy는 기하학적 선행정보로 Delaunay 그래프를 활용하여 기하학적으로 적응적인 탐색 공간을 정의한다. 우리의 접근에서 중심이 되는 Delaunay Graph Scoring은 단지 기저 기하학적 다양체를 재구성하는 데 그치지 않고, 영역 단위 곡률 시그니처를 산출하여 재구성을 견고하게 안내한다. 이러한 기반 위에서 코너 및 와이어 선택 모듈은 Delaunay 유도 선행정보를 활용하여 높은 확률을 갖는 요소들에 초점을 맞춤으로써 탐색 공간을 형성하고, 이전에는 다루기 어려웠던 영역에서도 정확한 예측을 가능하게 한다. Building3D Tallinn 도시 데이터와 엔트리 레벨 데이터셋에 대한 광범위한 실험 결과, 최신 수준의 와이어프레임 재구성이 입증되었으며, 다양한 복잡한 건물 형상에 걸쳐 정확한 예측을 제공한다.

개방 어휘 의미 분할(Open-Vocabulary Semantic Segmentation, OVSS)은 최근의 비전-언어 모델(Vision-Language Models, VLMs)과 함께 발전하여, 다양한 학습 체계를 통해 사전에 정의된 범주를 넘어 분할을 수행할 수 있게 되었다. 특히 학습 없이 수행하는 훈련-프리(training-free) 방법은, OVSS의 핵심 목표인 보이지 않는 데이터를 처리하기 위한 확장 가능하고 손쉽게 배포할 수 있는 해결책을 제공한다. 그러나 여전히 중요한 문제가 남아 있는데, 이는 임의의 질의 프롬프트를 기반으로 OVSS의 도전적인 환경에서 복잡한 객체를 분할할 때 객체 수준의 문맥을 고려하지 않는다는 점이다. 이러한 간과는, 객체 내에서 의미적으로 일관된 요소들을 묶고 이를 사용자가 정의한 임의의 클래스에 정확히 대응시키는 모델의 능력을 제한한다. 본 연구에서는 이러한 한계를 극복하기 위해 이미지 안에 객체 수준의 맥락 정보를 통합하는 새로운 접근법을 제안한다. 구체적으로, 제안하는 모델은 시각 인코더의 어텐션 메커니즘에 비전 파운데이션 모델로부터 스펙트럼 기반 특징을 증류(distillation)함으로써 객체 내부의 일관성을 향상시켜, 의미적으로 일관된 구성 요소들이 하나의 객체 마스크를 형성하도록 한다. 또한 텍스트 임베딩을 제로샷 객체 존재 가능도(zero-shot object presence likelihood)로 정교화하여, 이미지에 나타난 특정 객체들과의 정렬(alignment)을 정확히 보장한다. 객체 수준의 문맥 정보를 활용함으로써, 본 접근법은 다양한 데이터셋에 걸친 강한 일반화 성능과 함께 최첨단(state-of-the-art) 성과를 달성한다.

영상 수준 클래스 지식으로부터 유의미하게 정확한(pseudo) 마스크를 도출하여 분할에 활용하는 기법, 즉 영상 수준 약지도 의미 분할(image-level Weakly Supervised Semantic Segmentation, WSSS)은 여전히 어렵다. CNN을 사용하는 클래스 활성화 맵(Class Activation Maps, CAMs)은 사람의 얼굴만처럼 특정 클래스의 부분에 초점을 맞춤으로써 WSSS를 향상시키는 반면, 비전 트랜스포머(Vision Transformers, ViT)는 더 넓은 의미적 부분을 포착하지만 사람의 몸과 같은 클래스 전체에 대해, 개와 같은 인접한 물체를 포함한 완전한 클래스 특이 세부 정보를 종종 놓친다. 본 연구에서는 CNN으로부터의 클래스 지식과 ViT로부터의 의미론적 지식을 상호 보완적으로 제공하는 두 가지 서로 다른 아키텍처로 구성된 새로운 쌍(dual) 분기 프레임워크인 Co mplementary Bra nch(CoBra)를 제안한다. 구체적으로, CNN 분기에는 클래스 인지 투영(Class-Aware Projection, CAP)을, ViT 분기에는 의미 인지 투영(Semantic-Aware Projection, SAP)을 학습하고, 이들의 통찰을 결합하여 새로운 패치 수준 감독을 가능하게 하며, 클래스와 의미 정보를 통합하는 효과적인 유사 마스크를 생성한다. 광범위한 실험을 통해 각 분기가 서로 어떻게 보완하는지를 정성적 및 정량적으로 면밀히 분석하였고, 유의미한 결과를 보였다. 프로젝트 페이지와 코드는 다음에 제공된다: https://micv-yonsei.github.io/cobra2024/ . • 본 연구는 Complementary Branch Framework인 CoBra를 제안하며, CNN과 ViT의 강점을 활용하고 최대화하는 동시에 서로의 한계를 보완한다. • 각각 클래스 정보와 의미 정보를 포착하기 위해 Class-Aware Projection(CAP)과 Semantic-Aware Pro- jection(SAP)을 사용하고, 대조 학습(contrastive learning)을 통해 CNN 및 ViT 분기 모두에 대해 향상되고 보완적인 지침을 제공한다. • 본 모델의 영상 수준 WSSS 성능을 PASCAL VOC 2012 데이터셋 및 MS-COCO 2014에서 평가하였으며, seed, mask 및 분할 결과 전반에서 유의미한 성과를 보인다.