본 논문에서는 다중 시점 이미지를 활용하여 장면을 기하(geometry), SVBRDF, 그리고 3차원 공간적으로 변하는 조명(spatially-varying lighting)으로 분해하는 장면 수준 역렌더링(scene-level inverse rendering) 프레임워크를 제안한다. 다중 시점 이미지는 객체 수준 역렌더링에 널리 사용되어 왔으나, 장면 수준 역렌더링은 주로 단일 시점 이미지에 기반하여 연구되어 왔는데, 이는 실제 정답인 기하, 재료(material), 그리고 공간적으로 변하는 조명을 포함한 고다이내믹 레인지(high dynamic range) 다중 시점 이미지를 담은 데이터셋이 부족하기 때문이다. 장면 수준 역렌더링의 품질을 향상시키기 위해, 최근 Multi-view Attention Inverse Rendering(MAIR)이라는 새로운 프레임워크가 도입되었다. MAIR은 OpenRooms 데이터셋을 확장하고, 다중 시점 이미지를 처리하기 위한 효율적인 파이프라인을 설계하며, 공간적으로 변하는 조명을 분리함으로써 장면 수준의 다중 시점 역렌더링을 수행한다. MAIR은 인상적인 결과를 보였지만, 조명 표현이 구면 가우시안(spherical Gaussians)에 고정되어 있어 현실적인 렌더링 이미지 생성 능력이 제한된다. 따라서 MAIR은 재료 편집(material editing)과 같은 응용 분야에 그대로 활용할 수 없다. 또한, MAIR의 다중 시점 집계 네트워크는 다중 시점 특징들 사이의 평균과 분산에만 초점을 맞추기 때문에 풍부한 특징을 추출하는 데 어려움이 있다. 본 논문에서는 이러한 한계를 해결한 확장 버전인 MAIR++를 제안한다. MAIR++는 사실적인 렌더링을 가능하게 하면서도 이미지의 조명 조건을 정확히 포착하는 암시적 조명 표현(implicit lighting representation)을 도입하여 앞서 언급한 한계를 개선한다. 아울러, 관측 뷰(view) 간의 보다 복잡한 관계를 추론하기 위해 방향성 어텐션(directional attention) 기반의 다중 시점 집계 네트워크를 설계한다. 실험 결과는 MAIR++가 MAIR 및 단일 시점 기반 방법을 모두 능가할 뿐 아니라, 보지 못한 실제 장면에서도 견고한 성능을 보임을 나타낸다.

본 논문에서는 다중 시점 이미지를 활용하여 장면을 기하(geometry), SVBRDF, 그리고 3차원 공간적으로 변하는 조명(spatially-varying lighting)으로 분해하는 장면 수준 역렌더링(scene-level inverse rendering) 프레임워크를 제안한다. 다중 시점 이미지는 객체 수준 역렌더링에 널리 사용되어 왔으나, 장면 수준 역렌더링은 주로 단일 시점 이미지에 기반하여 연구되어 왔는데, 이는 실제 정답인 기하, 재료(material), 그리고 공간적으로 변하는 조명을 포함한 고다이내믹 레인지(high dynamic range) 다중 시점 이미지를 담은 데이터셋이 부족하기 때문이다. 장면 수준 역렌더링의 품질을 향상시키기 위해, 최근 Multi-view Attention Inverse Rendering(MAIR)이라는 새로운 프레임워크가 도입되었다. MAIR은 OpenRooms 데이터셋을 확장하고, 다중 시점 이미지를 처리하기 위한 효율적인 파이프라인을 설계하며, 공간적으로 변하는 조명을 분리함으로써 장면 수준의 다중 시점 역렌더링을 수행한다. MAIR은 인상적인 결과를 보였지만, 조명 표현이 구면 가우시안(spherical Gaussians)에 고정되어 있어 현실적인 렌더링 이미지 생성 능력이 제한된다. 따라서 MAIR은 재료 편집(material editing)과 같은 응용 분야에 그대로 활용할 수 없다. 또한, MAIR의 다중 시점 집계 네트워크는 다중 시점 특징들 사이의 평균과 분산에만 초점을 맞추기 때문에 풍부한 특징을 추출하는 데 어려움이 있다. 본 논문에서는 이러한 한계를 해결한 확장 버전인 MAIR++를 제안한다. MAIR++는 사실적인 렌더링을 가능하게 하면서도 이미지의 조명 조건을 정확히 포착하는 암시적 조명 표현(implicit lighting representation)을 도입하여 앞서 언급한 한계를 개선한다. 아울러, 관측 뷰(view) 간의 보다 복잡한 관계를 추론하기 위해 방향성 어텐션(directional attention) 기반의 다중 시점 집계 네트워크를 설계한다. 실험 결과는 MAIR++가 MAIR 및 단일 시점 기반 방법을 모두 능가할 뿐 아니라, 보지 못한 실제 장면에서도 견고한 성능을 보임을 나타낸다.

단일 이미지 초해상화(SISR)는 저해상도 관측으로부터 고해상도 이미지를 재구성하는 것을 목표로 한다. 최근의 딥러닝 기반 SISR 모델은 연산 비용의 증가를 대가로 높은 성능을 보이며, 이는 자원 제약 환경에서의 활용을 제한한다. 연산 효율적인 네트워크 설계를 위한 유망한 해결책으로서 네트워크 양자화는 광범위하게 연구되어 왔다. 그러나 SISR을 위해 개발된 기존의 양자화 방법들은 이미지의 자기유사성(self-similarity)을 효과적으로 활용하지 못한 채로 있으며, 이는 본 연구에서 새롭게 탐색할 방향이다. 본 연구에서는 이미지 초해상화를 위한 참조 기반 양자화(reference-based quantization) 방법인 RefQSR을 새롭게 제안한다. RefQSR은 이미지 내에서 여러 대표 패치에 대해 고비트 양자화를 적용하고, 이를 나머지 패치의 저비트 양자화를 위한 참조로 활용한다. 이를 위해 우리는 전용 패치 클러스터링 및 참조 기반 양자화 모듈을 설계하고, 기존 SISR 네트워크 양자화 방법에 이를 통합한다. 실험 결과는 다양한 SISR 네트워크 및 양자화 방법에서 RefQSR의 유효성을 입증한다.

단일 RGB 이미지를 기하(geometry), 재료(material), 조명(lighting)으로 분해하는 확산 기반 역렌더링(inverse rendering) 프레임워크를 제안한다. 역렌더링은 본질적으로 부적절한 문제(ill-posed problem)이므로 단일하고 정확한 해를 예측하기 어렵다. 이러한 어려움을 해결하기 위해 최근의 생성 모델 기반 방법들은 가능한 해의 범위를 제시하고자 한다. 그러나 단일한 정확한 해를 찾는 것과 다양한 해를 생성하는 것은 상충될 수 있다. 본 논문에서는 채널별 노이즈 스케줄링(channel-wise noise scheduling) 접근을 제안하여, 단일 확산 모델 아키텍처가 두 가지 상충하는 목표를 동시에 달성할 수 있게 한다. 서로 다른 채널별 노이즈 스케줄로 학습된 결과의 두 확산 모델은 단일한 고도로 정확한 해를 예측함과 동시에 여러 가능한 해를 제시할 수 있다. 실험 결과는 다양성과 정확성 모두에서 본 연구의 두 모델이 우수함을 보여주며, 이는 사물 삽입(object insertion) 및 재료 편집(material editing)과 같은 다운스트림 응용에서의 성능 향상으로 이어진다.

배경: SB17은 유스테키누맙(reference product, RP)에 대한 바이오시밀러로 개발되고 있다. 유스테키누맙 RP는 인간 단일클론 항체(IgG1 카파 면역글로불린)로서, 사이토카인 인터루킨(interleukin, IL)-23과 IL-12의 공통 p40 소단위에 결합한다. 이 소단위에 대한 결합은 이들 사이토카인의 수용체와의 상호작용을 차단하여, 염증성 질환에서 핵심적인 역할을 하는 면역계 반응의 조절로 이어진다. 목적: 본 연구의 목적은 다양한 최첨단 분석 방법을 사용하여 유스테키누맙 RP와 SB17 간의 구조적, 물리화학적 및 생물학적 유사성을 입증하는 것이었다. 방법: SB17과 유럽연합(EU) 및 미국(US) 유스테키누맙 RP를 대상으로 품질 범위 및 나란히 비교(사이드 바이 사이드) 접근법을 포함한 다양한 분석 방법을 통해 포괄적인 분석적 특성 규명을 수행하였다. 비교 항목에는 순도, 제품 관련 불순물, 전하 이질성, 1차 구조, 후성번역(번역후) 수정, 고차 구조, 양(quantity), Fab 관련 생물학적 활성(역가 및 결합 활성), Fc 관련 생물학적 활성(활성)이 포함되었다. 결과: 분석적 유사성 평가에 근거하여, 구조적, 물리화학적 및 생물학적 특성화 결과는 SB17이 유스테키누맙 RP와 비교 가능함을 보여주었다. 구조적 측면에서, SB17의 후성번역 수정 프로파일과 고차 구조가 유스테키누맙 RP와 비교하여 임상적으로 의미 있는 차이가 없다는 것이 확인되었다. 제품 관련 불순물 중 응집체 형태 역시 유사한 것으로 확인되었다. SB17은 생성 세포주 차이로 인해 유스테키누맙 RP에 비해 낮은 산성 및 염기성 변이체를 보였다. 유스테키누맙 RP는 Sp2/0 세포주에서 발현되는 반면, SB17은 CHO 세포주에서 발현된다. 그러나 전하 변이체에서 SB17과 유스테키누맙 RP 간의 차이는 동등한 생물학적 활성 관찰에 근거하여 임상적으로 의미 있는 것으로 간주되지 않았다. 작용기전(MoA) 관련 생물학적 활성의 경우, 분석된 전체 핵심 및 비핵심 품질 특성 측면에서 SB17은 EU 및 US 유스테키누맙 RP와 매우 유사하였다. 또한 Fc 관련 생물학적 활성에서의 유사성 또는 활성 부재도 확인되었다. 이러한 결과를 바탕으로, SB17은 유스테키누맙 RP와 비교하여 동등한 안전성 및 유효성을 가질 것으로 기대된다. 결론: 요약하면, 전반적인 분석적 특성화 및 유사성 평가 결과는 SB17이 구조적, 물리화학적, 생체물리학적 및 생물학적 특성 측면에서 EU 및 US 유스테키누맙 RP와 비교 가능함을 보여준다.

컴퓨터단층촬영(CT)은 의학적 진단을 위해 널리 사용되는 비침습적 영상 촬영 양식 중 하나이다. 임상 현장에서는 메모리 저장 비용과 운영 시간의 부담으로 인해 CT 영상을 보통 큰 슬라이스 두께로 획득하며, 그 결과 횡방향(in-plane) 해상도에 비해 슬라이스 간(inter-slice) 해상도가 훨씬 낮은 비등방성 CT 볼륨이 생성된다. 이러한 해상도 불일치는 질병 진단에 어려움을 초래할 수 있으므로, 슬라이스 간 해상도를 향상시키기 위한 딥러닝 기반 3차원(volumetric) 초해상도 방법들이 개발되어 왔다. 기존의 대부분 방법은 종방향(through-plane)에서의 단일 이미지 초해상도를 수행하거나 인접 슬라이스로부터 중간 슬라이스를 합성한다. 그러나 3차원 CT 볼륨의 비등방성 특성은 충분히 탐구되지 않았다. 본 논문에서는 3차원 CT 볼륨의 비등방성 특성을 충분히 활용하여 CT 슬라이스 보간을 위한 새로운 크로스 뷰(texture transfer) 질감 전이 접근법을 제안한다. 구체적으로, 고해상도 횡방향 질감 정보를 기준으로 설계하고 이를 저해상도 종방향 영상에 전이하는 독자적 프레임워크를 구성한다. 이를 위해 다중 참조 비국소(non-local) 어텐션 모듈을 도입하여, 여러 횡방향 이미지로부터 종방향 고주파 상세를 재구성하는 데 의미 있는 특징을 추출한다. 광범위한 실험을 통해, 본 방법이 실제 짝지어진(real-paired) 벤치마크를 포함한 공개 CT 데이터셋에서 기존 경쟁 방법들보다 CT 슬라이스 보간 성능이 유의하게 우수함을 보이며, 제안한 프레임워크의 유효성을 검증한다. 본 연구의 소스 코드는 https://github.com/khuhm/ACVTT 에서 제공된다.

저조도 영상 향상(Low-light image enhancement, LLIE)은 조명이 불량한 환경에서 촬영된 영상의 시각적 품질을 복원하는 것을 목표로 하며, 과노출, 노이즈, 낮은 대비와 같은 복합적 열화로 인해 여전히 어려운 과제로 남아 있다. 본 논문에서는 추정된 난이도에 따라 샘플 선택을 조절함으로써 효과적인 LLIE 모델 학습을 가능하게 하는 새로운 커리큘럼 학습 프레임워크를 제안한다. 핵심 아이디어는 내재적 분해(intrinsic decomposition)를 통해 얻는 잔차(residual) 신호가 색 번짐(color spill) 및 간접 조명(indirect lighting)과 같은 영상 특성을 포착하며, 이는 복원 난이도와 강하게 상관된다는 점이다. 우리는 이러한 잔차의 크기를 난이도의 대리 지표(proxy)로 사용하여, 더 쉬운 샘플부터 시작해 점차 더 어려운 샘플을 포함하는 커리큘럼 전략을 구현한다. 광범위한 실험 결과, 제안 방법은 다양한 LLIE 기준(baseline) 모델과 데이터셋 전반에서 일관되게 성능을 향상시키는 것으로 나타났다. 모델에 비의존적(model-agnostic)이며 플러그 앤 플레이(plug-and-play) 방식인 본 방법은 추가 주석 또는 아키텍처 수정 없이도 커리큘럼 학습을 통해 의미 있는 성능 향상을 제공한다.

디스플레이 패널에서 불균일한 밝기로 나타나는 한 종류의 얼룩(mura)은 표시 품질을 저해하는 가시적 인공물을 유발한다. 기존의 mura 보정 방법은 미세한 밝기 불일치를 정확히 포착하기 위해 장노출 이미징에 의존하지만, 이러한 접근은 시간이 많이 소요되며 고처리량 제조에는 적합하지 않다. 본 연구에서는 단노출 이미징을 이용하여 mura 보정 데이터를 추정하기 위해 과소노출 이미지 향상(underexposed image enhancement)을 활용하는 새로운 방법을 제안한다. 구체적으로, 우리는 장노출 및 단노출 이미지로부터 도출된 보정 데이터 간의 불일치를 최소화하도록 설계된 새로운 mura 보정 손실 함수를 도입한다. 지도 학습을 용이하게 하기 위해, 실제 mura 패턴과 합성 mura 패턴을 포함하는 디스플레이 패널의 장노출 및 단노출 이미지 쌍으로 구성된 데이터셋을 구축한다. 실험 결과는 제안한 접근의 효과를 보여주며, 제안한 손실 함수를 사용해 학습된 향상 네트워크가 정밀한 mura 보정을 달성하는 동시에 이미징 시간을 유의미하게 단축하여 효율적인 제조 공정에 대한 실용적 해결책을 제공함을 입증한다.

현재 이미지 생성 및 합성은 생성형 모델을 중심으로 괄목할 만한 발전을 이루었다. 포토리얼한 결과에도 불구하고, 주파수 영역에서는 본질적인 불일치가 여전히 관찰된다. 이러한 스펙트럼 불일치는 생성적 적대 신경망뿐 아니라 확산 모델에서도 나타난다. 본 연구에서는 생성된 이미지의 주파수 영역에서의 불일치를 효과적으로 완화하여 GAN과 확산 모델 모두의 생성 성능을 향상시키기 위한 프레임워크를 제안한다. 이는 대비 학습(contrastive learning)에 기반한, 이미지 생성의 정제를 위한 스펙트럼 번역(spectrum translation for the refinement of image generation, STIG)을 통해 구현된다. 우리는 다양한 생성 네트워크에서의 주파수 성분에 관한 이론적 논리를 채택한다. 핵심 아이디어는 디지털 신호 처리 관점에서 영상-대-영상(image-to-image) 번역 및 대비 학습의 개념을 바탕으로 생성 이미지의 스펙트럼을 정제하는 것이다. 우리는 STIG의 효과를 입증하기 위해 여덟 개의 가짜 이미지 데이터셋과 다양한 최첨단 모델에 걸쳐 프레임워크를 평가한다. 그 결과, 본 프레임워크는 다른 최첨단 방법들에 비해 FID 및 스펙트럼의 로그 주파수 거리(log frequency distance)가 유의하게 감소하여 더 우수한 성능을 보였다. 또한 STIG는 스펙트럼 이상(spectral anomaly)을 감소시킴으로써 이미지 품질을 향상시킨다는 점을 강조한다. 더 나아가 검증 결과, STIG로 가짜 스펙트럼을 조작한 경우 주파수 기반 딥페이크 탐지기가 더 큰 혼동을 일으키는 것으로 나타났다.