본 논문에서는 다중 시점 이미지를 활용하여 장면을 기하(geometry), SVBRDF, 그리고 3차원 공간적으로 변하는 조명(spatially-varying lighting)으로 분해하는 장면 수준 역렌더링(scene-level inverse rendering) 프레임워크를 제안한다. 다중 시점 이미지는 객체 수준 역렌더링에 널리 사용되어 왔으나, 장면 수준 역렌더링은 주로 단일 시점 이미지에 기반하여 연구되어 왔는데, 이는 실제 정답인 기하, 재료(material), 그리고 공간적으로 변하는 조명을 포함한 고다이내믹 레인지(high dynamic range) 다중 시점 이미지를 담은 데이터셋이 부족하기 때문이다. 장면 수준 역렌더링의 품질을 향상시키기 위해, 최근 Multi-view Attention Inverse Rendering(MAIR)이라는 새로운 프레임워크가 도입되었다. MAIR은 OpenRooms 데이터셋을 확장하고, 다중 시점 이미지를 처리하기 위한 효율적인 파이프라인을 설계하며, 공간적으로 변하는 조명을 분리함으로써 장면 수준의 다중 시점 역렌더링을 수행한다. MAIR은 인상적인 결과를 보였지만, 조명 표현이 구면 가우시안(spherical Gaussians)에 고정되어 있어 현실적인 렌더링 이미지 생성 능력이 제한된다. 따라서 MAIR은 재료 편집(material editing)과 같은 응용 분야에 그대로 활용할 수 없다. 또한, MAIR의 다중 시점 집계 네트워크는 다중 시점 특징들 사이의 평균과 분산에만 초점을 맞추기 때문에 풍부한 특징을 추출하는 데 어려움이 있다. 본 논문에서는 이러한 한계를 해결한 확장 버전인 MAIR++를 제안한다. MAIR++는 사실적인 렌더링을 가능하게 하면서도 이미지의 조명 조건을 정확히 포착하는 암시적 조명 표현(implicit lighting representation)을 도입하여 앞서 언급한 한계를 개선한다. 아울러, 관측 뷰(view) 간의 보다 복잡한 관계를 추론하기 위해 방향성 어텐션(directional attention) 기반의 다중 시점 집계 네트워크를 설계한다. 실험 결과는 MAIR++가 MAIR 및 단일 시점 기반 방법을 모두 능가할 뿐 아니라, 보지 못한 실제 장면에서도 견고한 성능을 보임을 나타낸다.

단일 이미지 초해상화(SISR)는 저해상도 관측으로부터 고해상도 이미지를 재구성하는 것을 목표로 한다. 최근의 딥러닝 기반 SISR 모델은 연산 비용의 증가를 대가로 높은 성능을 보이며, 이는 자원 제약 환경에서의 활용을 제한한다. 연산 효율적인 네트워크 설계를 위한 유망한 해결책으로서 네트워크 양자화는 광범위하게 연구되어 왔다. 그러나 SISR을 위해 개발된 기존의 양자화 방법들은 이미지의 자기유사성(self-similarity)을 효과적으로 활용하지 못한 채로 있으며, 이는 본 연구에서 새롭게 탐색할 방향이다. 본 연구에서는 이미지 초해상화를 위한 참조 기반 양자화(reference-based quantization) 방법인 RefQSR을 새롭게 제안한다. RefQSR은 이미지 내에서 여러 대표 패치에 대해 고비트 양자화를 적용하고, 이를 나머지 패치의 저비트 양자화를 위한 참조로 활용한다. 이를 위해 우리는 전용 패치 클러스터링 및 참조 기반 양자화 모듈을 설계하고, 기존 SISR 네트워크 양자화 방법에 이를 통합한다. 실험 결과는 다양한 SISR 네트워크 및 양자화 방법에서 RefQSR의 유효성을 입증한다.

본 논문에서는 다중 시점 이미지를 활용하여 장면을 기하(geometry), SVBRDF, 그리고 3차원 공간적으로 변하는 조명(spatially-varying lighting)으로 분해하는 장면 수준 역렌더링(scene-level inverse rendering) 프레임워크를 제안한다. 다중 시점 이미지는 객체 수준 역렌더링에 널리 사용되어 왔으나, 장면 수준 역렌더링은 주로 단일 시점 이미지에 기반하여 연구되어 왔는데, 이는 실제 정답인 기하, 재료(material), 그리고 공간적으로 변하는 조명을 포함한 고다이내믹 레인지(high dynamic range) 다중 시점 이미지를 담은 데이터셋이 부족하기 때문이다. 장면 수준 역렌더링의 품질을 향상시키기 위해, 최근 Multi-view Attention Inverse Rendering(MAIR)이라는 새로운 프레임워크가 도입되었다. MAIR은 OpenRooms 데이터셋을 확장하고, 다중 시점 이미지를 처리하기 위한 효율적인 파이프라인을 설계하며, 공간적으로 변하는 조명을 분리함으로써 장면 수준의 다중 시점 역렌더링을 수행한다. MAIR은 인상적인 결과를 보였지만, 조명 표현이 구면 가우시안(spherical Gaussians)에 고정되어 있어 현실적인 렌더링 이미지 생성 능력이 제한된다. 따라서 MAIR은 재료 편집(material editing)과 같은 응용 분야에 그대로 활용할 수 없다. 또한, MAIR의 다중 시점 집계 네트워크는 다중 시점 특징들 사이의 평균과 분산에만 초점을 맞추기 때문에 풍부한 특징을 추출하는 데 어려움이 있다. 본 논문에서는 이러한 한계를 해결한 확장 버전인 MAIR++를 제안한다. MAIR++는 사실적인 렌더링을 가능하게 하면서도 이미지의 조명 조건을 정확히 포착하는 암시적 조명 표현(implicit lighting representation)을 도입하여 앞서 언급한 한계를 개선한다. 아울러, 관측 뷰(view) 간의 보다 복잡한 관계를 추론하기 위해 방향성 어텐션(directional attention) 기반의 다중 시점 집계 네트워크를 설계한다. 실험 결과는 MAIR++가 MAIR 및 단일 시점 기반 방법을 모두 능가할 뿐 아니라, 보지 못한 실제 장면에서도 견고한 성능을 보임을 나타낸다.

단일 이미지 초해상화(SISR)는 저해상도 관측으로부터 고해상도 이미지를 재구성하는 것을 목표로 한다. 최근의 딥러닝 기반 SISR 모델은 연산 비용의 증가를 대가로 높은 성능을 보이며, 이는 자원 제약 환경에서의 활용을 제한한다. 연산 효율적인 네트워크 설계를 위한 유망한 해결책으로서 네트워크 양자화는 광범위하게 연구되어 왔다. 그러나 SISR을 위해 개발된 기존의 양자화 방법들은 이미지의 자기유사성(self-similarity)을 효과적으로 활용하지 못한 채로 있으며, 이는 본 연구에서 새롭게 탐색할 방향이다. 본 연구에서는 이미지 초해상화를 위한 참조 기반 양자화(reference-based quantization) 방법인 RefQSR을 새롭게 제안한다. RefQSR은 이미지 내에서 여러 대표 패치에 대해 고비트 양자화를 적용하고, 이를 나머지 패치의 저비트 양자화를 위한 참조로 활용한다. 이를 위해 우리는 전용 패치 클러스터링 및 참조 기반 양자화 모듈을 설계하고, 기존 SISR 네트워크 양자화 방법에 이를 통합한다. 실험 결과는 다양한 SISR 네트워크 및 양자화 방법에서 RefQSR의 유효성을 입증한다.

중층저서동물(메조조오플랑크톤, Mesozooplankton)은 해양 생태계의 핵심 구성요소로서, 식물플랑크톤을 섭식하고 어류 개체군에 영향을 줌으로써 1차 생산자와 상위 영양 단계 사이의 주요 매개자 역할을 한다. 이들은 펠라직 먹이그물과 수출 생산(export production)에서 중추적인 역할을 수행하며, 탄소 및 영양염의 생지화학적 순환에 영향을 미친다. 따라서 메조조오플랑크톤 군집 역학을 정확하게 모델링하고 시각화하는 것은 해양 생태계의 양상에 대한 이해와 효과적인 관리 전략 수립에 필수적이다. 그러나 이러한 역학을 모델링하는 일은 물리적, 화학적, 생물학적 요인들 사이의 복합적 상호작용과, 이론 기반 모델에서 상세한 매개변수화 및 피드백 메커니즘이 충분히 이해되지 않았다는 점 때문에 여전히 어렵다. 그래프 신경망(graph neural network, GNN) 모델은 다변량 특성을 예측하고 입력 변수들 간의 상관관계를 정의하는 데 유망한 접근법을 제공한다. GNN의 높은 해석력은 변수들 사이의 구조적 관계에 대한 심층적 통찰을 제공하며, 이를 통해 딥러닝 알고리즘에서 연결 행렬(connection matrix)로 활용할 수 있다. 다만, 입력 변수들 간의 상호작용이 학습 과정에서 모델 출력에 어떻게 영향을 미치는지에 대한 이해는 부족하다. 본 연구에서는 메조조오플랑크톤 종에 대한 예측 정확도를 예측하기 위해 GNN 모델을 학습하는 데 사용된 생태계 역학의 그래프 구조가 어떠한 영향을 미치는지 조사한다. 그 결과, 예측 정확도는 생태계 역학 내의 상호작용과 밀접하게 관련됨을 확인하였다. 특히 노드의 수를 늘린다고 해서 항상 모델 성능이 향상되는 것은 아니며, 서로 밀접하게 연결된 종들은 경향 및 정점 도달 시점(timing) 측면에서 유사한 예측 출력을 보이는 경향이 있다. 따라서 우리는 관심 있는 종에 대한 영향력 있는 정보를 제공함으로써 생태계 역학의 그래프 구조를 통합하면 메조조오플랑크톤 모델링의 정확도를 향상시킬 수 있음을 입증한다. 이러한 결과는 메조조오플랑크톤 종에 영향을 미치는 주요 요인들에 대한 통찰을 제공하고, 이들 종을 예측하기 위한 적절한 그래프의 구축이 중요함을 강조할 것이다.

해양 포유류에서 발생하는 감염병 관련 대량 폐사 사건(ID-MMEs)은 지난 30년 동안 급격히 증가해 왔으며, 바이러스가 주요 원인으로 확인되었다. 본 연구는 휴대용 기기를 이용한 현장 즉시(point-of-care) 진단의 개발과 유용성을 검증한다. 실시간 정량 중합효소연쇄반응(실시간 qPCR, real-time qPCR)을 사용하여, 현장 적용에서 해양 포유류를 감염시키는 바이러스를 검출하기 위한 휴대용 진단 방법을 개발하고 검증하였다. 구체적으로 Franklin 휴대용 열순환기(portable thermocycler)를 사용하여 해양 포유류 바이러스에 대한 현장 진단의 가능성을 입증하였다. 휴대용 장치는 즉각적인 현장 즉시 진단을 가능하게 하며, 자원이 제한된 환경에서 바이러스의 전파 및 변이를 검출하기 위해 높은 이동성을 제공함으로써 초기 대응에 기여한다. 이 장치는 자원이 제한된 환경에서 해양 포유류 바이러스를 신속하고 정확하게 진단할 수 있게 하여, 해양 생태계 및 인간을 포함한 다른 종으로의 감염 확산을 완화하기 위한 시의적절한 개입을 촉진한다. 이러한 발전에도 불구하고, 현장 즉시 진단을 위한 DNA 추출의 최적화와 임상 검체의 확보를 포함한 몇 가지 과제가 여전히 남아 있다. 결론적으로, 본 연구는 해양 포유류의 바이러스성 질환에 대한 대응에서 현장 즉시 진단 검사(point-of-care diagnostic tests)의 잠재적 가치를 강조한다.

단일 RGB 이미지를 기하(geometry), 재료(material), 조명(lighting)으로 분해하는 확산 기반 역렌더링(inverse rendering) 프레임워크를 제안한다. 역렌더링은 본질적으로 부적절한 문제(ill-posed problem)이므로 단일하고 정확한 해를 예측하기 어렵다. 이러한 어려움을 해결하기 위해 최근의 생성 모델 기반 방법들은 가능한 해의 범위를 제시하고자 한다. 그러나 단일한 정확한 해를 찾는 것과 다양한 해를 생성하는 것은 상충될 수 있다. 본 논문에서는 채널별 노이즈 스케줄링(channel-wise noise scheduling) 접근을 제안하여, 단일 확산 모델 아키텍처가 두 가지 상충하는 목표를 동시에 달성할 수 있게 한다. 서로 다른 채널별 노이즈 스케줄로 학습된 결과의 두 확산 모델은 단일한 고도로 정확한 해를 예측함과 동시에 여러 가능한 해를 제시할 수 있다. 실험 결과는 다양성과 정확성 모두에서 본 연구의 두 모델이 우수함을 보여주며, 이는 사물 삽입(object insertion) 및 재료 편집(material editing)과 같은 다운스트림 응용에서의 성능 향상으로 이어진다.

배경: SB17은 유스테키누맙(reference product, RP)에 대한 바이오시밀러로 개발되고 있다. 유스테키누맙 RP는 인간 단일클론 항체(IgG1 카파 면역글로불린)로서, 사이토카인 인터루킨(interleukin, IL)-23과 IL-12의 공통 p40 소단위에 결합한다. 이 소단위에 대한 결합은 이들 사이토카인의 수용체와의 상호작용을 차단하여, 염증성 질환에서 핵심적인 역할을 하는 면역계 반응의 조절로 이어진다. 목적: 본 연구의 목적은 다양한 최첨단 분석 방법을 사용하여 유스테키누맙 RP와 SB17 간의 구조적, 물리화학적 및 생물학적 유사성을 입증하는 것이었다. 방법: SB17과 유럽연합(EU) 및 미국(US) 유스테키누맙 RP를 대상으로 품질 범위 및 나란히 비교(사이드 바이 사이드) 접근법을 포함한 다양한 분석 방법을 통해 포괄적인 분석적 특성 규명을 수행하였다. 비교 항목에는 순도, 제품 관련 불순물, 전하 이질성, 1차 구조, 후성번역(번역후) 수정, 고차 구조, 양(quantity), Fab 관련 생물학적 활성(역가 및 결합 활성), Fc 관련 생물학적 활성(활성)이 포함되었다. 결과: 분석적 유사성 평가에 근거하여, 구조적, 물리화학적 및 생물학적 특성화 결과는 SB17이 유스테키누맙 RP와 비교 가능함을 보여주었다. 구조적 측면에서, SB17의 후성번역 수정 프로파일과 고차 구조가 유스테키누맙 RP와 비교하여 임상적으로 의미 있는 차이가 없다는 것이 확인되었다. 제품 관련 불순물 중 응집체 형태 역시 유사한 것으로 확인되었다. SB17은 생성 세포주 차이로 인해 유스테키누맙 RP에 비해 낮은 산성 및 염기성 변이체를 보였다. 유스테키누맙 RP는 Sp2/0 세포주에서 발현되는 반면, SB17은 CHO 세포주에서 발현된다. 그러나 전하 변이체에서 SB17과 유스테키누맙 RP 간의 차이는 동등한 생물학적 활성 관찰에 근거하여 임상적으로 의미 있는 것으로 간주되지 않았다. 작용기전(MoA) 관련 생물학적 활성의 경우, 분석된 전체 핵심 및 비핵심 품질 특성 측면에서 SB17은 EU 및 US 유스테키누맙 RP와 매우 유사하였다. 또한 Fc 관련 생물학적 활성에서의 유사성 또는 활성 부재도 확인되었다. 이러한 결과를 바탕으로, SB17은 유스테키누맙 RP와 비교하여 동등한 안전성 및 유효성을 가질 것으로 기대된다. 결론: 요약하면, 전반적인 분석적 특성화 및 유사성 평가 결과는 SB17이 구조적, 물리화학적, 생체물리학적 및 생물학적 특성 측면에서 EU 및 US 유스테키누맙 RP와 비교 가능함을 보여준다.

컴퓨터단층촬영(CT)은 의학적 진단을 위해 널리 사용되는 비침습적 영상 촬영 양식 중 하나이다. 임상 현장에서는 메모리 저장 비용과 운영 시간의 부담으로 인해 CT 영상을 보통 큰 슬라이스 두께로 획득하며, 그 결과 횡방향(in-plane) 해상도에 비해 슬라이스 간(inter-slice) 해상도가 훨씬 낮은 비등방성 CT 볼륨이 생성된다. 이러한 해상도 불일치는 질병 진단에 어려움을 초래할 수 있으므로, 슬라이스 간 해상도를 향상시키기 위한 딥러닝 기반 3차원(volumetric) 초해상도 방법들이 개발되어 왔다. 기존의 대부분 방법은 종방향(through-plane)에서의 단일 이미지 초해상도를 수행하거나 인접 슬라이스로부터 중간 슬라이스를 합성한다. 그러나 3차원 CT 볼륨의 비등방성 특성은 충분히 탐구되지 않았다. 본 논문에서는 3차원 CT 볼륨의 비등방성 특성을 충분히 활용하여 CT 슬라이스 보간을 위한 새로운 크로스 뷰(texture transfer) 질감 전이 접근법을 제안한다. 구체적으로, 고해상도 횡방향 질감 정보를 기준으로 설계하고 이를 저해상도 종방향 영상에 전이하는 독자적 프레임워크를 구성한다. 이를 위해 다중 참조 비국소(non-local) 어텐션 모듈을 도입하여, 여러 횡방향 이미지로부터 종방향 고주파 상세를 재구성하는 데 의미 있는 특징을 추출한다. 광범위한 실험을 통해, 본 방법이 실제 짝지어진(real-paired) 벤치마크를 포함한 공개 CT 데이터셋에서 기존 경쟁 방법들보다 CT 슬라이스 보간 성능이 유의하게 우수함을 보이며, 제안한 프레임워크의 유효성을 검증한다. 본 연구의 소스 코드는 https://github.com/khuhm/ACVTT 에서 제공된다.