딸기는 연약하기에 수확과 수확 후 처리 과정에서 다양한 손상이 발생하고 부패하기 쉽다. 품질 유지를 위해 과하게 숙성되었거나 손상된 딸기를 분류해야 하지만 사람에 의해 수동으로 이루어지고 있기에 주관적이며 일관성이 떨어진다. 숙성도를 판단하기 위해 딸기 과육 부분을 분할한 후 색상정보를 활용한다면 객관적인 측정 기준으로 사용할 수 있으므로 일관성 있는 선별에 도움을 줄 수 있다. 하지만 단순히 임계치 기반의 방법으로는 분할하는 것을 자동화하기에 한계가 있다. 따라서 본 논문에서는 이러한 선별 과정의 객관성과 자동화를 위해 합성곱 신경망을 사용해 딸기 과육 분할 학습을 진행하였다. 정보 손실을 줄이기 위해 풀링을 사용하지 않았고, 다양한 크기의 필터를 가진 합성곱 층을 연결한 분기 구조를 사용하였다. 이를 통해 다양한 상태의 딸기를 더욱 정교하게 분할할 수 있었으며 정보손실을 줄일 수 있음을 확인하였다.

약지도 학습 기반 의미 분할(WSSS) 접근법은 일반적으로 초기 시드 생성에 클래스 활성화 맵(CAM)에 의존하나, 영상-수준 라벨에 대한 제한된 감독으로 인해 전역적 문맥을 충분히 포착하지 못하는 경우가 많다. 이러한 문제를 해결하기 위해, 우리는 텍스트 임베딩을 활용하여 서로 다른 수준의 세분화 정도에서 대상에 대한 포괄적 이해와 정밀한 위치 파악을 향상시키는 Dense Alignment Learning Network인 DALNet을 제안한다. 우리의 핵심 아이디어는 이중 수준 정렬 전략을 사용하는 것이다. (1) 클래스 토큰과 해당 텍스트 임베딩 간의 유사도를 최대화하는 한편 배경 임베딩과의 유사도는 최소화하여 전역 의미를 포착하는 전역 암묵적 정렬(Global Implicit Alignment, GIA), 그리고 (2) 패치 토큰으로부터의 공간 정보를 활용하여 대상 위치 파악을 개선하는 국소 명시적 정렬(Local Explicit Alignment, LEA)이다. 또한, 영상과 텍스트 양식 간의 전경 특징을 정렬하되 배경과는 분리하는 교차 대조 학습(cross-contrastive learning) 접근법을 제안하여, 누락된 영역에서의 활성화를 유도하고 주의를 분산시키는 요소를 억제한다. PASCAL VOC 및 MS COCO 데이터셋에서의 광범위한 실험을 통해, DALNet이 최신 WSSS 방법들보다 유의미하게 우수함을 입증한다. 특히 본 접근법은 단일 단계 방법(single-stage method)으로서 보다 효율적인 종단 간(end-to-end) 처리를 가능하게 한다.

데이터 주석은 새로운 데이터셋을 구축하기 위한 필수 단계이다. 그러나 크라우드소싱을 통한 기존의 데이터 주석 방식은 시간과 비용이 모두 많이 소요된다. 또한 크라우드워커의 언어 풀 차이로 인해 저자원 언어를 다룰 때 이 과정의 복잡성이 더욱 증가한다. 이러한 문제를 해결하기 위해 본 연구에서는 최근 괄목할 만한 성능을 보인 대규모 언어 모델을 활용하여 자율적 주석 방법을 제안한다. 실험을 통해, 제안한 방법이 단지 비용 효율적일 뿐 아니라 저자원 언어 주석에도 적용 가능함을 입증한다. 추가로, 본 접근법을 사용하여 이미지 캡셔닝 데이터셋을 구축하였으며, 향후 연구를 위해 이 데이터셋을 공개하고자 한다. 재현성을 위해 소스 코드를 공개하였다. 1 * NLLB (기계 번역):Dziewczyna graj ca na tr bce w zespole.(밴드에서 트럼펫을 연주하는 소녀.)* GPT Annotator w/ GPT-4: Dziewczyna graj ca na tr bce w orkiestrze marszowej.(행진 오케스트라에서 트럼펫을 연주하는 소녀.)생성 문장의 품질 - Flickr

데이터 주석은 새로운 데이터셋을 구축하는 데 필수적인 단계이다. 그러나 크라우드소싱을 통한 기존의 데이터 주석 방식은 시간과 비용이 모두 많이 소요된다. 또한, 크라우드워커의 언어 풀(language pool)이 다르기 때문에 저자원 언어를 다루는 경우 이 과정의 복잡성이 더욱 증가한다. 이러한 문제를 해결하기 위해 본 연구에서는 최근 괄목할 만한 성능을 보이는 것으로 입증된 대규모 언어 모델을 활용하여 자율적 주석 방법을 제안한다. 우리의 실험을 통해 제안된 방법이 단지 비용 효율적인 것에 그치지 않고 저자원 언어에 대한 주석에도 적용 가능함을 보여준다. 아울러 본 접근법을 사용하여 이미지 캡셔닝 데이터셋을 구축하였으며, 향후 연구를 위해 이를 공개할 계획이다. 추가 연구와 재현성을 위해 소스 코드를 공개하였다.

약한 형태의 라벨을 사용하는 약지도 의미 분할(Weakly Supervised Semantic Segmentation, WSSS)은 픽셀 수준 라벨 획득에 드는 주석 비용을 완화하기 위해 활발히 연구되어 왔다. 그러나 편향된 데이터셋에서 학습된 분류기는 단축 특징(shortcut features)을 활용하고, 특정 배경과 객체 사이의 우연적 상관관계에 기반하여 예측하는 경향이 있어 일반화 성능이 저하된다. 본 논문에서는 WSSS를 위한 단축 완화 증강(Shortcut Mitigating Augmentation, SMA)을 제안하며, 이는 학습 데이터에서 관측되지 않은 객체-배경 조합의 합성 표현을 생성하여 단축 특징의 사용을 줄인다. 우리의 접근은 객체 관련 특징과 배경 특징을 분리한다. 이어서 분리된 표현을 셔플(shuffle)하고 결합하여 다양한 객체-배경 조합의 합성 특징을 만든다. SMA로 학습된 분류기는 예측 시 컨텍스트에 덜 의존하고 대상 객체에 더 집중한다. 또한, 귀속(attribution) 방법 기반 메트릭을 사용하여 증강 적용 이후 단축 사용에 관한 분류기의 거동을 분석하였다. 제안된 방법은 PASCAL VOC 2012 및 MS COCO 2014 데이터셋에서 의미 분할 결과의 성능 향상을 달성하였다.

여러 사람이나 군중을 탐지하는 경우, 더 많은 바운딩 박스가 생성됨에 따라 오탐(false-positive) 예측률이 증가한다. 본 연구에서는 오브젝트 디텍션 모델의 오탐 예측을 감소시키는 손실 함수를 제안한다. 제안된 손실 함수는 바운딩 박스가 정답(GT) 박스에 더 가깝게 위치하도록 유도할 뿐만 아니라, GT 박스와 중첩된 인접 객체 또는 다른 바운딩 박스 사이의 중심점 거리 또한 더 길어지도록 한다. 또한 객체 예측의 정밀도를 향상시키기 위해 균형 잡힌 피처 피라미드를 도입하였다. 제안된 방법을 적용한 결과, false positive per image에 대한 log-average miss rate가 [10⁻², 100]에서 기존 방법에 비해 1.89% 낮았으며, 평균 정밀도(average precision)와 Jaccard 지수는 각각 0.5%와 0.58% 높았다. 이는 제안 방법이 오탐 예측을 효과적으로 감소시킴을 시사한다.

본 연구는 스톱모션 애니메이션 제작을 용이하게 하는 딥러닝 기반 프레임 보간에 초점을 둔다. 스톱모션 애니메이션의 움직임을 딥러닝으로 학습함으로써, 프레임 보간은 자기 자신의 제작을 향해 체계적으로 작동한다. 동작의 과장 또는 삭제에 대한 이해를 바탕으로 제안하는 프레임 보간 기법은 다른 선형 프레임 보간 기법들과는 차별화된다. 본 프로젝트에서는 Chung-Ang University Technology Holdings의 자회사인 Taktoon Enterprise가 제작한 스톱모션 애니메이션 Teenie Scouts BigFive를 사용하였으며, 이는 4K UHD 고해상도 이미지로 프레임레이트 15 fps에서 생성되었다.

목적: 반복적 재구성은 영상의 질을 저하시킨다. 따라서 흉부 저선량 전산화단층촬영(LDCT)에서 이 기법의 일부 제한을 극복하기 위해 영상 재구성의 추가적인 발전이 필요하다. 딥러닝 영상 재구성(DLIR)은 영상의 질을 유지하면서 선량을 낮추기 위해 사용하는 새로운 방법이다. 본 연구의 목적은 DLIR로 재구성한 LDCT 영상의 영상 품질과 노이즈를 평가하고, 적응 통계적 반복 재구성-Veo의 30% 수준(ASiR-V 30%)으로 재구성한 영상과 비교하는 것이다. 재료 및 방법: 본 후향적 연구에는 폐암 선별검사를 위해 LDCT를 시행받은 58명의 환자가 포함되었다. 데이터셋은 ASiR-V 30%와 DLIR의 중간 및 고수준(각각 DLIR-M, DLIR-H)으로 재구성하였다. 폐, 종격동, 간 및 배경 공기에서의 평균 감쇠값과 헌스필드 단위의 표준편차를 나타내는 객관적 영상 신호 및 노이즈, 그리고 주관적 영상 대비, 영상 노이즈, 구조의 식별가능성(conspicuity)을 평가하였다. ASiR-V 30%, DLIR-M, DLIR-H에 의해 처리된 CT 영상 간의 차이를 평가하였다. 결과: < 0.001). 결론: DLIR은 ASiR-V 30%에 비해 흉부 LDCT 영상에서 영상의 질을 유지하면서 영상 노이즈를 유의하게 감소시켰다.

이 연구는 심야에서 새벽 초까지 보행자–차량 충돌 사고가 다수 발생하기 때문에, 야간에 촬영한 열영상(thermal)에서의 실시간 보행자 검출에 초점을 맞춘다. 그러나 보행자와 도로 사이의 열 에너지는 계절에 따라 달라진다. 이에 본 연구는 특정 계절에 따라 배경으로부터 보행자를 부각시키기 위해 적응형 부울 지도 기반의 주의집중도(saliency)인 ABMS의 사용을 제안한다. 보행자 인식을 위해, 우리는 기존의 분류기(classifier) 기반 방법과 달리 컨볼루션 신경망 기반 보행자 검출 알고리즘인 You Only Look Once (YOLO)를 사용한다. 원래 버전과 달리, 본 연구는 우선지식에 기반하여 보행자가 배경보다 더 높은 주의집중도를 가진다는 하드와이어드 커널을 사용해 ABMS로 구성한 주의집중도 특징 맵(feature map)과 YOLO를 결합한다. 제안된 알고리즘은 이동하는 차량에 의해 촬영된 열영상 데이터셋에 성공적으로 적용되었으며, 다른 관련 최신(state-of-the-art) 방법들보다 성능이 더 우수함이 확인되었다.