본 논문에서는 오디오-이미지 생성 문제를 연구하며, 오디오 입력으로부터 적절한 이미지를 생성하는 방법을 다룬다. 선행 연구인 교차-양식 대조 표현 학습(Cross-Modal Contrastive Representation Learning, CMCRL)은 오디오와 이미지를 함께 사용하여 오디오-이미지 생성에 유용한 오디오 특징을 추출하도록 학습하였다. CMCRL은 생성 학습 단계에서 높은 성능을 달성하기 위해 생성적 적대 신경망(Generative Adversarial Networks, GAN)을 개선하였으나, GAN은 학습 불안정성을 보였다. 본 논문에서는 조건부 지도 대조 손실(conditional supervised contrastive loss, C-SupCon loss)을 사용하는 C-SupConGAN을 제안한다. C-SupConGAN은 판별기에서 데이터-데이터 관계와 데이터-클래스 관계를 고려하는 대조적 GAN(ContraGAN)의 조건부 대조 손실(2C loss)을 강화한다. CMCRL로 사전학습된 인코더에서 추출한 오디오 및 이미지 임베딩을 사용하여 C-SupCon loss를 추가로 확장한다. 확장된 C-SupCon loss는 데이터 임베딩과 해당 오디오 임베딩 간의 관계 정보(데이터-소스 관계) 또는 데이터 임베딩과 해당 이미지 임베딩 간의 관계 정보(데이터-타깃 관계) 또한 추가로 고려한다. 광범위한 실험 결과, 제안 방법은 성능을 향상시키고, 선행 연구보다 오디오-이미지 생성에서 더 높은 품질의 이미지를 생성하며, GAN의 학습 붕괴(training collapse)를 효과적으로 완화하는 것으로 나타났다.

포인트 클라우드 데이터셋은 LIDAR와 같은 센서가 자율주행차와 드론을 포함한 여러 응용 분야에서 손쉽게 활용될 수 있기 때문에, 기계가 현실 세계를 인지하는 데 빈번히 사용된다. PointNet 및 PointNet++은 포인트 클라우드를 해석하기 위한 널리 사용되는 포인트 단위 임베딩 방법이다. 그러나 PointNet을 기반으로 한 최신 모델이라도 실시간 추론은 여전히 어려운 과제로 남아 있다. 더 빠른 추론을 위한 해결책으로는 샘플링이 있는데, 샘플링은 다음 모듈에서 계산할 포인트의 수를 줄이는 방법이다. Furthest Point Sampling(FPS)은 널리 사용되지만, 느리고 핵심 포인트를 선택하기 어렵다는 단점이 있다. 본 논문에서는 주의(attention) 기법을 적용한 새로운 샘플링 방법인 Feature-Based Sampling(FBS)을 제안한다. 그 결과, 정확도는 기존 방법들과 유사하면서도 학습 시간과 추론 시간이 유의미하게 단축됨을 확인하였다. 추가 실험을 통해, 제안된 방법이 핵심 포인트를 보존하거나 중요하지 않은 포인트를 폐기하는 데 더 적합함을 보여준다.