비디오 캡셔닝(video captioning)은 주어진 비디오 클립에 대해 자연어 설명을 생성하는 것을 목표로 한다. 기존 방법들은 주로 예측 캡션과 정답 텍스트 간의 단어 단위 비교를 통한 종단 간 표현 학습에 초점을 맞춘다. 상당한 진전에도 불구하고, 기존의 지도학습(supervised) 접근은 시각적 실체와 언어적 실체 간의 의미 정렬(semantic alignment)을 소홀히 하여 생성된 캡션에 부정적 영향을 줄 수 있다. 본 연구에서는 캡션을 생성하기 전에 네 가지 세분성(실체, 동사, 술어, 문장)에서 비디오 표현과 언어 의미를 연결하기 위해 계층적 모듈형 네트워크를 제안한다. 각 수준은 대응하는 의미를 비디오 표현에 내재화하기 위해 하나의 모듈로 구현된다. 또한 우리는 장면 그래프(scene graph)를 기반으로 한 캡션 강화학습(reinforcement learning) 모듈을 제시하여 문장 유사도를 더 잘 측정한다. 광범위한 실험 결과, 제안 방법은 microsoft research video description corpus(MSVD), MSR-video to text(MSR-VTT), video-and-TEXt(VATEX)를 포함한 세 개의 널리 사용되는 벤치마크 데이터셋에서 최신(state-of-the-art) 모델들과 비교하여 유리한 성능을 보인다.

얼굴 속성 조작(Facial Attribute Manipulation, FAM)은 주어진 얼굴 이미지의 미적 특성을 원하는 속성이 나타나도록 미적으로 수정하는 것을 목표로 하며, 디지털 엔터테인먼트부터 생체인식 포렌식에 이르기까지 폭넓은 실용적 응용이 가능하다는 점에서 상당한 주목을 받아 왔다. 지난 10년 동안 생성적 적대 신경망(Generative Adversarial Networks, GANs)이 사실적인 이미지를 합성하는 데 있어 괄목할 만한 성과를 보이면서, 다양한 문제 설정 방식과 유도 정보 표현을 통해 FAM을 해결하기 위한 수많은 GAN 기반 모델들이 제안되었다. 본 논문은 주요 동기와 기술적 세부 사항을 요약하는 데 초점을 두어 GAN 기반 FAM 방법에 대한 포괄적인 설문 조사를 제시한다. 본 설문 조사의 주요 내용은 다음을 포함한다: (i) FAM과 관련된 연구 배경 및 기본 개념에 대한 소개, (ii) 세 가지 주요 범주에 걸친 GAN 기반 FAM 방법들에 대한 체계적 문헌 고찰, (iii) FAM 방법의 중요한 성질, 해결되지 않은 쟁점, 그리고 향후 연구 방향에 대한 심층적 논의. 본 설문 조사는 이 분야에 새로 진입한 연구자들에게 좋은 출발점을 제공할 뿐 아니라, 비전(vision) 커뮤니티를 위한 참고 문헌으로도 기능한다.