Implicit Continuous Representation for Arbitrary-Scale Generation and Efficient Super-Resolution Scaling
연구 내용
트랜스포머의 스케일링 제약을 메모리 효율 설계와 편향 근사로 완화하고, 연속 표현 기반 생성으로 임의 스케일 출력 특성을 모델링하는 효율적 영상·수치 신호 복원 연구
본 연구는 초해상도와 수치 시계열/공간 신호에서 스케일 변경과 고해상도 복원이 갖는 계산·메모리 병목을 해결하는 데 초점을 둡니다. 초해상도에서는 SR Transformer가 relative positional bias 중심으로 설계될 때 FlashAttention 같은 하드웨어 친화 커널 활용이 제한된다는 문제를 다룹니다. 이를 위해 positional bias를 저랭크 implicit neural representations로 근사해 attention score에서의 편향 연산을 dot-product 형태로 변환하고, convolutional local attention 및 cyclic window 전략을 함께 적용해 긴 범위 상호작용을 확장합니다. 또한 Transformers의 메모리 비효율을 줄이기 위해 partial large-kernel convolutions과 element-wise attention을 조합한 메모리 효율 SR CNN을 구성하여 성능 격차를 줄이는 방향을 제시합니다. 이와 별도로 tidal current 데이터에 대해서는 이미지와 다른 이질성과 국소 의존성을 고려하면서 implicit continuous representation을 통해 임의 스케일 downscaling을 생성 모델로 구현합니다.
관련 연구 성과
관련 논문
0편
관련 특허
0건
관련 프로젝트
0건
연구 흐름
초기에는 초해상도에서 Transformers의 표현력 장점을 유지하면서도 SR Transformer의 메모리 접근 비용과 편향 설계가 하드웨어 효율 커널 사용을 막는 문제를 확인했습니다. 이후 relative positional bias를 대체하기 위한 Rank-factorized Implicit Neural Bias(RIB)로 연구를 확장해, FlashAttention을 활용할 수 있는 attention 편향 근사와 convolutional local attention, cyclic window 전략을 결합하는 흐름을 구성했습니다. 동시에 트랜스포머 기반 SR의 메모리 비효율을 줄이기 위해 partial large-kernel convolutions과 element-wise attention 결합 구조를 도입하여 SR CNN의 효율성을 강화했습니다. 2024년에는 영상 외 영역인 tidal current downscaling으로 확장하여 임의 스케일 출력이 가능한 continuous representation 기반 프레임워크를 제안하며, 스케일링 관점에서 일관된 생성 전략을 확보하는 방향으로 진행했습니다.
활용 가능성
활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.