👾 [Paper-1] VideoCrafter1: Open Diffusion Models for High-Quality Video Generation

[fxnnxc]

논문링크
발표자료
Github

🎥 고품질 비디오 생성 모델: T2V & I2V 🚀

🔍 개요

비디오 생성은 학계와 산업계 모두에서 큰 관심을 받고 있습니다. 상용 도구들이 그럴듯한 비디오를 생성할 수 있지만, 연구자들이 사용할 수 있는 오픈소스 모델은 여전히 부족합니다. 이 연구에서는 텍스트-비디오(T2V) 및 이미지-비디오(I2V) 두 가지 확산 모델을 제안합니다.

💡 T2V 모델

• 주어진 텍스트 입력을 기반으로 비디오를 생성
• 1024 × 576 해상도의 현실적이고 영화 같은 품질의 비디오 생성 가능
• 다른 오픈소스 모델에 비해 더 나은 품질을 제공

💡 I2V 모델

• 이미지 입력을 추가로 받아, 주어진 이미지의 내용, 구조, 스타일을 유지하며 비디오 생성
• 최초의 오픈소스 I2V 기초 모델로, 콘텐츠 보존 제약 조건을 충족하는 영상 변환 가능

---

🌐 배경

• Stable Diffusion(SD) 와 같은 텍스트-이미지(T2I) 모델은 이미지 생성에서 큰 성과를 보였지만, 텍스트-비디오(T2V) 분야에서는 오픈소스 모델이 부족함
• 상용 도구들은 고품질 비디오를 생성할 수 있지만, 연구자들에게는 접근이 어려움
• 현존하는 몇몇 오픈소스 모델들은 저해상도(256 × 256) 비디오 생성이나 품질 문제가 있음

---

🎯 기여

1. 텍스트-비디오(T2V) 모델은 1024 × 576 해상도의 고품질 비디오를 생성할 수 있으며, 2초 동안 지속
2. 이미지-비디오(I2V) 모델은 콘텐츠와 구조를 엄격히 유지하며, 텍스트와 이미지 입력 모두 허용
3. 연구자들과 개발자들이 이를 기반으로 더 나은 비디오 생성 기술을 개발할 수 있도록, 오픈소스 커뮤니티에 큰 기여

---

🔧 기술적 세부사항

• T2V 모델: SD 2.1을 기반으로, 시간 일관성을 유지하기 위한 시간 주의(attention) 레이어 추가
• I2V 모델: CLIP을 활용하여 이미지 임베딩을 추출, 텍스트 임베딩과 유사하게 SD UNet에 삽입
• 학습 데이터: LAION COCO 600M, Webvid10M 등 총 10M 고해상도 비디오 데이터셋 사용

---

[fxnnxc]

질문1 : fps 입력은 무슨 역할을 하나요???

디퓨전 입력에 넣는 거

• fps
• time
• text prompt
• image prompt