OpenAI가 수개월간의 지연 끝에 Sora를 계속 예고하는 동안, 텐센트는 기존 최상위 비디오 생성기와 비교할 만한 결과를 이미 보여주는 모델을 조용히 공개했습니다.
텐센트는 무료 오픈소스 AI 비디오 생성기인 Hunyuan Video를 공개했는데, 이는 OpenAI의 12일간 발표 캠페인 기간 전략적으로 타이밍을 맞춘 것입니다. 이 캠페인에는 Sora, 그들의 기대작 비디오 도구의 데뷔가 포함될 것으로 널리 예상되고 있습니다.
"우리는 비디오 생성 성능이 선두 폐쇄형 모델과 비교해 동등하거나 더 우수한 새로운 오픈소스 비디오 기반 모델인 Hunyuan Video를 소개합니다"라고 텐센트는 공식 발표에서 밝혔습니다.
중국 선전 기반의 이 기술 기업은 자사 모델이 Runway Gen-3, Luma 1.6 및 "3개의 최고 성능 중국 비디오 생성 모델"을 "능가한다"고 주장합니다. 이는 전문가의 인적 평가 결과에 기반한 것입니다.
이 타이밍은 매우 적절합니다.
비디오 생성기 출시 전, 오픈소스 이미지 생성기의 SDXL과 Flux 시대 사이에 텐센트는 유사한 이름의 이미지 생성기를 출시했습니다.
HunyuanDit은 우수한 결과와 이중언어 텍스트에 대한 이해를 높였지만 널리 채택되지는 않았습니다. 이 제품군은 대규모 언어 모델 그룹으로 완성되었습니다.
Hunyuan Video는 다른 AI 비디오 도구와 이미지 생성기에서 일반적으로 사용되는 CLIP 및 T5-XXL 조합 대신 디코더 전용 멀티모달 대규모 언어 모델을 텍스트 인코더로 사용합니다.
텐센트에 따르면 이를 통해 모델이 지시를 더 잘 따르고, 이미지 세부 사항을 더 정확하게 파악하며, 추가 학습 없이도 새로운 작업을 학습할 수 있습니다. 또한 특수 토큰 리파이너를 통해 인과 관심 설정이 향상되어 전통적인 모델보다 프롬프트를 더 깊이 이해할 수 있습니다.
또한 프롬프트를 재작성하여 더 풍부하게 만들고 생성물의 품질을 높입니다. 예를 들어 "개를 산책하는 남자"라는 단순한 프롬프트를 장면 설정, 조명 조건, 품질 특성, 인종 등 다양한 요소를 포함하도록 향상시킬 수 있습니다.
Meta의 LLaMA 3와 마찬가지로 Hunyuan은 1억 명의 사용자에 도달할 때까지 무료로 사용하고 수익화할 수 있습니다. 대부분의 개발자는 이 문턱을 걱정할 필요가 없을 것입니다.
단, 13억 개의 매개변수 모델을 로컬에서 실행하려면 최소 60GB의 GPU 메모리가 필요한 강력한 컴퓨터가 필요합니다. 이는 대부분의 게이밍 PC가 가진 총 vRAM보다 많은 양입니다.
슈퍼컴퓨터가 없는 사용자를 위해 클라우드 서비스가 이미 이 모델을 제공하고 있습니다.
개발자 맞춤형 생성 미디어 플랫폼 FAL.ai는 Hunyuan을 통합했고, 비디오당 $0.5를 청구하고 있습니다. Replicate 또는 GoEhnance와 같은 다른 클라우드 제공업체들도 이 모델에 대한 액세스를 제공하기 시작했습니다. 공식 Hunyuan Video 서버는 $10에 150개의 크레딧을 제공하며, 각 비디오 생성에는 최소 15개의 크레딧이 소요됩니다.
물론 사용자는 Runpod 또는 Vast.ai와 같은 서비스를 통해 렌탈 GPU에서 이 모델을 실행할 수 있습니다.
초기 테스트 결과 Hunyuan은 Luma Labs Dream Machine 또는 Kling AI와 같은 상업적 강자들의 품질과 맞먹는 것으로 나타났습니다. 비디오 생성에는 약 15분이 소요되며, 자연스러운 인간 및 동물 움직임을 가진 사실적인 시퀀스를 생성합니다.
테스트 결과 현재 약점은 영어 프롬프트에 대한 이해도가 경쟁업체보다 다소 부족하다는 것입니다. 그러나 오픈소스라는 점에서 개발자들이 이 모델을 개선할 수 있습니다.
텐센트에 따르면 자사 텍스트 인코더는 최대 68.5%의 정렬률을 달성하며, 내부 테스트 기준 96.4%의 시각적 품질 점수를 유지합니다.
전체 소스 코드와 사전 학습된 가중치는 GitHub 및 Hugging Face 플랫폼에서 다운로드할 수 있습니다.
