阅读热度:更新时间:2024-12-03
今日,腾讯混元大模型宣布文生视频功能上线,一句话就能生成视频。
此次开源的视频生成大模型,参数量130亿,是当前*大的视频开源模型。
目前,该模型已在Hugging Face平台及Github上发布,包含模型权重、推理代码、模型算法等完整模型,可供企业与个人开发者免费使用和开发生态插件。
大家可在腾讯元宝app-AI应用-AI视频中提交申请试用,企业客户可通过腾讯云提供服务接入,API同步开放内测申请。
据了解,目前生成视频支持中英文双语输入、多种视频尺寸以及多种视频清晰度。
腾讯混元视频生成大模型可以生成超写实的高质量视频,比如,像冲浪、跳舞这种大动作场景,生成的画面自然合理,不容易变形。
在镜面或镜子场景中,可以做到镜面反射动作和外面完全同步,光影反射基本符合物理规律。
据腾讯介绍,腾讯混元视频生成大模型采用DiT架构,并在架构设计上进行多处升级。
适配了新一代文本编码器提升语义遵循,其具备强大的语义跟随能力,更好地应对多个主体描绘,实现更加细致的指令和画面呈现。
通过先进的图像视频混合VAE(3D变分编码器),让模型在细节表现有明显提升,特别是小人脸、高速镜头等场景。