来源:中国贸易新闻网 作者: 2024-07-29 11:54:48
本报讯 sora的出现,不仅展示了ai大模型的全新玩法,也引发了一轮文生视频大模型的竞争热潮。各个巨头纷纷推出文生视频产品,微软推出nuwa、meta推出emu、谷歌推出phenaki/videopoet等。7月26日,由中国企业智谱ai研发的清影(ying)上线,为这场竞争的“中国队”再添一员猛将。
即日起,清影(ying)上线清言app,面向所有用户开放。用户只需输入一段文字(prompt),就可以选择自己想要生成的视频。视频风格包括卡通3d、黑白老照片、油画、电影感等。除了文字生成视频,清影也支持图生视频。
智谱ceo张鹏在智谱 open day上介绍说,清影(ying)底座的视频生成模型是cogvideox,它能将文本、时间、空间三个维度融合起来,参考了sora的算法设计,“它也是一个dit架构,通过优化,cogvideox 相比前代(cogvideo)推理速度提升了6倍。我们将继续努力迭代,在后续版本中,陆续推出更高分辨率、更长时长的生成视频功能。”
智谱自研了一个端到端视频理解模型,用于为海量的视频数据生成详细的、贴合内容的描述,这样可以增强模型的文本理解和指令遵循能力,使得生成的视频更符合用户的输入,能够理解超长复杂prompt指令。在内容连贯性上,智谱ai自研高效三维变分自编码器结构(3d vae),将原视频空间压缩至2%大小,配合3d rope位置编码模块,更有利于在时间维度上捕捉帧间关系,建立起视频中的长程依赖。cogvideox 模型亦同步上线智谱ai大模型开放平台 bigmodel.cn,开发者可以通过调用api的方式,体验和使用文生视频以及图生视频的模型能力,在国内尚属首次。
据了解,智谱 ai 生成式视频研发得到北京市的大力支持。当前,北京正在以海淀区为核心打造人工智能产业高地,海淀区则是智谱ai总部所在地。海淀区为智谱ai开展大模型研发提供了产业投资、算力补贴、应用场景示范、人才等全方位支持。此外,智谱 ai 生成式视频研发算力支持来自于亦庄集群。北京亦庄着眼打造人工智能之城,目前,北京亦庄人工智能公共算力平台已建成。bilibili作为凯发app的合作伙伴也参与并支持清影的研发过程。同时,凯发app的合作伙伴华策影视也参与了模型共建。
张鹏表示,人工智能行业对多模态模型的探索还处于初级的阶段,清影(ying)还将不断迭代,智谱ai 将持续努力打造对标世界先进水平的模型产品矩阵,致力于通过大模型链接物理世界的亿级用户,为千行百业带来持续创新与变革,加速迈向通用人工智能时代。(毛雯)
· 链氪获得专利、匈牙利确认担任主宾国、开放注册,链博会好事连连