当前位置: 首页 > 软件资讯 > 智谱AI宣布《清影》AI视频生成工具上线,现已集成至智谱清言PC与APP端

智谱AI宣布《清影》AI视频生成工具上线,现已集成至智谱清言PC与APP端

发布时间:2024-07-26 17:08:47 作者:001资源网 阅读:0次

近日消息,智谱AI在OpenDay活动上揭晓了其最新研发的AI大模型——清影(Ying)。该模型独树一帜,能够迅速将任何文本内容转化为视频形式,展现出非凡的创造力。

智谱AI宣布《清影》AI视频生成工具上线,现已集成至智谱清言PC与APP端

用户仅需提供文本提示,并选定心仪风格,如卡通3D、黑白默片、油画质感或电影级视觉效果,清影便能在短短30秒内生成1440x960分辨率的高清视频。目前,该技术已集成至清言App,向公众全面开放使用,标志着AI内容生成技术的又一里程碑式进步。

除了文本生成视频,清影还支持图片生成视频,带来表情包梗图、广告制作、剧情创作、短视频创作等新玩法。同时,基于清影的“照片动起来”小程序也将上线,AI能让旧照片中的人物或场景动起来。

清影API也已上线大模型开放平台bigmodel.cn,企业和开发者可以通过调用API的方式使用文生视频和图生视频的模型能力。清影采用了新型DiT模型架构,更高效地压缩视频信息,并充分融合文本和视频内容,提升了复杂指令遵从能力、内容连贯性和画面调度。

智谱AI CEO张鹏在活动中提到,清影底座的视频生成模型是CogVideoX,它融合了文本、时间和空间三个维度,参考了Sora的算法设计。CogVideoX相比前代推理速度提升了6倍,未来将推出更高分辨率、更长时长的生成视频功能。

用户可以通过智谱清言PC/APP上的“清影智能体”直接体验清影,将脑中的灵感转化为艺术视频创作。

智谱AI宣布两大旗舰模型——GLM-4-9B与CodeGeeX4-ALL-9B,现已兼容Ollama框架

近日消息,智谱人工智能研究团队对外宣布,其核心产品GLM-4-9B与CodeGeeX4-ALL-9B模型已成功适配Ollama部署平台,标志着在语言理解和代码生成领域的重要模型应用将得到更广泛的普及与便捷化实施。

智谱AI宣布两大旗舰模型——GLM-4-9B与CodeGeeX4-ALL-9B,现已兼容Ollama框架

GLM-4-9B是智谱AI推出的开源预训练模型,属于GLM-4系列,它在语义、数学、推理、代码和知识等多方面展现出卓越的能力。CodeGeeX4-ALL-9B是在GLM-4-9B基础上训练的多语言代码生成模型,进一步提升了代码生成能力。

Ollama是一个工具,专为本地环境中运行和定制大型语言模型设计,它提供了简单高效的接口和丰富的预构建模型库,支持macOS、Windows、Linux和Docker等多种操作系统。用户可以通过Ollama方便地部署和运行GLM-4-9B等开源大语言模型,并通过网页、桌面应用和终端界面与模型互动。

目前Ollama0.2或更高版本支持语言模型的部署,但多模态模型还不支持。

智谱AI引领开源创新:CodeGeeX4-ALL-9B代码生成大模型震撼发布

近日消息,由智谱 AI 开发的 CodeGeeX 第四代模型,现已正式发布且开源。该模型属于 10B 参数以下性能最为出色、功能最为全面的代码生成大模型。自 2014 年发布第一代起,每半年便会进行一次更新,一直致力于增强代码生成的能力。

智谱AI引领开源创新:CodeGeeX4-ALL-9B代码生成大模型震撼发布

CodeGeeX提供代码补全、注释、修复、翻译等基础功能,以及联网问答、代码解释器、检索增强等高级功能,对个人用户完全免费,并在各种主流IDE中可用。个人用户数已超100万,企业版本也广泛应用于多个行业,并在中国信通院的评估中获得高评级。

CodeGeeX4系列模型的开源版本CodeGeeX4-ALL-9B,集多种编程开发功能于一体,覆盖了编程的多个场景,并在多个代码评测集上表现优异,展现了强大的代码生成能力。模型支持128K上下文,处理长代码文件,并在代码检索任务中实现100%准确度。此外,CodeGeeX4-ALL-9B是唯一实现Function Call的代码大模型,在函数调用测试中成功率超过90%。

CodeGeeX插件v2.12.0版本已全面接入第四代模型,带来更快的代码生成速度和多项功能创新,如自动生成项目README文件、长文本上下文记忆、跨文件分析和问答、本地模式支持,以及NL2SQL能力提升。这些功能增强了代码查找、理解和维护的效率,提升了开发体验。

用户可以通过升级IDE中的CodeGeeX插件或在插件市场搜索下载来体验最新技术。同时,智谱AI还发布了企业级CodeGeeX4代软硬一体机产品,提供代码仓库级补写、问答和检索增强,支持信创方案,适用于更多企业级应用场景。

智谱AI解锁视频智慧之门:开源新型时间感知模型CogVLM2-Video

近日消息,智谱AI最近宣布了其在视频理解领域的重大突破,通过开源升级了CogVLM2-Video模型。这一升级标志着在处理复杂视频数据方面的重要进展,特别是针对时间信息的精准捕捉和理解。

智谱AI解锁视频智慧之门:开源新型时间感知模型CogVLM2-Video

模型利用自动化的时间定位数据构建方法,生成了3万条与时间相关的视频问答数据,从而训练出在公共视频理解基准上达到最新性能的模型。CogVLM2-Video在视频字幕生成和时间定位方面表现出色,为视频生成和摘要等任务提供了强大工具。

CogVLM2-Video通过从输入视频中提取帧并注释时间戳信息,使语言模型能准确知道每一帧的对应时间,从而实现时间定位和相关问答。

为了大规模训练,开发了自动化的视频问答数据生成流程,通过图像理解模型和大型语言模型的结合使用,减少了标注成本并提高了数据质量。最终构造的Temporal Grounding Question and Answer (TQA)数据集包含3万条记录,为模型训练提供了丰富的时间定位数据。

在多个公开评测集上,CogVLM2-Video展现了卓越的性能,包括在VideoChatGPT-Bench和Zero-shot QA以及MVBench等量化评估指标上的优异表现。

渝ICP备20008086号-39 违法和不良信息举报/未成年人举报:linglingyihcn@163.com

CopyRight©2003-2018 违法和不良信息举报(12377) All Right Reserved