当前位置: 首页 > 科技资讯 > 摩尔线程夸娥智算中心:破万卡规模,解锁万P级浮点运算新纪元

摩尔线程夸娥智算中心:破万卡规模,解锁万P级浮点运算新纪元

发布时间:2024-07-28 14:17:30 作者:001资源网 阅读:0次

7月3日消息,摩尔线程科技有限公司对外宣布了一项重要的技术升级,其自主研发的AI旗舰级产品——夸娥(KUAE)智算集群解决方案,实现了从原先的千卡级别跃升至万卡级别的重大跨越。

摩尔线程夸娥智算中心:破万卡规模,解锁万P级浮点运算新纪元

摩尔线程夸娥万卡智算集群,以全功能 GPU 为底座,打造能够承载万卡规模、具备万 P 级浮点运算能力的国产通用加速计算平台,专为万亿参数级别的复杂大模型训练而设计。

夸娥万卡智算解决方案具备以下核心特性:

万卡万 P:夸娥智算集群实现单集群规模超万卡,浮点运算能力达到 10Exa-Flops,达到 PB 级的超大显存总容量、每秒 PB 级的超高速卡间互联总带宽和每秒 PB 级超高速节点互联总带宽。

长稳训练:摩尔线程夸娥万卡集群平均无故障运行时间超过 15 天,最长可实现大模型稳定训练 30 天以上,周均训练有效率在 99% 以上,远超行业平均水平。

高 MFU:夸娥万卡集群在系统软件、框架、算法等层面一系列优化,实现大模型的高效率训练,MFU(评估大模型训练效率的通用指标)最高可达到 60%。

生态友好:可加速 LLM、MoE、多模态、Mamba 等不同架构、不同模态的大模型。基于 MUSA 编程语言、完整兼容 CUDA 能力和自动化迁移工具 Musify,加速新模型“Day0”级迁移。

摩尔线程将开展三个万卡集群项目,分别为青海零碳产业园万卡集群项目、青海高原夸娥万卡集群项目、广西东盟万卡集群项目。

摩尔线程万卡GPU集群实现重大突破,性能飙升可达20倍提升

近日消息,摩尔线程与清华系AI系统软件企业清程极智宣布建立战略合作伙伴关系,双方携手致力于加速国产大规模GPU智能计算集群的应用落地,旨在促进AI算力生态的蓬勃成长,为大型模型应用领域注入更加强劲、灵活且高效率的基础建设支持。

摩尔线程万卡GPU集群实现重大突破,性能飙升可达20倍提升

摩尔线程近期宣布了从千卡至万卡的全功能GPU智算集群扩展方案,双方此番合作就将聚焦于万卡级超大规模GPU智算集群的开发与优化。

清程极智是一家致力于构建高效人工智能系统软件,赋能国产算力,支撑大模型行业发展的公司,自主研发了智能编译器IntelliGen、高效并行训练系统FastMoE,能够显著加速Transformer类模型和混合专家MoE模型的处理速度,部分模型性能提升最高可达15-20倍。

目前,清程极智的核心产品已全面适配摩尔线程自研的MUSA平台。

摩尔线程还宣布,已与北京智源人工智能研究院顺利完成基于Triton语言的高性能算子库FlagGems的适配工作。

利用摩尔线程自研的统一系统计算架构MUSA,双方只用了短短一个多星期,就成功完成了近60个算子的功能验证,精度符合交付标准,并实现了对Bert-large模型的全面支持。

摩尔线程研发团队经过充分调研论证,还形成了Triton编译器在MUSA架构上适配的完整方案,力求实现开发者在基于摩尔线程全功能GPU进行Triton开发算子过程中,也能获得与原来一致的体验,做到CUDA框架、MUSA框架的无缝迁移。

在摩尔线程MUSA架构上,FlagGems算子库展现出了接近手写算子的计算性能,而且性能还在持续调优,极大加速了开源大模型在摩尔线程全功能GPU上的部署速度。

智源研究院是北京市于2018年11月推动成立的新型研发机构,核心目标是聚焦AI原始创新和核心技术,推动AI理论、方法、工具、系统和应用取得变革性、颠覆性突破,支撑北京建设成为全球AI学术思想、基础理论、顶尖人才、企业创新和发展政策的源头。

智源研究院的FlagGems算子库是一个使用Triton编程语言实现的高性能通用算子库,旨在为大语言模型提供一系列可应用于PyTorch框架的算子,加速模型的推理与训练,降低新算法的开发门槛。

它以Triton编程语言的易用性和编译器的标准接口为基础,为多元芯片提供了一套易适配、高性能的算子解决方案,推动基于Triton的统一、开源的软硬件生态建设。

摩尔线程携手百度地图,共绘下一代数字孪生地图蓝图

近日,摩尔线程与百度地图的战略合作标志着双方将在数字孪生地图领域深度联手,结合摩尔线程的图形处理技术实力与百度地图的丰富产品经验,共同探索技术创新路径,推动地图服务向更高精度、更智能化方向发展。

摩尔线程携手百度地图,共绘下一代数字孪生地图蓝图

根据合作协议,双方将围绕数字孪生地图项目建设,利用百度地图的地图引擎优势、数字孪生技术优势、地图大数据应用优势和摩尔线程全功能 GPU 的 3D 图形渲染和 AI 计算等技术优势,积极开展深入广泛的持续性合作,共同推动数字孪生地图解决方案的应用和规模化落地。

注:数字孪生是指充分利用物理模型、传感器、运行历史等数据,集成多学科、多物理量、多尺度、多概率的仿真过程,在虚拟空间中完成映射,从而反映相对应的实体装备的全生命周期过程。

据摩尔线程官方介绍,地图数据作为国家的关键资产,数字孪生地图尤其凸显了其在高负载渲染场景中的重要性,这对 GPU 的渲染效能及数据安全设定了极高的标准。摩尔线程与百度地图的合作,标志着我国在数字孪生地图领域向着减少技术外依度的目标迈出了实质性的一步。

百度地图方面介绍称,其推出的新版本数字孪生地图 DuEarth 在技术架构和性能要求上旨在解决传统数字孪生在超大规模应用场景下的“卡顿”“不可用”问题。以往的数字孪生业务集成能力仅限于少量 IoT 设备,完全不能满足城市级数字孪生、全息仿真、智能决策的初衷。百度地图 DuEarth 实现了 360 城市、360 万公里道路的大规模上图,引擎不卡顿;同时通用性孪生地图服务接口突破了 300+。

目前,百度数字孪生地图已完成国产 GPU、CPU、操作系统的全面适配,是当前全国 360 城大规模数字孪生体量下,全面支持全国产信创环境的超大规模数字孪生地图引擎。

摩尔线程的全功能 GPU 集成了四大核心计算引擎:3D 图形渲染、AI 计算加速、物理仿真与科学计算、和智能多媒体处理。在图形渲染领域,摩尔线程已全面兼容 OpenGL、Vulkan、DirectX 等主流渲染 API,并与 UE(Unreal Engine)、Unity 以及 OSG、Lumverse 等国产渲染引擎实现了无缝对接,可以为数字孪生解决方案构建计算平台。

渝ICP备20008086号-39 违法和不良信息举报/未成年人举报:linglingyihcn@163.com

CopyRight©2003-2018 违法和不良信息举报(12377) All Right Reserved