当前位置: 首页 > 科技资讯 > 商汤绝影领跑业界,车端首推原生多模态大模型,实现每秒40 Tokens高效处理

商汤绝影领跑业界,车端首推原生多模态大模型,实现每秒40 Tokens高效处理

发布时间:2024-09-24 05:02:59 作者:001资源网 阅读:1次

7月19日消息,商汤科技的联合创始人兼首席科学家王晓刚于本月17日宣告,商汤绝影引领行业潮流,成功完成了业内首个原生多模态大模型的车载部署。

商汤绝影领跑业界,车端首推原生多模态大模型,实现每秒40 Tokens高效处理

该创新成果体现在车载环境下的8B模型,其初始响应时间缩短至300毫秒之内,展现出极快的启动速度,同时模型推理效能达到了每秒40个Token,全面适配当前市场上的主要计算硬件平台。

商汤绝影为多模态大模型打造计算引擎“HyperPPL”,目前扩展并支持主流车载计算硬件,兼容多种主流操作系统,适配多个车载芯片的部署平台。

商汤绝影称 HyperPPL 针对车载多人场景进行优化,使得车内多人并发情况下,车端多模态大模型的模型推理效率相比单人没有明显降低。

据报道,商汤绝影此前表示,深圳首条自动驾驶公交线路采用其车辆与技术,所有驾驶操作都无需人员介入。

明年上千 TOPS 算力的车载芯片(英伟达 Thor)就会问世。基于更高算力的计算平台,商汤预计绝影多模态大模型车端部署方案的首包延迟将大幅降低,推理速度进一步提高。

商汤携手建工社共创"住建法规智慧大脑:领航建筑领域知识模型新纪元

近日消息,商汤科技与中国建筑出版传媒有限公司(建工社)携手发布的「住建领域法规标准知识大模型」,构建于商汤先进的“日日新SenseNova5.5”平台之上,深度融合建筑行业海量专业知识,涵盖法规、标准、设计规范等关键内容。

商汤携手建工社共创

此模型的问世,标志着建筑行业向智能化转型的重要一步,它将为从业人员在建筑设计、规划至施工全链条中提供即刻可用的精准知识辅助,提升工作效率与合规性。

「住建领域法规标准知识大模型」已在住房城乡建设领域法规标准知识服务平台上应用,提供智能问答、集成、查重、比对等功能,提高用户查阅和掌握知识的效率。智能问答功能允许用户通过对话快速定位知识,智能集成功能则可根据用户输入快速生成专业文档。

商汤的行业大模型训练使用了高达6亿tokens的高质量住建知识数据,覆盖超过8000本行业标准和法律法规内容。该模型还融合了大量专家经验,提升了对行业术语和验收标准的理解能力。

未来,商汤科技和建工社将继续探索大模型技术与住建行业的结合,推动数字化发展,释放行业数据潜能,赋能住房和城乡建设事业的高质量发展。

渝ICP备20008086号-39 违法和不良信息举报/未成年人举报:linglingyihcn@163.com

CopyRight©2003-2018 违法和不良信息举报(12377) All Right Reserved