中国电信完成业界首个国产算力的跨架构大模型推理技术验证,英伟达、昇腾、沐曦芯片无缝运行


IT之家 12 月 12 日消息,据通信产业网今日报道,中国电信研究院联合中国科学院计算技术研究所、华为昇腾、沐曦等,依托中国电信云网融合技术中试验证平台,成功完成业界首个面向国产算力的跨架构大模型推理技术验证

中国电信研究院牵头启动“Triton 统一跨架构推理框架”技术攻关,通过自研 Triton 跨架构编译器与统一大模型算子库,实现同一套算子源码在英伟达、昇腾、沐曦三类芯片上无缝运行。

本次技术验证已完成 10 余款主流开源模型在三类芯片上的端到端推理测试,核心指标表现优异:

  • 平均迁移时间≤3 天,较传统适配模式效率提升超 80%;

  • 精度误差 < 0.5%,确保模型推理可靠性;

  • 在同等延迟约束下,系统吞吐达到各芯片原生算子库的 90% 以上,实现性能与适配效率的双重优化。

此外,框架内置的 benchmark 与 Profiling 工具可一键生成跨芯性能对比报告,为业务方提供选芯决策支撑

IT之家注:中国电信研究院是中国电信集团下属研发机构,聚焦 6G 光网络 卫星通信 等领域核心技术攻关。

]article_adlist–>

            <!-- 非定向300*250按钮    17/09  wenjing  begin -->
            <!-- 非定向300*250按钮  end -->
        </div>



Source link

未经允许不得转载:紫竹林-程序员中文网 » 中国电信完成业界首个国产算力的跨架构大模型推理技术验证,英伟达、昇腾、沐曦芯片无缝运行

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
关于我们 免责申明 意见反馈 隐私政策
程序员中文网:公益在线网站,帮助学习者快速成长!
关注微信 技术交流
推荐文章
每天精选资源文章推送
推荐文章
随时随地碎片化学习
推荐文章
发现有趣的