中国电信研究院联合中国科学院计算技术研究所、华为昇腾、沐曦等单位,在中国电信云网融合技术中试验证平台上,成功完成业界首个面向国产算力的跨架构大模型推理技术验证,项目团队以"Triton 统一跨架构推理框架"为核心技术,自主研发了Triton跨架构编译器与统一大模型算子库,实现了英伟达、昇腾、沐曦三类芯片上的无缝运行。
本次技术验证涵盖了10余款主流开源模型的端到端推理测试,核心性能指标表现显著优异,数据显示,平均迁移时间仅为3天,相较传统适配模式效率提升超80%,在精度和性能方面,框架确保了模型推理的可靠性,精度误差均低于0.5%,在相同延迟约束下,系统吞吐量达到各芯片原生算子库的90%以上,实现了性能与适配效率的双重优化。
Triton框架内置了专业的benchmark与Profiling工具,可一键生成跨芯性能对比报告,为业务方提供精准的选芯决策支持,这一技术突破不仅为跨架构模型的高效运行提供了可靠解决方案,也为企业客户在芯片选型上的战略决策提供了科学依据。

作为中国电信集团下属的核心研发机构,中国电信研究院专注于6G、光网络、卫星通信等前沿技术领域的攻关,该机构的技术创新能力和行业影响力得到了广泛认可,为国家在新一代信息技术领域的发展做出了重要贡献。