9月3日 ,趋境科技与摩尔线程签署战略合作协议 。此次合作以趋境科技自研的国产PD异构技术与摩尔线程MTT S5000智算卡与MUSA软件平台的深度融合为基础,双方将持续推进基于趋境科技ATaaS平台的国产化高品质AI Token工厂建设,并共同研发和推广以Token Pod(Token 超节点)为载体的联合解决方案。

PD分离架构是一种大型语言模型推理优化技术架构。该架构将推理的计算密集型Prefill(预填充)阶段与访存密集型Decode(解码)阶段解耦,并分配到不同计算资源上执行 ,以优化资源利用、降低延迟并提升吞吐量。

随着大模型应用进入规模化商业落地阶段,基础设施的竞争正在从单卡性能转向系统级Token生产效率 。衡量一套方案商业价值的关键,不只是硬件能否运行模型 ,还要衡量在既定服务目标下,每一枚高品质AI Token的生产成本。

据介绍,趋境科技与摩尔线程联合方案的性价比优势 ,并不简单来自硬件费用 差异,而是源于对Prefill与Decode两个阶段的资源优化。由摩尔线程MTT S5000负责Prefill阶段的输入计算与KV Cache(键值缓存机制)生成,与承担Decode阶段Token生成的高带宽GPU协同工作 。通过国产硬件与PD异构技术的深度协同 ,为万亿参数大模型的规模化推理提供一条兼顾生产级性能与成本效率的国产算力路径。
据了解,相关方案近来 已投入生产,在同等生产服务标准下 ,该方案整体性价比优于世界 先进算力方案,也标志着国产PD异构推理加速进入生产环境。
与此同时,趋境科技与摩尔线程战略合作的核心目标是发挥各自优势,共同建设能够承接真实业务 、持续生产高品质AI Token的国产化AI Token工厂 。基于这一目标 ,双方将共同推出基于Token Pod(Token 超节点)的软硬一体化生产解决方案,也将进一步深化技术联合、标准共建与生态协作,推动国产PD异构推理进入更广泛的生产应用场景。
(文章来源:科技日报)