游客发表

华为昇腾A2首次实现美团万亿参数模型LongCat-2.0端到端部署

发帖时间:2026-07-17 05:28:15

2026年7月6日,昇腾A首数模署华为昇腾AI异构计算架构团队正式公开美团万亿参数大模型LongCat-2.0在昇腾A2芯片上的次实端到端部署方案,标志着国产算力在超大规模模型推理领域取得重大突破。现美型

LongCat-2.0模型参数总量高达1.6万亿,团万原生支持长达100万Token的亿参上下文处理能力。作为业内首个完全依托国产算力完成训练与推理全流程的端到端部万亿级参数模型,其技术落地具有里程碑式的昇腾A首数模署行业意义。

该模型部署于昇腾Atlas A2 192卡集群,次实单节点配置16张加速卡。现美型在推理性能优化上,团万系统采用动态调度策略:Prefill(预填充)阶段调度64张昇腾A2协同运算;Decode(解码)阶段则启用128卡超大规模专家并行架构,亿参充分释放硬件算力潜力。端到端部

硬件通信方面,昇腾A首数模署每张昇腾A2芯片集成高速互联网卡,次实单卡带宽达200Gbps,现美型为分布式推理提供了坚实的通信基础。针对LongCat-2.0采用的MoE(混合专家)超稀疏结构及百万级长序列特性,昇腾AI架构团队实施了系统级深度优化。

核心优化策略包括:

  • Prefill阶段:融合流水线并行与序列并行策略,将模型逻辑划分为8个独立计算阶段,使MoE相关通信开销降低至原有水平的十分之一。
  • Decode阶段:依据输入序列长度动态适配并行策略。短序列请求采用“数据并行128 + 专家并行128”组合方案;超长序列则切换为“数据并行16 + 上下文并行8 + 专家并行128”的混合架构,最终达成端到端时延仅20毫秒的极致性能表现。

算法与调度创新:

  • 算法层面:Prefill阶段引入FlashComm技术,显著减少向量计算资源占用;Decode阶段充分发挥昇腾A2芯片超大L2缓存优势,实现模型权重的异步预取,大幅提升矩阵运算效率。
  • 计算流调度:采用同步推进计算与通信的双流并行机制,将MoE专家计算路径与Dense层计算路径解耦为两个独立执行流,从而更高效地利用芯片带宽与算力资源。

LongCat-2.0是美团继今年1月发布LongCat-Flash-2601之后推出的又一重要开源成果。其测试版本已在国际主流开放平台实现大规模调用,累计调用量稳居全球前三。

业内普遍认为,此次昇腾A2平台完整部署方案与关键技术细节的首次公开,标志着国产AI芯片已具备稳定承载万亿参数大模型推理任务的工程化能力,为人工智能核心算力的自主可控提供了具备推广价值的技术路径。

    热门排行

    友情链接