昇腾A2芯片立功！华为首次公开美团LongCat-2.0部署细节：推理仅20ms
（来源：快科技）
快科技7月6日消息，华为CANN（昇腾AI异构计算架构）团队首次公开披露了美团万亿参数大模型LongCat-2.0在昇腾A2芯片上的完整部署方案。
LongCat-2.0，总参数量达1.6万亿，原生支持100万Token超长上下文。该模型是业界首个完全基于国产算力完成训练与推理全流程的万亿参数模型。
此次公开的部署细节显示，LongCat-2.0基于昇腾Atlas A2 192卡集群部署，单机16卡。Prefill阶段采用64张昇腾A2协同调度，Decode阶段采用128卡超大规模专家并行EP部署。
昇腾A2单卡内置高速网卡可提供200Gbps传输带宽，有效支撑大规模分布式推理。
CANN推理团队针对LongCat-2.0的MoE超稀疏专家架构与百万级长序列进行了系统级优化。
Prefill阶段融合流水线并行与序列并行双重策略，将模型划分为8个独立计算Stage，压缩MoE通信耗时10倍。
Decode阶段根据序列长度差异化切分，短请求采用DP128+EP128方案，超长序列采用DP16CP8+EP128方案，最终实现TPOT时延仅20ms。
算法层面，Prefill阶段采用FlashComm算法降低Vector算力消耗。Decode阶段利用A2超大L2 Cache优势实现模型权重异步预取，加速矩阵运算。
计算流调度上实现计算与通信双流并行，将MoE专家计算与Dense层计算拆分为独立计算流，最大限度利用芯片带宽与算力。
LongCat-2.0是美团继1月发布LongCat-Flash-2601后又一次重磅开源。测试版本在OpenRouter总调用量已跻身全球前三。
业内人士表示，此次华为首次公开昇腾A2完整部署方案与技术细节，标志着国产芯片已具备承载万亿参数大模型推理任务的能力，为AI算力国产替代提供了可复用的技术范本。
相关推荐
深度解读华为昇腾AI芯片
华为昇腾950系列NPU架构白皮书
华为鲲鹏昇腾AI开发者超350万 昇腾Ascend C编程语言正式发布
华为昇腾384卡亮相WAIC！8大龙头中报翻倍 最大暴增176倍
首次！国芯训国模取得世界第一
华为昇腾+DeepSeek-R1，3大隐形王者，6月或将迎来10倍上涨！
“在飞行中的飞机上更换引擎”：DeepSeek V4与华为昇腾芯片的历史性对接令世界屏息
满配8192张昇腾卡，华为首次在海外展示全球最强超节点
华为版《黑客帝国》首次亮相：训推复杂AI前先“彩排”，小时级预演万卡集群
重磅！华为公布多颗新昇腾芯片
网址: 昇腾A2芯片立功！华为首次公开美团LongCat-2.0部署细节：推理仅20ms https://m.xishuta.cn/newsview151277.html
