威尼斯官方网站入口网址官方版 华为昇腾 0 Day 支抓智谱 GLM-5.2 模子, 提供全面推理优化

IT之家6月18日音信，“昇腾AI成就者”公众号6月17日告示，昇腾0Day支抓GLM-5.2，为编程与长程任务提供全面推理优化。

据官方先容，现在昇腾A3系列家具照旧支抓GLM5.2的单双机以及大EP推理部署。针对GLM5.2模子的结构特色，昇腾围绕以下几个要津时期开展了高效推理优化：

MOE大交融算子：将行家路由、加权缠绵与截止归约交融为合股算子，摈斥中间张量冗余读写，权贵晋升缠绵效果。

通讯与缠绵交融：通过将AllReduce优化为ReduceScatter与AllGather通讯原语，并与矩阵缠绵造成紧耦合活水线，罢了通讯延长的灵验瞒哄。

注眼力前护士与多Token预测优化：禁受注眼力前护士交融算子，集聚多Token预测（MTP）机制的加快，晋升单步生见效果。

高并发诊疗与预填充延长机制：在高并发搀和负载场景下引入预填充延长诊疗，平滑缠绵峰值，镌汰Prefill阶段对Decode阶段的资源霸占。

智能缓存与索引优化：集聚IndexCache时期缓存高频行家旅途与静态路由表，并禁受ChunkedPrefill、稀少索引检索等表率，威尼斯官方网站入口网址官方版优化长坎坷文推感性能。

PD诀别与PrefixCache：通过Prefill与Decode阶段诀别及前缀缓存时期，压缩解码时延抖动，晋升在线办事迷糊褂讪性。

IT之家凝视到，智谱6月17日告示上线并开源GLM-5.2。在公共百万用户参与盲测的前端成就评估系统CodeArena上，GLM-5.2获得公共可用模子第一的剖析。

官方暗示，GLM-5.2专为长程任务智商而生，特色包括：

Solid1M坎坷文：褂讪守旧长程任务，多个长程任务基准标明GLM-5.2的剖析介于ClaudeOpus4.7与4.8之间，是排行最高的开源模子

更强体感，更实用的Coding智商：在主流编程基准上，GLM-5.2保抓开源SOTA，与ClaudeOpus4.8处于可比区间

极致Infra优化，Day0开动在国产算力平台：在1M坎坷文长度下，将单元token的FLOPs镌汰至2.9倍；已在Day0完成与华为昇腾、平头哥、摩尔线程、寒武纪、昆仑芯、沐曦、海光、壁仞等国产算力平台的推理适配；展望下半年昇腾950超节点上市后，也将成为GLM-5.2建壮的算力底座

威尼斯官方网站入口网址官方版