开源大模型推理卷上新高度，GLM-5.3 在英伟达 GB200 上飙出 100 tok/s

• 2026-10-07
• 热点资讯

大家好，我是 Ai 学习的老章 平时大家聊开源大模型，注意力往往全放在模型参数有多大、榜单刷了多少分上，真到了实际把模型拉出来跑 Agent 的生产环境，很多人立刻傻眼：多轮长会话一挂，并发稍微一拉高，首字延迟（TTFT）直接飙到几秒开外，词间生成卡成 PPT，中间还动不动因为格式解析翻车把 Tool Call 给吃掉 专注分布式 AI 训练的团队 Prime Intellect，刚刚正式上线了他们的重磅生产级推理服务平台 —— Prime Inference ，并将底层核心架构与算子全栈开源回馈社区 很多人对 Prime 的印象大概还停留在分布式训练工具箱（prime-rl、verifiers、沙箱环境），没想到他们一直在暗中憋大招，不声不响把开源前沿大模型的生产级推理底座彻底重构了一遍 简介 先搞清楚 Prime 为什么非要自己亲自下场死磕推理底座 按他们的战略构想，想要打造持续自我进化的 Agent 智能栈，只有训练环节是远远不够的，必须形成一个严丝合缝的持续学习飞轮：前沿模型训练出来 → 投入生产环境提供可靠推理 → 在真实世界交互中产生全新体验（Experience Trace）→ 数据清洗回流再喂给下一轮训练 持续学习大回路：训练、推理与经验生成 在正式对外公开发布前，这套系统早已在他们内部高压运转了相当长时间 他们的自研系统每天要硬扛大规模强化学习 Rollout、合成数据生成、系统 Benchmark 评测以及长时间运行的 Coding Agent， 仅仅在他们团队内部，单日处理的 Token 吞吐量就已经接近 1 万亿（Trillion）大关 ，从今年 1 月份起更是在高并发生产环境为大客户稳定提供支撑 这逼得他们必须放弃单纯跑分模式，把所有工程刀刃全部砍向极其苛刻的持续吞吐、模型响应质量以及真实生产 SLA 他们的首个公开端点就是跑在英伟达最新 GB200 NVL72 上的 GLM-5.3 战绩极其亮眼：在 OpenRouter 上排在同类 GLM-5.3 端点最快梯队，长会话工具调用（Tool-call）错误率接近于零，上线以来保持 100% 运行时间无故障 Prime Inference 生产环境解耦架构：网关与模型集群彻底分离 整套基础设施深度融合了 NVIDIA Dynamo、vLLM、Mooncake 以及 FlashInfer，并且把他们在生产中踩坑换来的硬核优化，全部回馈给了上游开源社区 老章把他们这次公布的整套生产级推理底座与关键优化链路梳理了一张全景图，咱们先看明白整体全貌： Prime Inference 生产级全景架构白板图 下面老章带大家拆解他们为了降延迟、省显存、保稳定，硬生生啃下的六大工程硬骨头 生产级长上下文 Agent 推理面临的真正噩梦 搞过多轮长上下文 Agent 的朋友一定深有感触：这玩意的流量特征和平时打字聊闲天有着本质差别 在典型的 Agent 会话中，单轮往往需要在已经堆叠了 140K Token 的超长上下文历史之上，再追加 6K Token 的新交互内容 在高并发生产环境下，集群面临的是冰火两重天的极端混合流量：一边是大量疯狂复用先前对话历史前缀的老会话，另一边是带着超长、毫无缓存的 Cold Prompt 冷启动新请求 如果老老实实把所有请求扔在同一组 GPU 上跑传统的块状预填充（Chunked Prefill），当长 Prompt 进场计算时，立刻会疯狂抢占 GPU 算力，把同卡上正在吐字的现有会话挤得直接丢帧卡顿 为了在维持每用户每秒 100 输出 Token 的极速交互体验下大幅拉高并发，Prime 团队必须重构整条链路 预填充优化：拓扑选择与调度气泡消除 首先遭重的是 Prefill（预填充）阶段 首字时间（TTFT）不仅包含计算 Prompt 的耗时，还深陷在缓存提取、排队准入、新 Token 计算以及跨卡转移 KV 的重重泥潭之中 1. 彻底实现 Prefill/Decode 物理分离（PD 分离） 他们把 Prefill 计算和 Decode 生成彻底拆分到不同的专属 GPU 组上独立运行 由 NVIDIA Dynamo 负责上层全局路由与分布式编排，底层各节点运行 vLLM，当 Prefill 阶段一算完，立刻通过 NIXL 总线把计算好的 KV Cache 跨卡推送到 Decode 节点上 Chunked Prefill 与 PD 物理分离模式对比 在 Dynamo 的精准协同下，仅仅做完这层物理池解耦，p90 词间延迟在测试中就直接降了将近 40% 2. 拓扑选型深思：为什么锁定 DEP8 架构？ 在集群拓扑选型上，他们最终选择了 DEP8 ：8 个数据并行（Data Parallel）注意力 Rank，搭配组内跨卡共享的专家并行（Ex