百度百舸优化智能体推理基础设施：内部平均上下文已达6万

新京报贝壳财经讯（记者罗亦丹）记者9月23日获悉，针对智能体时代越来越长的上下文，百度智能云联合SGLang社区举办“Agent时代的推理基础设施”Meetup，探讨了多芯适配、上下文缓存、KV Cache优化、显存优化、MoE专家压缩和推理服务治理等议题，探讨Agent走向生产环境所需要的推理底座。

百度智能云主任架构师黎世勇在会上透露，“Agent（智能体）时代带来了很多的变化，典型的就是（上下文）序列的长度变得非常长，去年我们聊推理服务优化时一个典型的Workload还是输入4k、输出1k这种短输入的上下文，现在百度内部平均上下文在60k左右，而且还在继续往上涨，100k、500k都有可能。”

当前，Agent工作负载正在呈现长输入、多轮次、强复用的特征。因此，Agent时代的推理基础设施不能只关注模型一次“答得多快”，还要关注一项任务能否连续、稳定、低成本地完成。要实现这一目标，推理基础设施需要从底层硬件适配、计算效率优化到上下文管理进行系统性升级。

对此，百度介绍，面对超大模型部署，百度百舸通过权重零冗余分布式部署、显存占用优化和MoE专家压缩，释放更多显存空间，为长上下文和高并发任务提供资源支撑。在相关测试中，MoE专家压缩50%后，长输出和高并发场景下的输出吞吐峰值可达到原来的2.23倍。

而在多芯适配方面，sglang-kunlun插件打通SGLang与昆仑芯，降低模型迁移和适配门槛。百度百舸还推动SGLang社区建立硬件可插拔插件机制，并从芯片算子、任务下发和通信等层面进行优化。

百度智能云高级工程师董新宇称，依托插件机制，国产卡开发可复用70%至80%的CUDA生态经验。

直播｜“首都开局起步‘十五五’”系列主题新闻发布会

2026-10-12 10:00; 预 告 直播｜2026世界传统医药大会新闻发布会

2026-10-09 15:00; 预 告 直播｜“首都开局起步‘十五五’”系列主题新闻发布会

2026-10-09 10:00

1 乒协将设禁入名单，把饭圈戾气挡在赛场之外 | 新京报快评 639.2万; 2 尊界V800现刹车踏板断裂事件，鸿蒙智行销售称被消费者追问了一天 9.5万; 3 江淮汽车回应尊界V800刹车踏板断裂：正在调查和测试 4.9万; 4 2026国庆档票房供给变阵：大片退场，平台型公司捧出超11亿元票房 4.2万; 5 诺贝尔化学奖揭晓：他们分清了分子“左右手”| 新京报快评 3.1万

成都警方通报“小区楼顶发现可疑骨头”：骨骼碎片符合畜禽类特征 22分钟前; 新华传媒：如公司股价进一步异常上涨可能申请停牌核查 24分钟前; 副中心有我 | 微光聚力迎华诞！多元共治擦亮国庆文明底色 34分钟前; 世贸组织上调2026年全球货物贸易增长预期 47分钟前; 某小区楼顶发现人骨？成都金堂县警方辟谣 49分钟前

新京报福利社 | 穿过岁月，与青春和热爱重逢【民谣音乐会来赠票啦】; “葫芦娃爷爷”的秋天; 关闭赶海点7个！海南对红树林自然保护区赶海违法行为整改整治; 致7人遇难！云南镇雄煤矿事故调查报告公布 40人被追责问责; 湖南临澧“6·16”烟花爆炸事故调查报告公布