先了解这件事
AI 综述
2026年9月23日,百度智能云联合SGLang社区举办Agent时代的推理基础设施Meetup。据新京报报道,百度智能云主任架构师黎世勇在会上透露,百度内部智能体平均上下文已达60k左右,并可能继续涨至100k、500k。百度百舸通过权重零冗余分布式部署、显存优化和MoE专家压缩支撑长上下文,测试中MoE专家压缩50%后,长输出与高并发场景输出吞吐峰值达原来的2.23倍;sglang-kunlun插件打通SGLang与昆仑芯,国产卡开发可复用70%至80%的CUDA生态经验。目前该活动暂无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
百度百舸优化智能体推理基础设施：内部平均上下文已达6万事件进展
1 个已确认进展
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月8日
新京报
百度百舸优化智能体推理基础设施：内部平均上下文已达6万
百度智能云主任架构师黎世勇透露，百度内部智能体平均上下文已达60k左右，并可能继续涨至100k、500k。百度百舸通过权重零冗余分布式部署、显存优化和MoE专家压缩支撑长上下文，测试中MoE专家压缩50%后长输出与高并发场景输出吞吐峰值达原来的2.23倍；sglang-kunlun插件打通SGLang与昆仑芯，国产卡开发可复用70%至80%的CUDA生态经验。