先了解这件事
AI 综述
2025年10月27日,vLLM公布对Semantic Router的重构:Rust分类层由单体架构转向模块化设计,并通过共享基础模型的LoRA适配器及并发优化,降低多任务分类开销。其采用的Qwen3-Embedding支持100多种语言和32,768 tokens上下文;OnceLock用于实现初始化后的无锁读取,Flash Attention 2可使Qwen3注意力操作获得最高4倍加速。目前材料仅提供此次架构重构进展。
AI 根据公开报道生成
最新进展 · 正式报道
vLLM Semantic Router 如何通过可扩展 LoRA 从单体架构走向模块化事件进展
1 个已确认进展
- 来源：vLLM 官方博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月27日
vLLM 官方博客一手
vLLM Semantic Router 如何通过可扩展 LoRA 从单体架构走向模块化
vLLM 重构 Semantic Router 的 Rust 分类层，以模块化架构、共享基础模型的 LoRA 适配器和并发优化降低多任务分类开销。Qwen3-Embedding 支持 100 多种语言和 32,768 tokens 上下文；OnceLock 实现初始化后无锁读取，Flash Attention 2 可为 Qwen3 注意力操作带来最高 4× 加速。