vLLM v0.6.0 发布，吞吐量提升最高 2.7x、TPOT 最多降低 5x
vLLM 发布 v0.6.0，相比 v0.5.3 吞吐量提升 1.8-2.7x，其中 Llama 8B 的吞吐量提升 2.7x、TPOT 加快 5x，Llama 70B 的吞吐量提升 1.8x、TPOT 减少 2x。主要优化包括拆分 API server 与推理引擎、多步批量调度、异步输出处理、对象缓存和非阻塞数据传输。多步调度目前会造成 token 间延迟波动，并可能在低请求率下提高 TTFT。
匹配字段摘要
←搜索结果
搜索“推理”
Cartesia 发布端侧智能更新：开源 Edge 库、1.3B 模型 Rene 与 Sonic On-Device
Cartesia 宣布端侧智能首个里程碑，发布开源库 Edge、1.3B 参数 SSM 语言模型 Rene，以及支持低延迟实时流式生成的 Sonic On-Device 私有测试版。Rene 采用 Mamba-2 混合架构，在多项基准上表现与同级 SOTA 小模型相当，Edge 已支持 Apple MLX 和量化推理。
匹配字段摘要
Zyphra 发布 2.7B 端侧模型 Zamba2-small
Zyphra 发布 Zamba2-small，一个面向端侧应用的 2.7B 小语言模型，权重以 Apache 2.0 开源。该模型将 Zamba-7B 的 Mamba1 块替换为 Mamba2 块，并采用两个 ABAB 交错共享注意力块，对每个共享 MLP 块应用 LoRA projector。相比 Phi3-3.8B，其首 token 时间快 2 倍、内存开销降低 27%、生成延迟低 1.29 倍，并保持 3-4B 稠密 Transformer 的质量而只需 1-2B 的推理算力与内存。
匹配字段摘要
LAB-Bench：衡量语言模型生物学研究能力的基准
FutureHouse 发布 Language Agent Biology Benchmark（LAB-Bench），共 2,457 道题、覆盖 8 大类，用于评测语言模型和语言智能体执行科研任务的能力。所有现有模型在各项任务上均大幅落后于人类，仅 Claude 3.5 Sonnet 在 TableQA 精度上略超人类；除它之外，所有模型在视觉推理基准 FigQA 上接近随机水平。数据集已开放 80%，另留 20% 私有测试集用于监测训练污染。
匹配字段摘要
Anthropic 开发者控制台新增提示词生成器
Anthropic 在开发者控制台推出提示词生成器，用户描述任务后 Claude 会运用角色设定、链式推理等技巧生成可编辑的提示词模板。该功能基于一个长提示词实现，并支持将模板变量用于评估，ZoomInfo 称其将提示词优化时间减少了 80%。
匹配字段摘要
Zyphra 发布 7B 基础模型 Zamba，开源全部训练检查点
Zyphra 发布 7B 参数基础模型 Zamba，采用 Mamba 块与每 6 层一个全局共享注意力层结合的混合架构，训练和推理比标准 Transformer 更省算力。模型分两阶段训练，先用约 1 万亿 token 开放网页数据，再用约 500 亿 token 高质量数据退火，在多项基准上超过 LLaMA-2 7B 和 OLMo-7B，且训练数据用量不到后者一半。全部检查点以 Apache 2.0 协议开源，由 7 人团队在 128 张 H100 上耗时 30 天完成，Hugging Face 集成和完整技术报告将随后发布。
匹配字段摘要
Mamba 解析：比 Transformer 快 5 倍的状态空间模型
Mamba 是一种基于状态空间模型（SSM）的替代架构，首次在保持与 Transformer 相近性能和缩放规律的同时，支持长达 100 万 token 的序列长度，推理速度最高可达 Transformer 的 5 倍。其 Mamba-3B 模型在语言建模上超越了同规模 Transformer，并追平两倍规模的 Transformer。Mamba 通过移除注意力机制的二次瓶颈，实现了线性序列缩放和快速推理。
匹配字段摘要
Zyphra 研究：深层网络层的无效性——LLM 层剪枝
Zyphra 研究发现，对 Llama-2-70B 等开放权重预训练 LLM 进行层剪枝，在移除多达一半的层之前，多项问答基准性能几乎不下降。该方法通过层间相似度选出最优剪枝块，再用 QLoRA 微调修复损伤，单张 A100 GPU 即可完成实验。剪枝后推理延迟随层数线性降低，可与量化、投机解码等 PEFT 策略叠加使用。
匹配字段摘要
Ollama 发布 LLaVA 1.6 视觉模型，新增 34B 版本
Ollama 更新 LLaVA 视觉模型集合至 1.6 版本，支持最高 4 倍像素的图像分辨率，并在额外的文档、图表和示意图数据集上训练，提升了文字识别与推理能力。模型提供 7B、13B 和新增的 34B 三种参数规模，可通过 ollama run llava:7b、llava:13b、llava:34b 运行，采用 Apache 2.0 或 LLaMA 2 Community License 授权。CLI 中可直接引用 .jpg 或 .png 文件路径，Python、JavaScript 库和 REST API 则支持在 images 参数中传入 base64 编码文件。
匹配字段摘要
2024 年初的 LLM 与编程
Redis 作者 antirez 分享自己用 LLM 写代码的体验：他越来越多用 LLM 写 Python 高层代码，很少用于 C，并已学会判断何时使用、何时会被拖慢。他认为 LLM 像"愚蠢但全知"的学者，知识广博但推理粗糙、常有幻觉，适合帮人从完全无知跨到能自行推进的程度。
匹配字段摘要
LLM 的对抗攻击：Lilian Weng 解析威胁模型与五类攻击方法
Lilian Weng 在 Lil'Log 撰文梳理针对大语言模型的对抗攻击，假定攻击只发生在推理阶段、模型权重固定，并区分白盒与黑盒两种设定。文章介绍了 Token 操纵、基于梯度的攻击、越狱提示词、人工红队与模型红队五类方法，其中 Token 操纵类攻击可在黑盒条件下进行，如 TextFooler、BERT-Attack 等。
匹配字段摘要
Replit 发布 Ghostwriter AI 编程助手，Complete Code 进入封闭测试
Replit 宣布推出 Ghostwriter，把 AI 能力接入几乎全部 IDE 功能，旗舰功能 Complete Code 是实时补全代码的 AI 结对程序员，目前处于封闭测试。官方称通过 FasterTransformer 与 Triton 推理、知识蒸馏和量化等优化，中位响应时间低于 400ms；Explain Code、Generate Code、Transform Code 则调用 OpenAI 等更大模型。Ghostwriter 后续将打包为基于 Cycles 的付费功能，最终计划像 Multiplayer 一样默认免费开放。
匹配字段摘要
目标检测 Part 4：SSD、RetinaNet 与 YOLO 等快速检测模型
Lil'Log 目标检测系列 Part 4 聚焦单阶段快速检测模型，包括 SSD、RetinaNet 和 YOLO 家族。YOLO 将图像划分为 S×S 网格，每个单元格预测 B 个边界框、置信度与类别概率，最终输出 S×S×(5B+K) 张量，因跳过区域提议步骤而推理极快，但不擅长识别不规则形状或小目标群。SSD 以 ImageNet 预训练的 VGG-16 为基座，叠加逐层缩小的卷积特征层构建金字塔，用于检测不同尺寸目标。
匹配字段摘要
Hao AI Lab开源JetSpec++模型、代码与推理引擎
2026年10月31日,UCSD Hao AI Lab宣布将JetSpec++的模型、代码和推理引擎全部开源,并附上论文、代码与Hugging Face链接。该投机解码框架通过因果并行草稿、隐藏状态预测器和锚点token解码器,把草稿生成与验证流水线化。据其公布的数据,在Qwen3-8B上,JetSpec++实现1,361 TPS,相对DSpark最高1.54倍、相对自回归解码7.45倍端到端加速,且保持无损;结合NVFP4与kernel优化后,在两块GB200 GPU上Qwen3-8B超过4,000 TPS、Qwen3.8-27B超过900 TPS。目前尚无后续进展。
匹配字段标题
Hao AI Lab开源JetSpec++模型、代码与推理引擎
2026年10月31日,UCSD Hao AI Lab宣布将JetSpec++的模型、代码和推理引擎全部开源,并附上论文、代码与Hugging Face链接。该投机解码框架通过因果并行草稿、隐藏状态预测器和锚点token解码器,把草稿生成与验证流水线化。据其公布的数据,在Qwen3-8B上,JetSpec++实现1,361 TPS,相对DSpark最高1.54倍、相对自回归解码7.45倍端到端加速,且保持无损;结合NVFP4与kernel优化后,在两块GB200 GPU上Qwen3-8B超过4,000 TPS、Qwen3.8-27B超过900 TPS。目前尚无后续进展。
匹配字段标题
DeepSeek在GitHub开源推理引擎DeepInfer
2026年10月29日,DeepSeek在GitHub开源推理引擎DeepInfer,该引擎是DeepSeek-V4.1-Flash背后的推理引擎。雷锋网同日报道,DeepInfer包含MoE专家并行、异步Batch调度、定制Kernel和推测解码等技术,并披露单集群每天需处理约155万亿个Token。其Zero-Overhead Batch Scheduler让CPU提前一轮安排计算,与GPU前向重叠,并通过total_inflight_tokens记账、Remap映射和DeferredRelease延迟回收处理跨轮次状态错位。目前开放的是离线推理能力,线上KV Cache存储和跨副本负载均衡等组件尚未完整公开,官方也未单独公布该调度机制相对同步方案的端到端加速数据。
2026年10月29日,DeepSeek在GitHub开源推理引擎DeepInfer,该引擎是DeepSeek-V4.1-Flash背后的推理引擎。雷锋网同日报道,DeepInfer包含MoE专家并行、异步Batch调度、定制Kernel和推测解码等技术,并披露单集群每天需处理约155万亿个Token。其Zero-Overhead Batch Scheduler让CPU提前一轮安排计算,与GPU前向重叠,并通过total inflight tokens记账、Remap映射和DeferredRelease延迟回收处理跨轮次状态错位。目前开放的是离线推理能力,线上KV Cache存储和跨副本负载均衡等组件尚未完整公开,官方也未单独公布该调度机制相对同步方案的端到端加速数据。
匹配字段标题
vLLM博客发布Kimi K3推理优化技术复盘
2026年10月16日,vLLM博客发布技术复盘《Hyper Optimizing Kimi K3 in vLLM: Moving Fast and Responsibly》。据钛媒体·AGI报道,英伟达CentML工程师Benjamin Chislett用1.2万行CuTe DSL编写的Megakernel优化月之暗面Kimi K3推理;vLLM博客报告batch 1下超过840 tokens/s、多配置解码吞吐提升1.5至2倍,SemiAnalysis测算GB300 NVL72上达423 tok/s/user、提升1.68倍。vLLM博客称智能体优化的推理代码正超过人类审查与维护速度,团队因此提出fast-track model optimization RFC,让审查者从高层抽象判断设计而非逐行审代码。报道还提到英伟达正为vLLM开发DeepSeek V4.1等其他模型的优化。
匹配字段标题
Guillermo Rauch宣布Vercel与Particle合作提供模型与推理
2026年10月29日,Guillermo Rauch表示,Vercel与Suhail达成合作,将通过Vercel AI Gateway提供Particle的模型与推理服务。他称Particle的目标是让智能像电力一样普及和充足,双方将共同为开发者和企业实现这一目标。目前该合作仅有这一项公开表态,尚无后续进展披露。
匹配字段标题
Guillermo Rauch宣布Vercel与Particle合作提供模型与推理
2026年10月29日,Guillermo Rauch表示,Vercel与Suhail达成合作,将通过Vercel AI Gateway提供Particle的模型与推理服务。他称Particle的目标是让智能像电力一样普及和充足,双方将共同为开发者和企业实现这一目标。目前该合作仅有这一项公开表态,尚无后续进展披露。
匹配字段标题
vLLM博客发布Kimi K3推理优化技术复盘
2026年10月16日,vLLM博客发布技术复盘《Hyper Optimizing Kimi K3 in vLLM: Moving Fast and Responsibly》。据钛媒体·AGI报道,英伟达CentML工程师Benjamin Chislett用1.2万行CuTe DSL编写的Megakernel优化月之暗面Kimi K3推理;vLLM博客报告batch 1下超过840 tokens/s、多配置解码吞吐提升1.5至2倍,SemiAnalysis测算GB300 NVL72上达423 tok/s/user、提升1.68倍。vLLM博客称智能体优化的推理代码正超过人类审查与维护速度,团队因此提出fast-track model optimization RFC,让审查者从高层抽象判断设计而非逐行审代码。报道还提到英伟达正为vLLM开发DeepSeek V4.1等其他模型的优化。
匹配字段标题