Ollama 发布 macOS 和 Windows 桌面应用
Ollama 的新应用已在 macOS 和 Windows 上线，提供下载模型并直接对话的图形界面。新应用支持拖放文件，可对文本或 PDF 进行推理，处理大文档时可在设置中提高上下文长度，但会占用更多内存。应用还基于新的多模态引擎支持向 Gemma 3 等模型发送图片，并能处理代码文件；纯 CLI 版本仍可在 Ollama 的 GitHub releases 页面单独下载。
匹配字段摘要
←搜索结果
搜索“推理”
Ollama 推出多模态模型新引擎，支持 Llama 4、Gemma 3、Qwen 2.5 VL 等视觉模型
Ollama 发布新的多模态引擎，开始支持 Meta Llama 4、Google Gemma 3、Qwen 2.5 VL、Mistral Small 3.1 等视觉模型，可进行多图理解、文档扫描与字符识别。此前 Ollama 依赖 ggml-org/llama.cpp 提供模型支持，新引擎让每个模型自包含并暴露自己的投影层，同时加入图像缓存、显存估算与 KV cache 优化，例如针对 Gemma 3 的滑动窗口注意力和 Llama 4 Scout 的分块注意力。后续计划支持更长上下文、思考/推理、流式工具调用和 computer use。
匹配字段摘要
vLLM v0.8.3 新增对 Llama 4 Scout 和 Maverick 的支持
vLLM v0.8.3 开始支持 Llama 4 Scout（17B-16E）和 Maverick（17B-128E），可部署长上下文原生多模态推理。在 8xH100 上，Scout 可提供 1M 上下文，Maverick 约为 430K；设置 `--limit-mm-per-prompt image=10` 后，每次请求最多可输入 10 张图像。A100 已支持 bf16 版本，AMD MI300X 可通过源码构建运行，Scout 的单 H100 INT4 量化版本仍在开发中。
vLLM v0.8.3 开始支持 Llama 4 Scout（17B-16E）和 Maverick（17B-128E），可部署长上下文原生多模态推理。在 8xH100 上，Scout 可提供 1M 上下文，Maverick 约为 430K；设置 --limit-mm-per-prompt image=10 后，每次请求最多可输入 10 张图像。A100 已支持 bf16 版本，AMD MI300X 可通过源码构建运行，Scout 的单 H100 INT4 量化版本仍在开发中。
匹配字段摘要
FutureHouse 开源 Aviary：在生物学科研任务上训练语言智能体
FutureHouse 发布 Aviary 框架及配套代码，用于在生物学研究的多步任务上训练语言智能体，并称用该代码训练的小型开源模型在文献研究和 DNA 构建推理两项 LAB-Bench 任务上超过前沿语言模型和人类博士研究者，且成本大幅更低。框架把工具、软件和任务归入环境，把可优化部分组织成计算图来定义智能体，训练上采用重复尝试并对成功样本微调，推理时用多数投票或共识采样提升表现。相关预印本为 arxiv.org/abs/2412.21154，环境代码在 github.com/Future-House/aviary，智能体代码在 github.com/Future-House/ldp。
匹配字段摘要
vLLM v0.6.0 发布，吞吐量提升最高 2.7x、TPOT 最多降低 5x
vLLM 发布 v0.6.0，相比 v0.5.3 吞吐量提升 1.8-2.7x，其中 Llama 8B 的吞吐量提升 2.7x、TPOT 加快 5x，Llama 70B 的吞吐量提升 1.8x、TPOT 减少 2x。主要优化包括拆分 API server 与推理引擎、多步批量调度、异步输出处理、对象缓存和非阻塞数据传输。多步调度目前会造成 token 间延迟波动，并可能在低请求率下提高 TTFT。
匹配字段摘要
Anthropic 开发者控制台新增提示词生成器
Anthropic 在开发者控制台推出提示词生成器，用户描述任务后 Claude 会运用角色设定、链式推理等技巧生成可编辑的提示词模板。该功能基于一个长提示词实现，并支持将模板变量用于评估，ZoomInfo 称其将提示词优化时间减少了 80%。
匹配字段摘要
Replit 发布 Ghostwriter AI 编程助手，Complete Code 进入封闭测试
Replit 宣布推出 Ghostwriter，把 AI 能力接入几乎全部 IDE 功能，旗舰功能 Complete Code 是实时补全代码的 AI 结对程序员，目前处于封闭测试。官方称通过 FasterTransformer 与 Triton 推理、知识蒸馏和量化等优化，中位响应时间低于 400ms；Explain Code、Generate Code、Transform Code 则调用 OpenAI 等更大模型。Ghostwriter 后续将打包为基于 Cycles 的付费功能，最终计划像 Multiplayer 一样默认免费开放。
匹配字段摘要
Hao AI Lab开源JetSpec++模型、代码与推理引擎
2026年10月31日,UCSD Hao AI Lab宣布将JetSpec++的模型、代码和推理引擎全部开源,并附上论文、代码与Hugging Face链接。该投机解码框架通过因果并行草稿、隐藏状态预测器和锚点token解码器,把草稿生成与验证流水线化。据其公布的数据,在Qwen3-8B上,JetSpec++实现1,361 TPS,相对DSpark最高1.54倍、相对自回归解码7.45倍端到端加速,且保持无损;结合NVFP4与kernel优化后,在两块GB200 GPU上Qwen3-8B超过4,000 TPS、Qwen3.8-27B超过900 TPS。目前尚无后续进展。
匹配字段标题
Hao AI Lab开源JetSpec++模型、代码与推理引擎
2026年10月31日,UCSD Hao AI Lab宣布将JetSpec++的模型、代码和推理引擎全部开源,并附上论文、代码与Hugging Face链接。该投机解码框架通过因果并行草稿、隐藏状态预测器和锚点token解码器,把草稿生成与验证流水线化。据其公布的数据,在Qwen3-8B上,JetSpec++实现1,361 TPS,相对DSpark最高1.54倍、相对自回归解码7.45倍端到端加速,且保持无损;结合NVFP4与kernel优化后,在两块GB200 GPU上Qwen3-8B超过4,000 TPS、Qwen3.8-27B超过900 TPS。目前尚无后续进展。
匹配字段标题
DeepSeek在GitHub开源推理引擎DeepInfer
2026年10月29日,DeepSeek在GitHub开源推理引擎DeepInfer,该引擎是DeepSeek-V4.1-Flash背后的推理引擎。雷锋网同日报道,DeepInfer包含MoE专家并行、异步Batch调度、定制Kernel和推测解码等技术,并披露单集群每天需处理约155万亿个Token。其Zero-Overhead Batch Scheduler让CPU提前一轮安排计算,与GPU前向重叠,并通过total_inflight_tokens记账、Remap映射和DeferredRelease延迟回收处理跨轮次状态错位。目前开放的是离线推理能力,线上KV Cache存储和跨副本负载均衡等组件尚未完整公开,官方也未单独公布该调度机制相对同步方案的端到端加速数据。
2026年10月29日,DeepSeek在GitHub开源推理引擎DeepInfer,该引擎是DeepSeek-V4.1-Flash背后的推理引擎。雷锋网同日报道,DeepInfer包含MoE专家并行、异步Batch调度、定制Kernel和推测解码等技术,并披露单集群每天需处理约155万亿个Token。其Zero-Overhead Batch Scheduler让CPU提前一轮安排计算,与GPU前向重叠,并通过total inflight tokens记账、Remap映射和DeferredRelease延迟回收处理跨轮次状态错位。目前开放的是离线推理能力,线上KV Cache存储和跨副本负载均衡等组件尚未完整公开,官方也未单独公布该调度机制相对同步方案的端到端加速数据。
匹配字段标题
DeepSeek在GitHub开源推理引擎DeepInfer
2026年10月29日,DeepSeek在GitHub开源推理引擎DeepInfer,该引擎是DeepSeek-V4.1-Flash背后的推理引擎。雷锋网同日报道,DeepInfer包含MoE专家并行、异步Batch调度、定制Kernel和推测解码等技术,并披露单集群每天需处理约155万亿个Token。其Zero-Overhead Batch Scheduler让CPU提前一轮安排计算,与GPU前向重叠,并通过total_inflight_tokens记账、Remap映射和DeferredRelease延迟回收处理跨轮次状态错位。目前开放的是离线推理能力,线上KV Cache存储和跨副本负载均衡等组件尚未完整公开,官方也未单独公布该调度机制相对同步方案的端到端加速数据。
匹配字段标题
DeepSeek开源推理框架DeepInfer
2026年10月20日,DeepSeek宣布开源其内部生产级推理框架DeepInfer。据Latent Space报道,该框架支撑DeepSeek-V4.1-Flash,基于vLLM定制,支持分布式推理、投机解码、SWA Bounded Replay和结构化输出,目标平台为NVIDIA SM100与华为昇腾950;公布的单集群生产数据为每天处理155万亿token、96%输入缓存命中、首token延迟400ms、生成速度230 tokens/s。报道同时指出,KV cache管理和负载均衡等组件尚未完全开源。次日,DeepSeek在知乎发布DeepInfer技术报告,公开Prefill与Decode的硬件选型、KVCache目标等内部细节,并给出单一集群服务吞吐155万亿Tokens/天、按谷价每卡每小时38美金的数据。目前该框架已开源,但完整服务所需的KV缓存系统、Prefill/Decode解耦和负载均衡未完全包含在本次开源项目中。
匹配字段标题
DeepSeek开源推理框架DeepInfer
2026年10月20日,DeepSeek宣布开源其内部生产级推理框架DeepInfer。据Latent Space报道,该框架支撑DeepSeek-V4.1-Flash,基于vLLM定制,支持分布式推理、投机解码、SWA Bounded Replay和结构化输出,目标平台为NVIDIA SM100与华为昇腾950;公布的单集群生产数据为每天处理155万亿token、96%输入缓存命中、首token延迟400ms、生成速度230 tokens/s。报道同时指出,KV cache管理和负载均衡等组件尚未完全开源。次日,DeepSeek在知乎发布DeepInfer技术报告,公开Prefill与Decode的硬件选型、KVCache目标等内部细节,并给出单一集群服务吞吐155万亿Tokens/天、按谷价每卡每小时38美金的数据。目前该框架已开源,但完整服务所需的KV缓存系统、Prefill/Decode解耦和负载均衡未完全包含在本次开源项目中。
匹配字段标题
Google发布TPU原生vLLM与SGLang推理引擎
Google 发布 vLLM与SGLang的TPU原生PyTorch后端推理引擎
English translation is being prepared.
匹配字段标题
IBM等贡献者发布llm-d 1.0推理框架
2026年10月20日,IBM等开源llm-d项目贡献者发布分布式人工智能推理框架1.0版本。据Unite.AI报道,该版本在PyTorch Conference North America上发布,是Kubernetes原生的分布式推理服务栈,由Red Hat、IBM和Google主导维护,CNCF以沙箱项目托管;1.0新增多租户服务质量保障,包括按优先级和公平性调度的流控与可控降载,并支持路由器热备、安全滚动更新,以及把prefill和decode副本作为整体管理的DisaggregatedSet控制器。项目公布的测试显示,在544张NVIDIA H100上部署GLM-5.2可服务最多3000个并发编码智能体且零抢占,每token成本比同等商业API低5到10倍。次日MarkTechPost报道称,Google团队在同一会议上发布该首个稳定版本,把vLLM或SGLang模型服务器整合为统一调度池,支持NVIDIA、AMD、Intel GPU与Google TPU,并新增会话感知路由和异步推理等能力;Google自报基准显示Ironwood TPU编码负载下中位TTFT降低超过85%、
匹配字段标题
IBM等贡献者发布llm-d 1.0推理框架
IBM Corp. and several other contributors to the open-source llm-d project 发布 version 1.0 of their distributed artificial intelligence inference framework
English translation is being prepared.
匹配字段标题
Google发布TPU原生vLLM与SGLang推理引擎
Google于2026年10月20日发布基于TorchTPU的vLLM与SGLang原生PyTorch后端推理引擎,分别与Inferact、RadixArk合作开发。官方表示,两个引擎已在预览客户的生产环境中运行;在Ironwood TPU(TPU 7x)上运行Qwen 3.5时,高并发配置下每百万token成本为2.01美分,并已在SemiAnalysis InferenceX的AgentX赛道提交结果。功能方面,引擎支持前缀缓存与KV cache卸载、投机解码、分离式服务以及图像视频输入的多模态模型;SGLang-TorchTPU已在Meta生产环境使用。目前尚无后续独立发展事实。
匹配字段标题
LMSYS推出SGLang低延迟模式,NVIDIA与AMD GPU推理提速
LMSYS于2026年10月18日发布SGLang Low-Latency Mode,通过插件框架把专用kernel接入SGLang,在NVIDIA和AMD GPU上降低推理延迟。据LMSYS Blog介绍,在四块NVIDIA GB300上回放AgentX trace,单并发会话的P90每用户token生成速度从671.2提升到928.4 tokens/s,为1.38倍;在四块AMD MI355X上四并发会话从331.6提升到516.0 tokens/s,为1.56倍。NVIDIA侧kernel位于sgl-nvidia-mega,AMD侧位于sgl-amd-mono,均针对DeepSeek-V4.1-Flash与DSpark的验证和草稿执行做优化。目前尚无后续发展事实。
匹配字段标题
Inworld 推出面向消费级 AI 应用的推理 API
2026年10月15日,Inworld 推出 Inworld Inference,一个面向消费级 AI 应用的 LLM 推理 API。据 Testing Catalog 报道,该 API 支持 Gemma 4、GLM、DeepSeek 和 MiMo 等开源模型。官方称在 Gemma 4 26B 上首 token 中位延迟为 0.17 秒,对比 OpenRouter 上其他供应商中位值 0.61 秒快 3.6 倍;95 分位为 0.31 秒对 2.42 秒,快 7.8 倍。开发者还可设置首个模型失败或耗时过长时自动切换到备用模型。目前尚无后续发展事实。
匹配字段标题
Inworld 推出面向消费级 AI 应用的推理 API
Inworld 推出 Inworld Inference 推理 API
English translation is being prepared.
匹配字段标题