N全部新闻

全部新闻

星期三113 条

  1. 阿易 AI Notes产品发布
    AI 评分61

    DeepSeek 以 Apache 2.0 开源推理框架 DeepInfer 及编解码组件

    DeepSeek 以 Apache 2.0 协议开源了支撑其线上服务的推理框架 DeepInfer 和 API 同款编解码组件 deepseek-recipe，官方称后续新模型的推理代码也会持续合入该仓库。框架包含高性能算子、分布式推理、投机解码、SWA Bounded Replay 和结构化输出，但 README 显示此次只放出离线推理引擎，KV 缓存系统、预填充与解码分离部署、多副本负载均衡未包含在内。硬件上目前仅支持英伟达 Blackwell 架构 SM100 和华为昇腾 950，支持的模型也仅限 V4.1-Flash。

    引用AYi · @AYi_AInotes

    前两天全网还在猜 DeepSeek V4.1 Flash 是怎么把每百万输入压到 0.15 美元、输出压到 0.6 美元的，今天他们自己就把谜底掀了，DeepSeek用 Apache 2.0 协议把支撑自家线上服务的推理框架 DeepInfer 和 API 同款编解码组件全给开源了出来。 这次放出来是他们自己线上跑大模型用的核心底座，里面直接塞进了高性能算子、分布式推理、投机解码、SWA Bounded Replay 和结构化输出，甚至连官方承诺以后新模型的推理代码也会持续往这个仓库里合入。 以前企业在本地私有化部署开源模型，最头疼的痛点就是官方放了权重，但你自己用通用框架搭出来的服务，不仅吞吐慢、显存炸，最要命的是同一个提示词跑出来的格式和工具调用行为，总是跟官方线上 API 对不上号。 而这波开源里最容易被外行漏看、但对工程落地最值钱的宝贝，其实是那个顺手附赠的 deepseek-recipe，它把官方线上 API 正在用的 Token 编解码逻辑原封不动交了出来，直接替所有做私有化部署的团队抹平了本地环境和官方接口之间的行为温差。 这就像一家米其林餐厅，以前开源模型权重只是把菜谱免费印给你，你自己在家炒总是差一口锅气， 现在 DeepSeek 连自家后厨定制的高压猛火灶台 DeepInfer，外加主厨切配摆盘的标准化工序 deepseek-recipe 一块打包送你了。 不过我顺手去扒了一遍 GitHub 仓库的 README，发现对着全网欢呼的完全开源也得留个清醒，仓库文档写得很实在， 这次放出来的其实只是离线推理引擎，真正撑起完整线上高并发服务最核心的三块基建：KV 缓存系统、预填充与解码分离部署、多副本负载均衡这次并没有放出来；而且硬件门槛极高，目前只认英伟达最新的 Blackwell 架构 SM100 和华为昇腾 950 两款顶级算力卡，支持的模型也只限刚发的 V4.1-Flash，普通玩家手里的消费级显卡压根跑不起来。 但恰恰是 README 里这行只支持英伟达 SM100 和华为昇腾 950 的硬件限定，暴露了比框架本身更狠的产业信号，头部国产大模型已经不再等芯片厂商来缓慢适配自己，而是亲自下场写底层算子，一边吃透硅谷最顶级的 Blackwell，一边把国产昇腾 950 直接焊进第一梯队的生产标准里。 说白了，这对不同的人意味着完全不同的动作，如果你是做企业级私有化部署或国产算力适配的架构师，赶紧去把 deepseek-recipe 的编解码对齐逻辑和底层算子吃透，那里藏着省下大把调优工时的真金白银， 至于手握单卡的个人开发者，这趟就不必跟着去凑部署的热闹了，老老实实调它家几毛钱的 API 比自己搭集群划算得多。 当一家公司连自己压箱底的印钞机图纸都敢往外送时，它图谋的早就不是赚你那点差价，而是让整个行业的生产线都长成它的形状。 我把 README 里没在推文上明说的硬件门槛和缺失组件全拆在一楼了，准备拿它做私有化部署的兄弟先对照看一眼。

    同一事件 · 29 条报道

    #开源/仓库#推理#DeepSeek

  2. TechSpot产品发布
    AI 评分74

    ChatGPT 的 Chrome 扩展更新，可控制标签页、下载文件并填写表单

    OpenAI 对 ChatGPT 的 Chrome 扩展进行重大更新，新增 Chat 和 Work 两种模式，可读取已打开标签页的内容、控制浏览器发送消息、下载文件、按主题分组标签页，并用在线信息或本地文件填写表单，提交前由用户手动检查。用户还能在 ChatGPT 应用或网站中用 @Chrome 直接执行浏览器任务，并可将访问范围限制在特定标签页；访问聊天记录或新网站时会请求授权，提供仅一次、仅此站点、所有站点和拒绝四个选项。新功能在 Chrome、Edge、Brave、Opera、Vivaldi 等 Chromium 浏览器中免费提供，暂不支持 Firefox 和 Safari，扩展可从 Chrome Web Store 下载。

    #产品更新#OpenAI#MCP/工具调用

  3. 雷科技产品发布
    AI 评分59

    腾讯元宝搜索升级并通过腾讯云对外开放

    腾讯10月20日宣布元宝搜索升级，并通过腾讯云向企业和个人开发者开放，开发者可通过API、MCP或Skill接入。官方披露向量索引规模超过1500亿、底层检索平均耗时约8毫秒、单位推理成本降低90%，覆盖13个行业157个头部信源，元宝、WorkBuddy、ima、腾讯视频等50多款产品已在调用。腾讯云副总裁马晋称搜索面对的用户已从人变成智能体，元宝搜索用大模型重构排序链路，并以Gist Token压缩和KV Cache复用降低推理耗时。

    同一事件 · 4 条报道

    #产品更新#搜索#Agent

  7. fal产品发布
    AI 评分52

    Bria Fibo 2.0 上线 fal，支持多图编辑与文生图

    Bria AI 的 Bria Fibo 2.0 已在 fal 平台上线，该模型在 Artificial Analysis 上位列开放权重图像编辑模型第一，同时支持文生图与定向编辑。它最多可接收四张输入图像，支持背景替换、产品重摆与光照调整，并能处理推理密集型提示词；模型仅用授权数据训练，商业权利清晰。

    同一事件 · 2 条报道

    #产品更新#图像生成#开源生态

  9. 新京报产品发布
    AI 评分65

    DeepSeek 宣布全面开源内部推理框架 DeepInfer

    DeepSeek 在官方公号发文称，决定将内部推理框架 DeepInfer 全面开源。DeepSeek 表示，希望通过分享内部部署经验，帮助开发者与企业优化大规模推理的吞吐与延迟，高效构建私有化及公有云部署，降低算力成本、减少能源消耗。

    同一事件 · 29 条报道

    #开源/仓库#推理#部署/工程

  10. Google Blog一手产品发布
    AI 评分57

    Google 为 Gemini 推出小企业业务中心与品牌、财务工具

    Google 为 Gemini 推出面向小企业主的业务落地页，可在其中管理品牌、财务和客户洞察，并连接 Google Business Profile、Google Ads、Google Workspace 以及 Adobe、Canva、Dropbox、Shopify、Wix、Zoho、Xero 等第三方应用。用户上传网站、品牌套件、字体或配色即可定义品牌风格，配合 Nano Banana 2.1 生成风格统一的营销视觉；Gemini 还能把表格、收据和采购记录转成财务图表与交互模型。这些功能将在未来数日面向所有 Gemini 应用用户全球逐步上线。

    "Your brand, your tools, all in one place" banner featuring three feature highlights: "Create image styles for your brand," "Customize Gemini with apps and skills," and "Create content with templates."

    #产品更新#Google#Agent

  11. PyTorch Blog一手产品发布
    AI 评分87

    Google 与 Meta 联合推出 TorchTPU，让 PyTorch 原生运行在 TPU 上

    Google 与 Meta 的 PyTorch 团队合作推出开源项目 TorchTPU，为 Google TPU 提供原生 PyTorch 后端，迁移只需把 model.to("cuda") 改为 model.to("tpu")。项目支持 eager 与 torch.compile 两种模式，新增 DeferAndFuse eager 模式，覆盖约 450 个 Aten 算子，并已在 4,917 个 Hugging Face 模型上验证开箱运行，其中 Tier 1 通过率 98%、Tier 2 相对 GPU 数值一致性 97%。官方称其已用于部分 Google Cloud 大客户的推理与训练生产负载，并集成 vLLM、SGLang、TorchTitan、Ray 和 TorchRec。

    同一事件 · 2 条报道

    #产品更新#开源生态#部署/工程

星期二89 条

  1. Google Developers Blog一手产品发布
    AI 评分59

    Google 在 TPU 上发布 vLLM 与 SGLang 原生 PyTorch 推理引擎

    Google 发布基于 TorchTPU 的 vLLM 与 SGLang 原生 PyTorch 后端，分别与 Inferact、RadixArk 合作开发，两个引擎已在预览客户的生产环境中运行。官方称在 Ironwood TPU（TPU 7x）上跑 Qwen 3.5 时，高并发配置下每百万 token 成本为 2.01 美分，并已在 SemiAnalysis InferenceX 的 AgentX 赛道提交结果。功能上支持前缀缓存与 KV cache 卸载、投机解码、分离式服务以及图像视频输入的多模态模型，SGLang-TorchTPU 已在 Meta 生产环境使用。

    inferenceblog

    #产品更新#部署/工程#开源生态

  2. IT之家·人工智能产品发布
    AI 评分60

    Mac 版 Perplexity Computer 新增端侧模式，要求 36GB 统一内存

    Mac 版 Perplexity Computer 新增端侧模式，可完全在设备端运行，无需联网即可执行任务。用户授权后它还能访问本地文件，并与备忘录、信息、邮件和 Numbers 表格等应用协同工作。该功能面向 Perplexity Pro、Max 和 Enterprise 订阅用户开放，首发提供 Qwen 3.6 和 PPLX Pro 两种端侧模式，最低要求 Apple 芯片和 36GB 统一内存。

    同一事件 · 5 条报道

    #产品更新#端侧#Agent

  3. Tianyi Cui产品发布
    AI 评分60

    DeepSeek 开源推理框架 DeepInfer 及 deepseek-recipe 等组件

    DeepSeek 开源了自研推理框架 DeepInfer，并同时放出 deepseek-recipe 等用于部署 DeepSeek 模型的关键组件。DeepInfer 已在生产环境中支撑 DeepSeek-V4.1-Flash 的大规模服务，主打高吞吐与低延迟。DeepSeek 表示公开生产栈是希望帮助社区降低算力成本、减少能耗，并让更多机构部署 DeepSeek 模型。

    引用DeepSeek · @deepseek_ai

    🚀 Introducing DeepInfer, our in-house inference framework, now fully open source! Powering DeepSeek-V4.1-Flash at scale with high throughput and low latency. We’re sharing our production stack to help the community lower compute costs, reduce energy use, and make AI more affordable. 🔗 https://t.co/JGAik1kgk0 1/4

    同一事件 · 29 条报道

    #开源/仓库#部署/工程#DeepSeek

  4. Yuchen Jin产品发布
    AI 评分57

    DeepSeek 开源内部推理框架 DeepInfer

    DeepSeek 宣布开源内部推理框架 DeepInfer，该框架支撑 DeepSeek-V4.1-Flash 的大规模运行，主打高吞吐和低延迟。DeepSeek 表示公开这套生产栈是为了帮助社区降低算力成本、减少能耗，让 AI 更可负担，并附上了仓库链接。Yuchen Jin 转发该消息并评论 Real Open AI。

    引用DeepSeek · @deepseek_ai

    🚀 Introducing DeepInfer, our in-house inference framework, now fully open source! Powering DeepSeek-V4.1-Flash at scale with high throughput and low latency. We’re sharing our production stack to help the community lower compute costs, reduce energy use, and make AI more affordable. 🔗 https://t.co/JGAik1kgk0 1/4

    同一事件 · 29 条报道

    #其他#产品更新#DeepSeek

  5. Rohan Paul产品发布
    AI 评分63

    AIPOCH 开源 Open-Science 桌面工作台，把编码智能体变成科研助手

    AIPOCH 发布开源桌面工作台 Open-Science，采用 Apache-2.0 许可，把编码智能体改造成面向科学家的研究助手。它支持 Python 或 R notebook、AlphaFold2 和 ESM-2 等科学技能，以及 PubChem、GTEx、cBioPortal 等数据库连接；每个输出都存为不可变、带校验和的版本，并提供溯源视图和隔离回放。智能体引擎可选 Claude Code、Codex、OpenCode 或 CodeBuddy，可接云端 API、Ollama 或 vLLM 本地模型，项目默认留在本地。AIPOCH 称在 BiomniBench-DA 公开任务上以 gpt-5.6-sol 取得 79.05，在其对比中排名第一。

    同一事件 · 4 条报道

    #开源/仓库#Agent#数据/训练

  6. Rohan Paul产品发布
    AI 评分62

    DeepSeek 以 Apache 2.0 开源推理引擎 DeepInfer

    DeepSeek 以 Apache 2.0 许可证开源了其生产服务所用的推理引擎 DeepInfer，8 小时内获得 6.3K+ stars。该版本只支持 DeepSeek-V4.1-Flash，运行在 NVIDIA SM100 GPU 或华为昇腾 950 芯片上，覆盖离线推理而非完整服务栈，缺少 KV cache、prefill 与 decode 分离以及副本间负载均衡。随附的加速层包含 DSpark，可提前草拟最多 5 个 token 并用置信度估计安排验证；bounded replay 只重算 140 token 后缀以覆盖滑动注意力窗口，从而压缩 prefill。配套库 deepseek-recipe 将把 Chat Completions、Responses 和 Messages 请求转换为与官方 API 行为一致的 DeepSeek V4 与 V4.1 提示词。

    同一事件 · 29 条报道

    #开源/仓库#推理#部署/工程

  7. Nathan Lambert产品发布
    AI 评分61

    DeepSeek 开源推理框架 DeepInfer

    DeepSeek 宣布将自研推理框架 DeepInfer 完全开源，该框架用于支撑 DeepSeek-V4.1-Flash 的大规模高吞吐、低延迟运行。官方称分享生产栈是为了帮助社区降低算力成本与能耗，让 AI 更可负担。Nathan Lambert 评论称这是获得模型采用的特别方式，对社区是好事，并提到时机微妙，因为政府刚在联邦机构禁用 DeepSeek。

    引用DeepSeek · @deepseek_ai

    🚀 Introducing DeepInfer, our in-house inference framework, now fully open source! Powering DeepSeek-V4.1-Flash at scale with high throughput and low latency. We’re sharing our production stack to help the community lower compute costs, reduce energy use, and make AI more affordable. 🔗 https://t.co/JGAik1kgk0 1/4

    同一事件 · 29 条报道

    #大佬观点#DeepSeek#政策/监管

  8. 面壁智能 OpenBMB产品发布
    AI 评分65

    面壁 MiniCPM-V 4.7 在 iPhone 上实现 20.51 tokens/sec

    面壁智能的 MiniCPM-V 4.7 在 iPhone 18 Pro Max（12GB）上实现 20.51 tokens/sec 的平均解码速度，相比同一设备未优化的 SSD 专家加载基线提速 6.07 倍。该速度来自 Lookahead Expert Scheduling（LES）、优化的专家加载、细粒度量化和 DSpark 投机解码。模型已在 GitHub 和 Hugging Face 开放。

    同一事件 · 2 条报道

    #产品更新#端侧#多模态

  9. 阿里云开发者社区 AI产品发布
    AI 评分66

    Google Research 开源 Harness²：不改模型权重让 AI Agent 持续进化

    Google Research 开源 Harness²，它不修改模型权重，而是通过调整系统提示词、记忆、工具指导、Skills、子智能体等八类组件，让 Agent 根据执行反馈改进自身工作方式。项目采用 Apache 2.0 协议，支持 OpenCode 和 Codex，默认使用 OpenCode，官方说明这是研究项目而非商业产品。其 Propose–Probe–Compose 机制通过候选方案执行同一任务的行为差异寻找改进方向，官方报告称仅一步优化在部分实验取得最高增益，但递归探索会带来额外模型调用与执行成本。

    同一事件 · 5 条报道

    #开源/仓库#Agent#Google