←搜索结果

按匹配度 · 共 3156 条结果 清除搜索

星期四

  1. A6 a6-051 · Cerebras:Blog

    Cerebras 谈 MCP 与 CLI 之争:推理基础设施和代码执行环境同样关键

    Perplexity CTO Denis Yarats 在 Ask 2026 宣布放弃 MCP、回归 API 与 CLI,引发 MCP 与 CLI 之争。MCP 自 2024 年 11 月由 Anthropic 开源后月下载量超 9700 万次,但连接 GitHub、Slack、Sentry 三个服务可在用户消息前占用超 55,000 tokens,token 用量比 CLI 高 3-42 倍。Cerebras 指出,Wafer-Scale Engine 可提供最高 3,000 tokens/秒、约 15 倍于 GPU 方案的推理速度,Pydantic 的 Rust 解释器 Monty 启动耗时低于 0.06ms。

    匹配字段标题、摘要、正文

  2. A6 a6-051 · Cerebras:Blog

    Cerebras:快速推理找到节奏

    Cerebras 回顾 2025 年:DeepSeek R1 Llama 70B 在其芯片上以超过 1500 tokens/秒运行,约为 GPU 的 57 倍;Artificial Analysis 独立测试显示其推理性能超过 NVIDIA Blackwell 的纪录。Cognition 的 SWE-1.5 与 SWE-grep 系列实现前沿级编码性能,速度最高达通用模型的 13 倍。Cerebras 在俄克拉荷马州启用 40+ exaflop 数据中心,并在北美和欧洲布局超过 7 个数据中心。

    匹配字段标题、摘要、正文

  3. A6 a6-047 · Baseten 工程博客

    Baseten 工程博客:LLM 推理可观测性、DeepSeek V4 Pro 0813 与 NVIDIA Nemotron 3.5

    Baseten 工程博客列出多篇推理工程与模型文章,包括《领先平台如何保障 LLM 推理可观测性》、面向 DeepSeek V4 Pro 0813 的推理工程,以及 Baseten 为 You.com 提供开源推理。博客还介绍 NVIDIA Nemotron 3.5 Lightning 与 Nemotron 3.5 ASR Streaming,并收录 Laguna S 2.1、Qwen3-TTS 微调语音克隆、Kimi K3 路由等内容。

    匹配字段标题、摘要、正文

  4. Ai2 Blog

    Ai2 推出 OlmoEarth Platform:行星尺度地理空间推理基础设施

    Ai2 发布 OlmoEarth Platform,用于将地理空间模型从微调、评估推进到大规模推理。平台可在约一天内完成大陆尺度推理,处理数十 TB 影像,成本为每平方公里不到一美分。一次覆盖全北美的野火风险图运行峰值动用约 19,600 个 CPU 和 994 个 GPU,网络吞吐超 168 GB/s,将约 4,737 小时串行计算压缩到约 30.5 小时,实现 155× 加速。

    匹配字段标题、摘要

星期三

  1. A6 a6-047 · Baseten 工程博客

    Baseten 宣布与 OpenAI 合作:成为 OpenAI B2B Marketplace 首批开放模型推理提供商

    Baseten 宣布成为 OpenAI B2B Marketplace 首批开放模型推理提供商之一,并在 Codex 中实现原生集成。OpenAI 企业客户可用现有 OpenAI 承诺额度,在 Codex 或 Responses API 中调用由 Baseten 提供的开放模型。Baseten 运行于 20+ 云、90+ 集群,推理部署在美国基础设施上并对所有提示词实行零数据保留(ZDR)。

    匹配字段标题、摘要

  2. 量子位

    OpenAI推理之父Noam Brown最新访谈:数学只是多智能体时代的开胃菜

    OpenAI研究员、o1核心作者Noam Brown在最新播客中表示,多智能体系统是把推理时计算从串行扩展改为并行扩展的方式,但解出千禧年难题的功劳中多智能体最多占10%,核心仍是模型本身足够强大。他透露发布5.6时首次拥有真正成形的多智能体系统,以Ultra Mode形式提供,默认4个Agent、可调更高,4个Agent解题速度约快一倍,测试最多扩展到16个Agent。

    匹配字段标题、摘要、正文

  3. AWS Machine Learning

    Amazon Bedrock 将 Claude 模型引入印度境内推理

    Amazon Bedrock 在印度区域上线 Anthropic 的 Claude Opus 5、Claude Sonnet 5 和 Claude Haiku 4.5,通过地理跨区域推理让数据在印度境内处理。印度地理配置文件仅在 ap-south-1 与 ap-south-2 之间路由请求,数据不存储在目标区域,账单与 CloudWatch、CloudTrail 日志均记在源区域。该功能在 bedrock-runtime 端点提供,支持 Anthropic Messages API 以及 InvokeModel 和 Converse API。

    匹配字段标题、摘要

  4. AWS Machine Learning

    Amazon Bedrock 在首尔和新加坡推出 Anthropic 模型区域内推理

    Amazon Bedrock 现支持在首尔区域使用 Claude Opus 5 和 Claude Sonnet 5、在新加坡区域使用 Claude Sonnet 5 进行区域内推理,请求与数据全程不离开所调用的 AWS 区域。该功能通过 bedrock-runtime 端点以直接模型 ID(如 anthropic.claude-opus-5)调用,支持 Anthropic Messages API 及 Bedrock InvokeModel、Converse API,并兼容 Guardrails 和智能提示词路由。吞吐量受该区域容量限制,配额、CloudWatch 指标和 CloudTrail 日志均限定在同一区域。

    匹配字段标题、摘要

  5. Artificial Analysis 完整文章

    Upstage 发布 Solar Mini 4 推理模型,35B 总参数 3B 激活

    韩国 AI 实验室 Upstage 发布专有推理模型 Solar Mini 4,官方称其 35B 总参数、3B 激活参数,在 3B 激活以下模型中创下 Intelligence Index 与激活参数的新帕累托最优点,比上一代旗舰 Solar Pro 3 高 16 分,价格降至每 1M 输入/输出 token 0.10/0.40 美元。Artificial Analysis 测得它在 AA-LCR v1.1 上得 83%,与 MiniMax-M3、GPT-6 Luna (max) 持平;但智能体编码较弱,Terminal-Bench 4.0 仅 1%、AutomationBench-AA 22%。该模型为专有模型、权重未公开,仅支持文本输入输出,知识截止 2026 年 2 月。

    匹配字段标题、摘要

  6. Baseten 工程博客

    Baseten 与 OpenAI 合作,在 Codex 和 Responses API 中提供开源模型推理

    Baseten 宣布与 OpenAI 合作,成为 OpenAI B2B Marketplace 中首批开源模型推理供应商之一,并在 Codex 内提供原生集成。OpenAI 企业客户可用现有 OpenAI 承诺额度,在 Codex 或 Responses API 中调用由 Baseten 服务的开源模型。Baseten 称其推理运行在美国基础设施上,对所有提示词实行零数据保留(ZDR),并支持将部署固定到特定区域。

    Baseten partners with OpenAI to serve open models via Codex and the Responses API

    匹配字段标题、摘要

星期二

  1. Inception Labs Blog精选

    Inception 发布扩散式推理模型 Mercury 2

    Inception 发布 Mercury 2,称其为全球最快的推理语言模型,采用扩散式并行精炼而非自回归逐 token 解码,生成速度提升超过 5 倍。官方数据为 NVIDIA Blackwell GPU 上 1,009 tokens/sec,定价 $0.25/1M 输入 token、$0.75/1M 输出 token,支持可调推理、128K 上下文、原生工具调用和 schema 对齐的 JSON 输出,并兼容 OpenAI API。该模型面向编码补全、智能体循环、实时语音和搜索 RAG 等延迟敏感场景,现已可用。

    匹配字段标题、摘要

  2. Artificial Analysis 完整文章

    Artificial Analysis 开源 AA-AgentPerf-Local,测试笔记本与工作站本地智能体推理性能

    Artificial Analysis 开源 AA-AgentPerf-Local,通过回放真实智能体会话在笔记本和工作站上测试本地模型推理性能,并发布配套榜单。默认负载为 8 个记录任务、168 个模型轮次,上下文增长至约 56K tokens,默认跳过工具执行以隔离推理速度。首批硬件包括 NVIDIA DGX Spark(128 GB)、AMD Ryzen AI Halo(128 GB)、MacBook Pro M5 Pro(64 GB)和 NVIDIA GeForce RTX 5090(32 GB),首批模型为 Qwen3.5-9B、Qwen3.8-27B、Qwen3.6-35B-A3B 和 Ling 3.0 Flash(124B / 5B active),均采用 4-bit 量化。

    匹配字段标题、摘要

  3. Inception Labs Blog

    Inception 发布 Mercury 2 推理扩散语言模型,NVIDIA GPU 上解码超 1000 tokens/秒

    Inception Labs 发布 Mercury 2,称其为全球首个推理扩散语言模型,在标准 NVIDIA GPU 上解码速度超过 1000 tokens/秒,300 token 的推理轨迹可在 300 毫秒内完成,把推理等待从 3 秒降到 300 毫秒。该模型提供 instant、low、medium、high 四档 reasoning_effort,其中 medium 在 IFBench 上比 GPT 4.1 高 27 分、在 Tau3Bench Telecom 上高 24 分,且仍快于 GPT 4.1 的非推理解码。Mercury 2 定价为输入 $0.25/M tokens、输出 $0.75/M tokens,兼容 OpenAI API,可接入 LiveKit、Pipecat、Vapi、Retell 等现有编排栈,API 已在 platform.inceptionlabs.ai 上线。

    匹配字段标题、摘要

  4. Inception Labs Blog精选

    Inception 在 Azure AI Foundry 上线 Mercury 2 推理模型

    Inception Labs 宣布 Mercury 2 上线 Azure AI Foundry,该模型采用扩散架构并行生成 token,官方称生成速度提升超过 5 倍,在 NVIDIA Blackwell GPU 上达到 1,009 tokens/sec。模型定价为每百万输入 token 0.25 美元、每百万输出 token 0.75 美元,支持 128K 上下文、原生工具调用和 JSON schema 结构化输出,API 兼容 OpenAI,目前在美国和加拿大区域提供。

    匹配字段标题

星期一