Philipp Schmid 推荐用 Gemini 3.8 Flash 做多模态理解
Philipp Schmid 表示做多模态理解直接用 Gemini 3.8 Flash 即可。他引用的是 Spencer Schiff 当天手绘的一张人物图测试，该测试称目前前沿模型都无法把每个人名正确对应，Spencer 期待未来模型再试。
匹配字段标题、摘要
←搜索结果
搜索“多模态”
Philipp Schmid推荐用Gemini做多模态理解
Philipp Schmid 推荐 Gemini 3.8 Flash 用于多模态理解
English translation is being prepared.
匹配字段标题
Meta 同时推出开源模型 Muse Spark Open 与闭源模型 Muse Wonder
Meta 发布开源权重模型 Muse Spark Open，参数为 816B 总参数、42B 激活参数，上下文窗口 1M tokens，主打编码与智能体任务并原生支持多模态；作者称其性能高于 GLM 5.2、接近 DeepSeek V4.1 Flash，落后于 GLM 5.3 和 Kimi K3。几天前 Meta 还发布了闭源前沿模型 Muse Wonder 和 Muse Wonder Full，在传统基准上仅次于 Anthropic 的 Opus 5.5。作者认为 Muse Spark Open 的定制许可证限制较多，包括产品需标注 Built with Muse、月收入超过 2000 万美元需单独授权，以及需接受可接受使用政策，这可能影响其采用。
匹配字段摘要
Nathan Lambert：美国首个接近前沿智能体能力的开源权重模型将带来快速采用
Nathan Lambert 评论称，如果 muse spark open 的表现大致符合分数所示，这款模型的采用速度会非常快。他认为这是美国首个具备接近前沿智能体能力的开源权重模型，并指出此前 GLM 5.2 与 Kimi K3 是中国模型的那次跃升，而美国模型往往能获得极高采用率。他所引用的 Alexandr Wang 推文称 muse spark open 是迄今最强的美国开源权重模型，816B 总参数、42B 激活参数、1M token 上下文，原生多模态，面向编码与长周期任务等智能体工作。
匹配字段摘要
Meta发布开放权重模型Muse Spark Open
2026年10月15日,Meta发布开放权重模型Muse Spark Open,权重当天在Hugging Face上线,采用Muse Model License。据PyTorch Blog,该模型为816B总参数、42B激活参数、1M token上下文窗口,原生多模态并面向编码与智能体任务,在Muse Spark基础上增加安全后训练,可在SGLang和vLLM上运行。10月16日,该模型上线Amazon SageMaker JumpStart,提供BF16与NVFP4两个变体;同日进入Arena的Agent Arena实测,并上线Code Arena的WebDev等项目。10月17日,Arena公布Muse Spark Open (Max)以1511分成为Code Arena WebDev排名第一的美国开源模型,在全部开源模型中排第13。
匹配字段摘要
开源三个月、5次大变更、9100+ Star：腾讯Octop的狂奔之路
腾讯云 Octop 自 2026 年 7 月 10 日在 GitHub 开源，95 天内经历从 LightClaw ACE 重构、v1.0.0 GA、v1.0.1 企业级 SSO 接入到 v1.0.2 插件化与多模态四次大变更，Star 数突破 8500，Issue 和 PR 超过 1200 条。团队将 harness-agent、harness-memory、harness-browser、harness-gateway 四大模块拆分为独立仓库开源，并公开了 AgentTeams、移动端客户端、浏览器技能录制等后续规划。CVE-2026-108581 显示 1.0.2b6 之前版本存在 Provider API Keys 未授权访问问题，已在后续版本修复。
匹配字段摘要、正文
机器人开始向更多人类买数据：Figure 与觅蜂的具身数据众包路径
具身智能公司正把数据采集交给普通人。Figure 的 Index 上线 4 个月覆盖 108 个国家，累计上传 1600 万段视频，已向贡献者支付 1500 万美元；觅蜂科技 9 月发布物理 AI 数据众包平台觅蜂派，内测一个月注册用户 2 万人、产生 1.3 万份采集任务提交。两家公司分别走视频采集与专用设备记录多模态数据两条路径，共同面对的问题是如何把分散、非标准的数据持续加工成可用的训练材料。
匹配字段摘要、正文
Google 如何教 LLM 控制机器人，并掀起一场机器人热潮
Google 在 2023 年 7 月发布 RT-2，把多模态 LLM 训练成直接输出机器人动作的视觉-语言-动作（VLA）模型，其泛化能力来自网络规模的视觉-语言预训练。此后 Google、Nvidia、Hugging Face、小米、字节跳动、智元等相继推出用扩散或流匹配生成动作块的 VLA 模型，Physical Intelligence 则通过强化学习、子目标图像和长短期记忆把机器人能力推向折衣服、做咖啡等长任务。作者认为 VLA 与世界模型之争尚无定论，最终胜出的可能是两者的混合架构。
匹配字段摘要
中国 AI 周报：智谱认领神秘模型、DeepSeek 估值接近 $74B、北京举办机器人奥运会
中国 AI 周报汇总本周三项焦点：智谱认领神秘模型“Ox Alpha”为 GLM-5.3-Flash，DeepSeek 以接近 $74 billion 的目标估值推进上市前融资，北京举办第二届世界人形机器人运动会。GLM-5.3-Flash 采用 320-billion-parameter、18B active 的多模态架构，并完全运行于中国国产芯片；智谱随后以 MIT license 开放 GLM-5.3 权重。同期还有 Hy4、Qwen3.8-Flash、Ling-3.0-flash-Fin 等模型进展，以及 AI 产品整合、监管和安全动态。
匹配字段摘要
最新开源模型盘点第23期：Laguna S2.1、Inkling 与 Kimi K3 展现开源模型的帕累托前沿价值
Interconnects 发布第23期开源模型盘点，涵盖 Thinking Machines 的 Inkling、腾讯 Hy3、Poolside 的 Laguna-S-2.1 与 Laguna-XS-2.1、DeepSeek-V4-Flash-0731、月之暗面 Kimi-K3、美团 LongCat-2.0、Motif-3-Beta、Swiss AI 的 Apertus-v1.5-70B 以及 AMD 的 Instella-MoE-16B-A3B-Think。作者认为此前关于模型实验室将走向整合的预测并未成真，反而有更多公司在训练强模型并公开释出，token 需求高涨让更多机构把构建 token 机器视为价值路径。其中 Thinking Machines 的 Inkling 是 975B-A41B 多模态 MoE，支持文本、图像和音频输入，并同步发布 276B-A12B 小版本；美团 LongCat-2.0 为 1.6T 参数 MoE，完全在昇腾 910 上训练。
匹配字段摘要
Philipp Schmid推荐用Gemini 3.8 Flash做多模态理解
2026年9月24日,Philipp Schmid表示做多模态理解直接用Gemini 3.8 Flash即可。他引用的是Spencer Schiff当天手绘的一张人物图测试,该测试称目前前沿模型都无法把每个人名正确对应,Spencer期待未来模型再试。目前该推荐仅有这一条来源,尚无后续发展事实。
匹配字段标题
Thinking Machines Lab发布Inkling多模态MoE模型
2026年7月15日,Thinking Machines Lab发布原生多模态开放权重模型Inkling。据Hugging Face介绍,Inkling原生接收文本、图像和音频,为MoE架构,拥有975B总参数、41B激活参数和1M上下文窗口,bf16与NVFP4检查点分别需要2TB和600GB显存,已获Transformers、SGLang、vLLM和llama.cpp支持。同日,Modal官方工程博客称Inkling以Day 0合作上线Modal按token计费的托管端点,并为其定制DFlash推测解码器,在8x B200智能体负载上实现每用户250 tokens/s、每GPU 2.5M TPM,交互性比模型内置推测路径快67%。同日,LMSYS Blog称LMSYS与Thinking Machines团队合作,为Inkling在SGLang和Miles上提供Day-0支持,SGLang针对其MoE架构优化,在Nvidia Blackwell GPU上实现最高71.7k tok/s输入吞吐和171.0 tok/s单用户解码速度,Miles通过定制Megatron后端支持全参数与Lo
匹配字段标题
Moonshot AI发布旗舰模型Kimi K3
2026年7月16日,Moonshot AI(月之暗面)发布旗舰模型Kimi K3,这是一个2.8万亿参数的多模态模型,具备1M token上下文窗口和原生视觉能力,采用MoE架构,每token激活896个专家中的16个。据Recode China AI报道,K3在Frontend Code Arena获得1,679分,定价为每百万输入token 3美元、每百万输出token 15美元,开放权重计划于7月27日提供。7月27日,Kimi.ai宣布Modal与Baseten成为K3的Day 0发布合作伙伴,Modal为K3架构训练了定制DFlash推测器,将交互速度从100提升到460 tokens/s;同日SGLang与Miles宣布提供Day-0支持,前者负责推理、后者负责RL训练。7月28日,Kimi.ai宣布K3在DigitalOcean Serverless Inference上线。7月29日,Unsloth发布Kimi K3的1-bit量化版GGUF,体积从1.56TB压缩到594GB,缩减62%,精度保留约78.9%,可在配备128GB内存的Mac Studio上运行。
匹配字段摘要
Mistral在Hugging Face发布Large 4权重
2026年10月29日,Mistral发布Mistral Large 4(Le Chonk)的开放权重,这是一个1万亿参数的原生多模态模型,在预览版基础上继续强化学习,编码与防御性网络安全能力提升。据Mistral AI公布的数据,该模型在FrontierCode 2.0上得分19.7%,在Artificial Analysis Coding Agent Index上得48%,与GLM-5.3基本持平,但每任务平均少用47% token;Terminal-Bench 4.0提升13个百分点至41%。模型支持三种推理模式,采用修改版MIT的Mistral Ecosystem Open-Weight许可,API定价为每百万输入token $0.70、缓存输入$0.07、输出$2.10。同日,Unsloth发布该模型的1-bit GGUF量化版本,称可在Mac Studio上本地运行,量化后仍保留91% top-1准确率,并提供下载链接和使用指南。
匹配字段摘要
Latent Space 公布 AIE CODE 编码智能体大会策展主题
Latent Space 主理人 swyx 介绍年度旗舰大会 AIE CODE 的策展思路，会议为单轨、邀请制，面向约 1000 名智能体工程师。今年三大主题为 Scaling without Slop、System One 模型和 Increasing Ambition，其中 Jarred Sumner 将分享 Bun 用 Rust 重写及 Bun AOT 预览。文章同时汇总了 Mistral 开源权重发布、OpenAI 前沿模型监控等当日 AI 新闻。
434）：该图片是一张基准对比表，帖子将其归于 X 上的 @GoogleDeepMind，重点展示 Gemini 4 Carbon 与 Gemini 4 Argon、GPT-6 Astra、Claude Opus 5.5 和 Claude Fable 5.1 的对比。帖子声称 Gemini 4 Carbon 在众多技术类别中领先，包括编码、智能体计算机使用、多模态理解、长上下文、科学/数学和网络安全，并在 AA Index、SWE-sweep、Terminal-Bench、Agents’ Last Exam、GraphWalks、RiemannBench 和 SEC-bench Pro 等基准上取得最高分。Reddit 文本未提供方法论、数据集版本或独立验证，因此该表格最好被理解为一份声称的厂商式基准摘要，而非可复现的评估。 评论者指出，尽管模型似乎有所改进，但据报道 Gemini 4 Carbon 并未公开可用，可能仅限于部分“cyber crews”，且未提及发布日期。这限制了对任何声称性能提升的独立基准测试或验证。 Alphabet 推出 Gemini 4 Carbon，下一代前
匹配字段正文
字节世界模型曝光：张一鸣的布局与谷歌 Genie 4 的路线差异
钛媒体文章称，字节跳动已将世界模型列为 2026 年 AI 四大重点之一，目标年底前至少发布一版，对标谷歌 Genie 3，用户可通过 Pico 头显以语音和动作进入云端生成的世界。文章同时梳理了谷歌 10 月 28 日发布的 Genie 4，其支持用自然语言实时改变天气、移动镜头和引入人物，并首次加入声音。文中还提到字节内部评测显示其世界模型综合性能距当时全球 SOTA 约差 10%，生成指标约 20fps。
情，也都没有解决。 字节早有布局 字节的世界模型和谷歌有异曲同工之处。 2024年，通义大模型技术负责人周畅从阿里加入字节后，负责的就是世界模型相关研究。 不过当时字节内部判断，世界模型的技术路线和商业化场景都不够清楚，更重要的是先打好视频模型这一仗。 到2025年，字节开始小范围组建VLA研究组。字节AI Lab负责人李航团队主要基于仿真数据训练，Seed多模态研究员王文千团队主要基于自然数据训练。 2026年春节后，Seed又新设了一支3D仿真世界模型组，由前Meta FAIR研究员范浩奇负责，向周畅汇报；原来的两个VLA组合并，也统一向周畅汇报。 由此形成两条路线：VLA面向具身智能，追求真实动作与环境响应；3D仿真面向娱乐和游戏。 字节为世界模型准备的训练数据预算达到数千万元，覆盖VLA、长视频和3D等模态。一名数据供应商称，投入能达到其他厂商的3至4倍。 然而钱也花了，人也找了，可成绩就是出不来。据报道，2026年初，字节内部评测显示，其世界模型的综合性能距离当时的全球SOTA仍有约10%的差距。 就和谷歌一样，字节做世界模型也是有技术支撑的。 Seedance 2.5单次可
匹配字段正文
GPT-6 Astra 发布 50 天，具身智能行业发生了什么
钛媒体旗下数智前线梳理了 OpenAI GPT-6 Astra 发布约 50 天来对具身智能行业的冲击：Astra 无需专门机器人数据训练即可直接控制机械臂完成画桥等任务，英伟达 Jim Fan 称其把自家机器人框架的基准刷到约 99%。但商汤联合多家机构的评测认为它已具备完成具身任务的能力，距离实用仍有明显差距，单次推理平均耗时 18.56 秒，把笔放进笔筒的任务耗时 4 个多小时、花费 55 美元。行业已出现三种用法：直接充当策略模型、审核修正 VLA 动作、搭建仿真环境与数据标注，宇树王兴兴称明年 GPT-7 可能直接打穿具身智能问题。
重新确认。Astra在精细操作上的短板，恰恰指向物理接触数据的缺失，而目前大模型公司开始大量买数据、采数据已经不是新闻。 今年9月具身数据众包平台觅蜂科技CEO姚卯青受访时提到，他们的客户里除了具身公司和世界模型公司，通用大模型公司是他们的第三类客户。而头部的大模型最新版本具备了一定在物理世界里面去决策和规划的一些能力，也是因为它们已经开始把这些数据训到基模多模态的能力里面去了。 大模型公司已经不止于买数据。OpenAI在湾区租下的厂房，电力容量超过1.4万安培，远超普通工业建筑，被外界视为机器人数据工厂的雏形；其机器人数据采集运营岗位的职责里，明确写着协调工作站、操作员和物料的日常运转。字节Seed团队新放出的数据与评测岗位，则要求建设贯穿采集、处理、训练、评测和模型反馈的完整闭环。 一位具身行业从业者告诉数智前线，具身公司过去在数据上投入很大，哪怕别人要采，别人也会花很长的时间才能采出来。但这段时间差能维持多久，没人说得清楚。 仿真是否受益，则观点不一。陈哲认为，如果通用模型需要在虚拟世界里做强化学习，谁能提供更多、更真实的3D场景，谁就有议价权。许华哲则泼了冷水，Astra 做的
匹配字段正文
OpenAI 开发者负责人谈 DevDay 后如何选用 Sol、Astra 与 dots
OpenAI 开发者体验与社区负责人 Vaibhav Srivastav 在采访中表示，GPT-6.1 Sol 能达到 GPT-6 Astra 约 95% 的性能，成本只有后者的五分之一，他自己日常主要使用 Sol。他建议新项目或不熟悉的问题用 Astra 做对抗性审查，Ultrafast 档位面向欺诈检测、金融调查等实时场景，速度超过 300 tokens 每秒。他还介绍了常驻智能体 OpenAI dots 如何汇总 Slack、GitHub、Gmail 和日历信息并代为处理 PR，以及 Auto-review 在模型行动前按自定义策略做检查。
控测试中，OpenAI 的 GPT-6.1 Terra 在 29.6% 的运行中绕过了限制 TNS：现在我们来谈谈 Decisions API 的开发和影响。 VS：Decisions API 是在 DevDay 前四五天成形的。一个四五人的团队为 DevDay 交付了一个生产就绪的预览版 API，几天后又推出了 beta 版。Decisions API 是多模态的：它对文本和图像进行分类，并快速返回结构化输出。传统上，你会给 LLM 一个 schema 并要求结构化输出。现在它在相同准确率下快了 10 倍，每百万未缓存输入 token 收费 0.10 美元。 OpenAI dots 如何运作 TNS：最后，我们来谈谈 DevDay 的主要公告之一：OpenAI dots。 VS：dot 是一个持久的、始终在线的智能体，它会查看你授予它访问权限的工具、插件和其他界面。它识别出需要你关注的事情，并编排工作以完成它。 TNS：dot 如何在没有被要求的情况下决定要处理什么，当它代表用户做了某事时，用户会看到什么？ VS：我的 dot 连接到了 Slack，OpenAI 的许多工作都在那里进
匹配字段正文
188天就退场，大厂AI产品正在加速洗牌
36氪梳理腾讯、阿里、百度、字节跳动及月之暗面、智谱、MiniMax、DeepSeek八家公司四年十条AI赛道的产品动作，发现竞争周期缩短、产品生命周期变短，改名、整合、停运成为常态。腾讯QClaw从3月20日公测到9月24日宣布停服安排仅188天，用户数据将迁移至WorkBuddy；阿里千问则宣布即将发布个人助理产品千问Go！。阿里、字节覆盖全部十条赛道，腾讯、百度各覆盖九条，DeepSeek仅覆盖两条。
百度的文心一格、阿里的通义万相等产品相继落地，AI正式进入绘画、设计和内容创作等场景。 随后，大语言模型ChatGPT将这股热潮推向更广泛的人群。2023年，百度的文心一言、阿里的通义千问、字节的豆包、月之暗面的Kimi等产品密集亮相。聊天框逐渐成为AI应用的基础形态，搜索、办公、陪伴等不同需求，也围绕它展开。 到了2024年，行业同时向两个方向探索：一边是多模态视频生成，字节的即梦、快手的可灵、智谱的清影、MiniMax的海螺视频等产品接连出现；另一边是AI硬件，阿里、百度、字节等公司试图将智能助手装进耳机、AI眼镜等设备，争取手机App之外的用户入口。 以“龙虾”为例，2026年1月至3月，各种“龙虾”接踵而至。仅3月，便有字节、腾讯、智谱、百度、阿里五家公司，集中公开了自家的“Claw类”产品。对比早期从ChatGPT发布到国内大模型跟进所经历的漫长数月，如今新热点留给公司的观望时间已所剩无几。 这些浪潮并非简单的“依次替代”。新方向不断出现的同时，旧方向的投入仍在继续。公司面临的已不仅是寻找下一个风口，而是要在不断叠加的布局中决定：哪些产品值得继续投入，哪些能力可以合并，哪些试
匹配字段正文
Mistral 研究负责人谈 Le Chonk：西方最大开源模型的追赶内幕
Matt Turck 与 Mistral 研究负责人 Pierre Stock 对谈，围绕被称为西方最大开源模型的 Le Chonk 展开。Stock 谈到团队在自有数据中心用 3800 块 GPU 训练、Le Chonk 目前仍在训练中，以及 Mistral 从 DeepSeek 借鉴了什么、开源权重与网络安全拒答之间的取舍。节目还提及后续将推出 Mistral Large 5。
onk 15:40 Chonk 对比 Beam、Muse Spark Open 和中国模型 18:44 为什么中国实验室仍处于前沿 21:08 Pierre 的故事：FAIR、Yann LeCun、“Mistral 黑帮” 25:14 从压缩网络到万亿参数 27:30 详解混合专家：医院类比 32:25 十万亿参数模型即将到来 35:29 Mistral 从 DeepSeek 借鉴了什么 36:46 一个模型，多种推理模式 39:15 原生多模态：卫星、手册、计算机操作 41:56 数据、合成数据与模型崩溃 46:32 把强化学习当作考试 49:59 效率从何而来 52:18 Le Chonk 目前仍在训练中 53:39 强化学习训练什么：编程、网络、金融、芯片 58:13 部分奖励与循环惩罚 59:58 强化学习教会了什么新东西吗？ 1:03:16 沙盒故事：那个 ping 了自己训练器的模型 1:07:44 开放权重与网络拒答 1:12:05 Timestral：在 CPU 上做时间序列 1:14:18 AI 做 AI 研究 1:16:22 即将推出：Mistral Large 5
匹配字段正文