Viggle AI 宣布 JST-2 模型已在其 API 上线,该模型可在同一个架构下生成 3D 角色、动作和场景。此前在 2026 年 10 月 20 日,Viggle 发布了 JST-2,将整套模型栈构建在 3D 空间,用携带 xyz 坐标、属性向量和动力学向量的 Physics-Native Token 表示世界,而非从视频像素中隐式推断物理规律;架构分为 JST encoder、JST generator 和 JST decoder 三部分,单次前向推理约 1 秒生成完整 3D 场景,成本低于 $0.01(B200),并支持最多 64 个输入视角作为空间上下文窗口。Viggle 公布的盲测人类偏好显示,角色生成对 Meshy 7.1 胜率 58.4%、对 Tripo H3.1 胜率 73.2%,视频生成运动对 DeepMotion 胜率 89.1%。Viggle AI 此前称 JST-2 是“全栈物理原生世界基础模型”,可在数秒内生成 3D 场景并实时扩展。目前 JST-2 已通过 API 对外提供。
匹配字段摘要
2026年10月20日,PyTorch 2.15 在 MPS 后端加入对 torch.float8_e4m3fn 张量的支持。同一来源的报道还提到,该版本让 MoE 模型解码速度比 2.14 快 5–6.5 倍:在 M3 Ultra 上配合 torch.compile,Qwen3.6-35B-A3B 从 9.4 tokens/s 提升到 61.3 tokens/s,LFM2.5-8B-A1B 从 23.6 tokens/s 提升到 123.6 tokens/s。报道称,Wan2.2 的 tiled VAE 视频解码峰值驱动内存从约 270 GiB 降到 8 GiB;Qwen-Image-2.1 的 VAE 编码在 MPS 上的图像损坏问题也随 padding 改动修复,编解码往返 PSNR 从 10.06 dB 升到 29.95 dB。该版本要求 macOS 15 或更高版本、Python 3.11 或更高版本。目前尚无后续独立发展。
2026年10月20日,PyTorch 2.15 在 MPS 后端加入对 torch.float8 e4m3fn 张量的支持。同一来源的报道还提到,该版本让 MoE 模型解码速度比 2.14 快 5–6.5 倍:在 M3 Ultra 上配合 torch.compile,Qwen3.6-35B-A3B 从 9.4 tokens/s 提升到 61.3 tokens/s,LFM2.5-8B-A1B 从 23.6 tokens/s 提升到 123.6 tokens/s。报道称,Wan2.2 的 tiled VAE 视频解码峰值驱动内存从约 270 GiB 降到 8 GiB;Qwen-Image-2.1 的 VAE 编码在 MPS 上的图像损坏问题也随 padding 改动修复,编解码往返 PSNR 从 10.06 dB 升到 29.95 dB。该版本要求 macOS 15 或更高版本、Python 3.11 或更高版本。目前尚无后续独立发展。
匹配字段摘要
NVIDIA 发布手术生成模拟模型 Cosmos3-H-Dreams。该模型基于 160 亿参数的 Cosmos3-H-Embodied-Nano 专门化而来,用于胆囊切除术的动作条件视频生成。官方信息显示,模型使用 28 个动作维度、832 x 480 视频和 10 Hz 动作对齐训练,并通过蒸馏得到四步与两步两个学生检查点;其中两步版本单独训练,推理更快但画质更低。NVIDIA 同时提供 FlashDreams 流式运行时,以及适配自有数据与控制器的方法,并说明该模型是研究用模拟器,并非经过验证的临床系统。目前尚无后续发展事实。
匹配字段摘要
2026年10月18日,VAST宣布开源实时世界模型EdenLive,开放5B、14B两种规格的模型权重及推理代码,并公布技术报告和端到端演示。据VR陀螺报道,其5B模型可在单张英伟达RTX 5090显卡上以720p分辨率、超过24帧/秒生成画面,支持分钟级连续运行,端到端延迟为百毫秒级;该模型将世界状态与视觉渲染解耦,可用于游戏原型预览、场景预演和视频重新渲染,但下载全部权重约需210GB空间,FLUX首帧组件限非商业、非生产用途。10月20日,Tripo发布的信息称,EdenLive可将3D白模、游戏引擎画面、2D卡通和真实视频转换为写实或风格化视频。10月21日,Tripo宣布EdenLive已在Reactor平台正式上线并提供在线demo,可用参考图和文本实时重绘3D场景,支持即时修改提示词。
匹配字段摘要
Google于2026年10月20日发布基于TorchTPU的vLLM与SGLang原生PyTorch后端推理引擎,分别与Inferact、RadixArk合作开发。官方表示,两个引擎已在预览客户的生产环境中运行;在Ironwood TPU(TPU 7x)上运行Qwen 3.5时,高并发配置下每百万token成本为2.01美分,并已在SemiAnalysis InferenceX的AgentX赛道提交结果。功能方面,引擎支持前缀缓存与KV cache卸载、投机解码、分离式服务以及图像视频输入的多模态模型;SGLang-TorchTPU已在Meta生产环境使用。目前尚无后续独立发展事实。
匹配字段摘要
vLLM-Omni团队发布了vLLM-Omni技术报告。相关证据显示,蚂蚁inclusionAI在GitHub发布vLLM-Omni仓库,该框架在vLLM基础上扩展全模态模型推理与服务,支持文本、图像、音频、视频和动作数据处理,并支持DiT等非自回归架构。README显示其已迭代至0.30.0,对齐vLLM 0.30.0,新增MiniCPM-o 4.5与AURA的全双工会话服务、Mooncake AR-to-DiT跨阶段KV与多模态传输,以及在NVIDIA Blackwell和昇腾950上的MiniMax H3 Turbo实时推理。框架提供OpenAI兼容API服务、流式输出和分布式并行推理,并列出Qwen3-Omni、MiniMax H3、Wan2.2、π0.5等已支持模型。目前尚无后续发展事实。
匹配字段摘要
TwelveLabs 的 Pegasus 1.5 视频语言模型已在 Amazon Bedrock 上线。据 AWS Machine Learning 发布的信息,该模型可把长视频转成带时间戳的结构化 JSON 元数据;新版本支持按用户定义的分段规则返回匹配片段、结合参考图像的多模态提示,以及无需预索引的即时处理,单次请求可分析最长 2 小时视频。模型通过 InvokeModel 和 InvokeModelWithResponseStream 调用,目前在美国西部(俄勒冈)区域提供。
匹配字段摘要
小米技术宣布 Xiaomi MiMo-V2.6-Pro 正式上线 WorkBuddy。据同一报道,该模型支持 1M 超长上下文、多智能体分工协作,以及图像、视频、音频、文本全模态联合理解;在 Artificial Analysis 智能指数为 46 分,官方称其全球开源第一。报道还提到,MiMo-V2.6 系列于 9 月 22 日发布并开源,含 Pro 与 Flash 两个原生全模态模型,Pro 定价为每百万词元输入 3 元、输出 6 元,并提供 99% 缓存折扣。目前该事件仅有这一条代表性报道,尚无后续发展事实。
匹配字段摘要
面壁智能宣布,MiniCPM-V 4.7在Hugging Face Trending榜单上排名第3。官方称,35B-A3B MoE版本可在iOS和Android上以约3GB内存流畅运行,1B模型在OCR、数学和视频理解上表现较强,并给出了GitHub与Hugging Face链接。10月19日,面壁智能称该模型升至Hugging Face Trending第二位,并再次提到35B-A3B MoE版本可在iOS和Android上以约3GB内存运行,1B版本在OCR、数学和视频理解上表现较强。10月20日,面壁智能表示,该模型可在本地以100 tok/s运行,内存占用约3GB,定位为让端侧AI更实用,并提到llama.cpp生态让该模型更容易上手试用。
匹配字段摘要
Odyssey于2026年10月18日宣布,已将果蝇大脑放入其前沿世界模型Odyssey-3中,这只小果蝇如今能在完全由模型想象、模拟出的世界里自主飞行。Odyssey-3于10月8日开放研究预览,采用自回归扩散Transformer架构,可根据历史画面及用户或智能体的动作预测后续状态,应用方向涵盖机器人控制、自动驾驶及AI智能体训练。Odyssey此前披露以数十小时演示数据训练机械臂控制能力,并与Flexion合作开发人形机器人策略。目前该演示以视频形式发布,尚无后续进展披露。
匹配字段摘要
2026年10月17日,Elorian发布其首个AI模型Glimpse。据Testing Catalog报道,Glimpse能在思考过程中回到视频的特定时间点、放大细节,或以更高帧率重放半秒视频后再作答。Elorian自测显示,Glimpse在科学图表阅读和短视频描述上优于GPT-6 Astra;在规划机械臂将奶油奶酪放入碗中的模拟任务时,Glimpse成本为0.035美元,GPT-6 Astra为0.249美元;演示中Glimpse解出5个难度递增的迷宫,Gemini 3.8 Flash解出1/5。同日另一篇报道称,Elorian将Glimpse定位为首个视觉推理模型,用于比较视频中不同时间点的场景变化,并将这种基于帧的推理称为visual thinking,其推理过程中可回到源视频、裁剪区域、抽取指定帧或运行代码来测量和比较所见内容,该机制被称为visual scratch space;联合创始人Andrew M. Dai称其在关键公开视觉推理基准上具备与Astra竞争的前沿性能。目前该模型发布后尚无进一步有证据支持的发展。
匹配字段摘要
fal 于 2026 年 10 月 16 日宣布,Flux 3 Video 和 Upscaler 获得更新。据 fal 发布的信息,更新后现已支持原生 2K 和 4K 视频生成,覆盖文生视频、图生视频和视频生视频工作流,5 秒 4K 片段生成约需 2 分钟。目前尚无后续发展事实,该更新即为当前最新状态。
匹配字段摘要
2026年10月13日,Gemini 4 Argon 在 Gemini 应用中上线。据 Google Blog 介绍,该模型主打前沿推理和复杂任务性能提升,回答更直接、少重复、少套话,长任务中会更频繁地同步进度;编码能力也有明显改进,Google Antigravity 的智能体编码界面已直接进入 Gemini macOS 应用,主聊天窗口新增 chat 到 tasks 的切换开关,任务模式下 Gemini 可在用户离开电脑时继续工作。Gemini 目前接入超过 40 个应用,包括 Instacart、OpenTable、Adobe 和 Shopify。10月14日,Gemini 宣布 Gemini 4 Argon 能把视频或摄像头画面重新想象成可演奏的合成器,用户可在 Canvas 中快速搭建交互式音频应用,设定氛围后把摄像头当作乐器来演奏。
匹配字段摘要
2026年10月13日,阿里巴巴推出由Qwen驱动的智能体Qwen Go,面向搜索、比价和客服协商场景,并与淘宝、支付宝集成,把个人AI助手接入购物与支付系统。据X.PIN报道,演示视频显示该智能体为延误航班争取到10美元赔偿,并通过淘宝价保追回约7美元;它不只会回答问题,还能查订单、联系人工客服并核实折扣。同日雷锋网报道称,千问Personal Agent「千问Go!」即将发布,有用户分享通过千问Go申请航班延误理赔获得70元理赔款,另有用户表示其帮忙申请到52元淘宝价保退款,该智能体还可执行汽车保养、运动预约和购物比价等任务。目前尚无后续发展事实。
匹配字段摘要
World Labs 于 2026 年 10 月 14 日宣布,其多模态世界模型 Marble 即日起向所有人开放,此前仅面向少量 beta 用户。据官方说明,Marble 支持从文本、图像、视频或粗略 3D 布局生成 3D 世界,并可交互式编辑、扩展和组合,生成结果可导出为 Gaussian splats、网格或视频;同时推出 Marble Labs 创作社区,提供案例研究、教程和文档。同一时间点的另一条官方信息显示,World Labs 曾推出 Marble 的有限访问 beta 预览,用户可在 marble.worldlabs.ai 查看和创建 3D 世界,给定图像或文本提示可生成可无限探索、无变形、无不一致的 3D 世界,相比此前结果更大、风格更多样、3D 几何更干净,并可将生成世界导出为 Gaussian splats,借助开源渲染库 Spark 集成到 Three.js 中,在桌面、笔记本、移动设备和 VR 头显上渲染。目前状态为正式开放。
匹配字段摘要
World Labs 发布 World API,开发者可通过该公开接口调用其多模态世界模型 Marble,从文本、单图、多图、360° 全景和视频生成可导航的 3D 世界。世界生成以异步方式运行,无需专有工具,生成结果可在浏览器渲染、导出到其他工具或接入交互系统与仿真管线。该 API 已用于游戏与沉浸式媒体、机器人仿真(可接入 NVIDIA Isaac Sim、MuJoCo、RoboSuite)以及建筑设计等场景,并通过 World Labs Platform 提供 API key 管理、用量计费和文档。目前尚无后续发展事实。
匹配字段摘要
2026年10月14日,FireRedTeam 发布 DynamicPose 项目与预训练模型。据其介绍,DynamicPose 是一个由人体姿态序列驱动人像动画的框架,支持大幅动作与非写实场景,可从单张照片生成舞蹈视频;项目同时开源姿态服务器与姿态对齐算法,代码采用 MIT 许可。作者列出局限,包括侧脸易生成扭曲面部、复杂背景下难以区分人体与背景、手部持物时难以判断是否保留。后续将陆续放出数据清洗与预处理流程、训练脚本(DeepSpeed Zero2)以及 ComfyUI 和 Hugging Face Gradio 演示。同一时间点,FireRedTeam 还发布了 PhotoPoster 项目与预训练模型,该项目面向姿态驱动的图像生成,在 i2i 翻译中加入精修阶段,并已放出预训练模型和基于 FastAPI 的姿态服务器,同样采用 MIT 许可。
匹配字段摘要
2026年10月11日,Odyssey 公开发布世界模型 Odyssey-3 的研究预览。据 The Decoder 报道,用户可用文本提示生成可实时探索的交互环境,开发者可申请 API 访问。免费在线演示基于 Odyssey-3 Flash,基础模型为 14B 参数、生成 832×480 视频,Pro 版支持 1280×720。公司称 Odyssey-3 Pro 在 Physics-IQ Verified 视频到视频基准得 66.1 分,但该成绩来自单次测试并采用八选一筛选,未满足基准要求的四次运行规则,四次运行平均为 63.37 分。目前尚无后续发展事实。
匹配字段摘要
2026年9月22日,Anthropic发布Claude Opus 5.5。官方材料称,该模型在Artificial Analysis的Intelligence Index v4.3上以58分排名第一,比Claude Opus 5高7分,在Vals AI的Vals Index上以69.69%居首;支持最高100万token输入、12.8万token输出,推理默认开启并分五档,API价格为每百万输入/缓存/输出token 4/0.25/20美元。早先报道称其输出价格为每百万token 20美元,低于上一代的25美元。9月23日,Yuchen Jin称其单任务速度比Opus 5快约30%、成本低约40%。9月25日,Thomas Wolf称用Opus 5.5把一份Google Doc生成为视频。10月4日,Ado Kukic表示在medium和high effort下使用Opus 5.5未触及5小时限额,单次会话最高约用到74%。10月9日,Ado又称Opus 5.5发布后的周末是今年迄今最高效的编程日。同期Anthropic还发布了Sonnet 5.5和Haiku 5.5,并下调Sonn
匹配字段摘要
2026年10月9日,Anthropic为Claude推出两项beta功能。据The Decoder报道,Dashboards可连接BigQuery、Databricks、Snowflake、Salesforce等数据源,通过文本提示生成自动更新的实时看板,每个数字都会显示其底层查询,结果还能接入Amplitude、Grafana、Hex等工具;Motion则用文本、图表和图片生成动画讲解视频,支持以代码方式编辑并导出MP4。报道称,Dashboards面向付费用户,Motion面向Team和Enterprise套餐。同一报道还提到,Docs、Slides、Design结束beta,向包括免费账号在内的所有套餐开放,Anthropic称这些工具已创建超过4500万份文档;此前公布的Claude Design将于12月14日并入主应用,并提供迁移指南。目前尚无后续发展事实。
匹配字段摘要