←搜索结果

按匹配度 · 共 106 条结果 清除搜索

星期二

  1. Google Developers Blog

    Google 在 TPU 上发布 vLLM 与 SGLang 原生 PyTorch 推理引擎

    Google 发布基于 TorchTPU 的 vLLM 与 SGLang 原生 PyTorch 后端,分别与 Inferact、RadixArk 合作开发,两个引擎已在预览客户的生产环境中运行。官方称在 Ironwood TPU(TPU 7x)上跑 Qwen 3.5 时,高并发配置下每百万 token 成本为 2.01 美分,并已在 SemiAnalysis InferenceX 的 AgentX 赛道提交结果。功能上支持前缀缓存与 KV cache 卸载、投机解码、分离式服务以及图像视频输入的多模态模型,SGLang-TorchTPU 已在 Meta 生产环境使用。

    inferenceblog

    匹配字段摘要

  2. 蚂蚁 inclusionAI:GitHub 新仓库精选

    蚂蚁 inclusionAI 开源 vLLM-Omni 全模态模型推理服务框架

    蚂蚁 inclusionAI 在 GitHub 发布 vLLM-Omni 仓库,这是一个在 vLLM 基础上扩展全模态模型推理与服务的框架,支持文本、图像、音频、视频和动作数据处理,并支持 DiT 等非自回归架构。README 显示其已迭代至 0.30.0,对齐 vLLM 0.30.0,新增 MiniCPM-o 4.5 与 AURA 的全双工会话服务、Mooncake AR-to-DiT 跨阶段 KV 与多模态传输,以及在 NVIDIA Blackwell 和昇腾 950 上的 MiniMax H3 Turbo 实时推理。框架提供 OpenAI 兼容 API 服务、流式输出和分布式并行推理,并列出 Qwen3-Omni、MiniMax H3、Wan2.2、π0.5 等已支持模型。

    vllm-omni

    匹配字段摘要

  3. AWS Machine Learning

    TwelveLabs Pegasus 1.5 上线 Amazon Bedrock

    TwelveLabs 的 Pegasus 1.5 视频语言模型已在 Amazon Bedrock 上线,可把长视频转成带时间戳的结构化 JSON 元数据。新版本支持按用户定义的分段规则返回匹配片段、结合参考图像的多模态提示,以及无需预索引的即时处理,单次请求可分析最长 2 小时视频。模型通过 InvokeModel 和 InvokeModelWithResponseStream 调用,目前在美国西部(俄勒冈)区域提供。

    匹配字段摘要

  4. AI Business

    Neura Robotics 发布 Neuron AI 机器人基础模型,融合视觉、触觉与音频

    德国 Neura Robotics 发布机器人基础模型 Neuron AI,在 3D 视觉之外加入触觉与力数据、音频、机器人状态和语言,并带有记忆功能,可在物体离开视野后保留信息。Neura 计划本周晚些时候在英伟达柏林 GTC 上演示,由人形机器人 4NE1 完成一段十一分钟的衣物处理流程。公司尚未披露额外感官输入对性能的影响幅度,以及训练所需的数据量;Interact Analysis 分析师质疑其机器人训练场能否收集到足够的多模态数据。

    匹配字段摘要、正文

星期六

星期五

星期四

  1. Together AI Blog

    Meta Muse Spark Open 上线 Together AI,支持 1M token 上下文

    Meta 的开源权重智能体编码模型 Muse Spark Open 已在 Together AI 上线,支持 1M token 上下文窗口,可通过 serverless 和专用基础设施调用。Together AI 称其为目前能力最强的美国开源权重模型,面向长时间运行的智能体编码工作流,具备长程自主、computer use 与浏览、文本图像音频视频多模态输入等能力。定价为每 1M 输入 token 1.25 美元、每 1M 输出 token 4.25 美元、每 1M 缓存输入 token 0.15 美元,模型标识为 meta-models/Muse-Spark-Open-816B-A42B。

    匹配字段摘要

  2. Modal 官方工程博客精选

    Meta 发布 Muse Spark Open 权重,并上线 Modal Auto Endpoints

    Meta 发布 Muse Spark Open 的模型权重,该模型已上线 Modal Auto Endpoints。它面向智能体编码和长周期任务,具备原生多模态理解与 1M token 上下文窗口,支持代码编写与调试、多步规划、顺序工具调用以及长流程中的失败恢复。在 Meta 的评测中,Muse Spark Open 使用 Terminus 2 智能体在 Terminal-Bench 2.1 上得分 76.4,使用 Meta 偏好的 harness 在 DeepSWE 1.1 上得分 60,推理强度为 xhigh。该模型在 Modal 上以 Shared Endpoint 形式运行,按 token 计费。

    Benchmark results for Muse Spark Open.

    匹配字段摘要

  3. LMSYS Blog

    SGLang 与 Miles 为 Muse Spark Open 提供 Day-0 支持

    LMSYS 发布博客称,SGLang 与 Miles 为 Meta 开源多模态 MoE 模型 Muse Spark Open 提供 Day-0 支持。该模型采用 816B 参数文本 Transformer 主干、每 token 约 42B 激活参数,支持文本、图像、视频和音频输入以及 1M token 上下文窗口,checkpoint 提供 NVFP4 与 BF16 版本。在 8 张 NVIDIA B300 GPU 上以 NVFP4 checkpoint 跑 OpenHands 多轮智能体编码回放,并发 1 时单 GPU 吞吐 14.8K tokens/sec、单用户 543 tokens/sec(p50),并发 128 时为 80.3K tokens/sec、单用户 61 tokens/sec(p50)。支持平台包括 NVIDIA Blackwell(GB300、B300、GB200、B200)、H200、AMD MI350X 与 MI355X,以及 Intel Xeon 6 P-core,并首次通过 SGLang-TorchTPU 为开源权重模型提供 Day-0 TPU 支持。

    Muse Spark Open maps text, image/video and audio inputs into a shared decoder with GQA and sliding-window/global attention; its MoE block routes full-width inputs while pooling expert features, normalizing each expert output before the weighted sum and restoring the model width with an unpooler.

    匹配字段摘要

星期二

  1. Rohan Paul

    SubQ Snap 长上下文决策模型发布,384K token 延迟 2.5 秒

    Subquadratic 发布 SubQ Snap,称其为面向企业工作的长上下文决策模型,支持 384K token 多模态上下文,是 Jev 的 12 倍。其延迟为最小上下文 80ms、32K 为 250ms、100K 为 660ms、384K 为 2.5 秒,输入定价 $0.05/百万 token,输出免费,前 1 万名注册用户可获 100M 免费输入 token。Rohan Paul 指出,其延迟随输入近似线性增长,而标准二次注意力在该区间成本约上升 15 倍,这使模型能一次处理 384K token 的代码、文档、日志和截图。

    匹配字段摘要

  2. World Labs Blog精选

    World Labs 发布 World API,用文本、图像和视频生成可探索 3D 世界

    World Labs 发布 World API,开发者可通过该公开接口调用其多模态世界模型 Marble,从文本、单图、多图、360° 全景和视频生成可导航的 3D 世界。世界生成以异步方式运行,无需专有工具,生成结果可在浏览器渲染、导出到其他工具或接入交互系统与仿真管线。该 API 已用于游戏与沉浸式媒体、机器人仿真(可接入 NVIDIA Isaac Sim、MuJoCo、RoboSuite)以及建筑设计等场景,并通过 World Labs Platform 提供 API key 管理、用量计费和文档。

    匹配字段摘要

星期三

  1. 9to5Google

    Google 发布 EmbeddingGemma 2 模型与 AI Edge Foresight Mac 笔记应用

    Google 发布 EmbeddingGemma 2 嵌入模型,可本地完成信息组织、搜索与关联,并推出 AI Edge Foresight Mac 应用演示其能力。该模型为 7.4 亿参数,基于 Gemma 4 架构,采用 Apache 2.0 许可;量化后在 Google Pixel 11 Pro 上纯文本权重约占 191MB 内存,完整多模态模型约 567MB。Foresight 可在会议中后台听取内容,把速记要点即时整理成完整笔记,转录与音频全部在设备本地处理,还能接入项目文件夹、参考资料、图表和日历进行问答检索。

    匹配字段摘要

星期四

  1. The Verge AI

    OpenAI 发布 Dots 智能体,仅限每月 100 美元 Pro 及以上用户

    OpenAI 在年度 DevDay 上发布由 GPT-6 Astra 驱动的智能体 Dots,目前仅向每月 100 美元的 Pro 及以上订阅用户开放,而 Meta 的 Muse 对所有 Meta 账号免费。Dots 被定位为可承接长周期知识工作的“幕僚长”,支持文本、语音和电话多模态交互,并计划推出会计、法律等专业版本,同时与 Microsoft 合作接入 Agent 365。Altman 称 Dots 因算力消耗大而先做高端产品,未来会推出面向数十亿人的大众版本。

    匹配字段摘要

星期六

星期四

  1. A6 a6-052 · Fireworks AI

    Fireworks Lab 与 Genspark 后训练 MiniMax M3 推出 Gen-1 Slides

    Genspark 与 Fireworks Lab 合作,将开源多模态模型 MiniMax M3 后训练为 Gen-1 Slides,可端到端规划、撰写并自检幻灯片。在 Genspark 的评测中,其幻灯片质量与 Opus 5 相当,输入 token 价格约为 Opus 5 的 1/17,按成品幻灯片计成本低约 90%,并将低评分幻灯片从基座的 18% 降至 3.6%。该模型已在 Genspark AI Slides 的 Standard 模式中作为默认模型上线。

    匹配字段摘要

星期五

  1. Unsloth

    Unsloth 让 GLM-5.3-Flash 本地推理提速 3.3 倍

    Unsloth 宣布 GLM-5.3-Flash 的本地 GGUF 推理速度提升 1.6–3.4 倍,配合优化解码与多 token 预测,整体最高快 3.3 倍。用户可在 128GB 设备上通过 Unsloth Desktop 或 llama.cpp 以 3-bit 量化运行,官方同时提供了指南和 GGUF 权重链接。被引用的 Z.ai 发布信息显示,GLM-5.3-Flash 为 320B-A18B 模型,采用 MIT 许可,原生多模态并支持 1M token 上下文窗口。

    匹配字段摘要

星期五

  1. Comfy Blog

    Gemini Omni 1.1 Flash 上线 ComfyUI:支持 4K 输出与对话式视频编辑

    Gemini Omni 1.1 Flash 通过 Partner Nodes 在 ComfyUI 上线,可在 Gemini Video Omni 节点中选择该模型,支持文生视频、图生视频、参考生视频、视频编辑和场景延展,分辨率覆盖 360p 到 4K,每段视频自带生成音轨。该模型原生多模态处理文本、图像、音频和视频,支持用自然语言描述修改并保留画面其余部分,编辑结果可叠加,场景延展会延续原有运动、角色身份和光照。节点提供提示词、分辨率、宽高比、任务类型选择以及可选的图像和视频输入,更新 ComfyUI 至最新版本或使用 Comfy Cloud 即可使用。

    Rob's avatar

    匹配字段摘要

星期四

  1. Unsloth精选

    Unsloth 发布 GLM-5.3-Flash 本地运行 GGUF 量化版

    Unsloth 宣布 GLM-5.3-Flash 可通过其 GGUF 量化版本在本地运行,3-bit 量化需要 128GB 内存,并附上使用指南与 GGUF 下载链接。被引用的 Z.ai 发布信息显示,GLM-5.3-Flash 为 320B-A18B 模型,采用 MIT 许可证,原生多模态并支持 1M token 上下文窗口,此前以 Ox Alpha 名义预览,完全运行在中国 AI 芯片上。Unsloth 称该模型在 DeepSWE、编码与智能体基准上可与 Claude Opus 4.8 相比。

    匹配字段摘要

  2. NVIDIA Developer · Generative AI精选

    NVIDIA 在 GB300 NVL72 上实测 Qwen3.8-Flash-Next 智能体编码

    阿里发布 Qwen3.8-Flash-Next 权重,作为 Qwen4 架构预览供开发者实验评估,这是一个 125B 参数、每 token 激活 6B 的多模态 MoE 模型,原生上下文窗口 262,144 token,借助 YaRN 可扩展至 1M token。NVIDIA 提供 SGLang、vLLM 和 TensorRT LLM 的 Day 0 功能支持,并在 GB300 NVL72 上验证推理,单 GPU 吞吐超过 16K token/秒、单用户超过 200 token/秒。开发者可用 NVIDIA NeMo AutoModel 微调、用 NeMo RL 做强化学习,权重可从 Hugging Face 或 ModelScope 下载。

    Decorative image.

    匹配字段摘要

星期三

  1. Unsloth精选

    Unsloth 发布 Qwen3.8-Flash GGUF,75GB 内存可本地运行

    Unsloth 发布 Qwen3.8-Flash 的 GGUF 量化版本,可在 75GB 内存的本地环境运行这个 125B MoE 模型,并称其表现超过 Claude-Opus-4.6(Max)。同时发布的 Qwen3.8-Flash-Next 支持 CPU 内存与统一内存方案,速度接近显存运行。Unsloth 提供了使用指南和 GGUF 下载链接。被引用的 Qwen 官方介绍显示,Qwen3.8-Flash 为多模态 MoE,采用 GDN + QSA 混合注意力等新架构,每 token 激活 6B 参数,原生上下文 262K,可经 YaRN 扩展至 1M。

    匹配字段摘要