Modal 本周发布面向 Qwen 3.5 397B-A17B 的 DFlash 推测解码模型，并与 SGLang 合作优化性能；同时在 Hugging Face 开源 Qwen 3.6 35B-A3B、Qwen 3.5 4B/9B/27B/35B-A3B/122B-A10B 的 DFlash 草稿模型，在已有 DFlash 基线上再获 5% 至 20% 加速。Modal 称 Qwen 3.5 122B-A10B 在 B200 单节点、并发 1 下可超过 1000 tok/s，并给出接受长度从 3 提升到 9 可将加速从 25% 提升到 3 倍的建模分析。
匹配字段摘要、正文
LMSYS 联合 Z Lab 和 Modal 发布 DFlash 推测解码模型与 SGLang 默认的 Spec V2 引擎，DFlash 用块扩散并行起草并通过 KV 注入提升接受长度。在 HumanEval 数据集并发为 1 时，Qwen 3.5 397B-A17B 的 DFlash 模型吞吐达到基线的 4.3 倍以上、MTP 的 1.5 倍。该模型已在 z-lab、modal-labs 和 lmsys 三个 Hugging Face 组织发布，可在 SGLang 中直接部署。
匹配字段摘要、正文
goose 在桌面应用中内置了由 llama.cpp 驱动的本地推理，选择 Local provider 后可直接从 Hugging Face 下载量化 GGUF 模型并在本机运行，无需 Ollama、Docker 或外部服务器，也无需 API key，可离线使用。官方说明本地模型首次请求需 30–120 秒加载，上下文多为 4K–8K token，工具调用是最大短板，Gemma 4 表现较好而模拟模式仅限 shell 命令；建议从小模型起步并使用 Code Mode。
匹配字段摘要、正文
SGLang 宣布在发布当天支持 NVIDIA Nemotron 3 Super，并给出安装与推理部署步骤。Nemotron 3 Super 是 120B 参数的混合 MoE 模型，每次前向仅激活 12B 参数，支持 1M token 上下文，官方称其吞吐效率最高可达上一代 Nemotron Super（Llama Nemotron Super 1.5）的 5 倍，并支持 Multi-Token Prediction 与 Thinking Budget。模型权重已在 Hugging Face 提供 BF16、FP8 和 NVFP4 版本，可配合 SGLang 在 4xH200 等配置上部署。
匹配字段摘要、正文
vLLM 现已支持部署 NVIDIA Nemotron 开放模型家族，可在数据中心和端侧硬件上运行智能体推理。Nemotron Nano 2 采用混合 Transformer–Mamba 架构并提供可配置的 thinking budget，开发者可调节精度、吞吐量和成本；其模型权重及超过 9T tokens 的训练数据已在 Hugging Face 提供。
匹配字段摘要、正文
vLLM v0.7.3+ 在 AMD ROCm 上支持 PTPC-FP8 量化，无需预量化即可通过 `--quantization ptpc_fp8` 运行 Hugging Face 模型。MI300X 测试中，其吞吐量较逐张量 FP8 为 1.01x，Llama-3.1-8B-Instruct 困惑度较 BF16 下降 0.86%，Llama-3.1-70B-Instruct 在 GSM8K 上取得 87.3% strict-match 准确率。融合 FP8 rowwise scaled GEMM 操作相较朴素实现最高带来 2.5× 加速。
vLLM v0.7.3+ 在 AMD ROCm 上支持 PTPC-FP8 量化，无需预量化即可通过 --quantization ptpc fp8 运行 Hugging Face 模型。MI300X 测试中，其吞吐量较逐张量 FP8 为 1.01x，Llama-3.1-8B-Instruct 困惑度较 BF16 下降 0.86%，Llama-3.1-70B-Instruct 在 GSM8K 上取得 87.3% strict-match 准确率。融合 FP8 rowwise scaled GEMM 操作相较朴素实现最高带来 2.5× 加速。
匹配字段摘要、正文
2026年10月29日,Mistral发布Mistral Large 4(Le Chonk)的开放权重,这是一个1万亿参数的原生多模态模型,在预览版基础上继续强化学习,编码与防御性网络安全能力提升。据Mistral AI公布的数据,该模型在FrontierCode 2.0上得分19.7%,在Artificial Analysis Coding Agent Index上得48%,与GLM-5.3基本持平,但每任务平均少用47% token;Terminal-Bench 4.0提升13个百分点至41%。模型支持三种推理模式,采用修改版MIT的Mistral Ecosystem Open-Weight许可,API定价为每百万输入token $0.70、缓存输入$0.07、输出$2.10。同日,Unsloth发布该模型的1-bit GGUF量化版本,称可在Mac Studio上本地运行,量化后仍保留91% top-1准确率,并提供下载链接和使用指南。
匹配字段标题
面壁智能宣布,MiniCPM-V 4.7在Hugging Face Trending榜单上排名第3。官方称,35B-A3B MoE版本可在iOS和Android上以约3GB内存流畅运行,1B模型在OCR、数学和视频理解上表现较强,并给出了GitHub与Hugging Face链接。10月19日,面壁智能称该模型升至Hugging Face Trending第二位,并再次提到35B-A3B MoE版本可在iOS和Android上以约3GB内存运行,1B版本在OCR、数学和视频理解上表现较强。10月20日,面壁智能表示,该模型可在本地以100 tok/s运行,内存占用约3GB,定位为让端侧AI更实用,并提到llama.cpp生态让该模型更容易上手试用。
匹配字段标题
MiniCPM-V 4.7 升至 Hugging Face Trending 第二位
English translation is being prepared.
匹配字段标题
MiniCPM-V 4.7 登上 Hugging Face Trending第三名
English translation is being prepared.
匹配字段标题
2026年8月31日,Hugging Face与Pollen Robotics开放双足机器人Microduck预购,定价399美元。预购开启首日,订单额已超过260万美元。该机器人配备15个电机、摄像头和激光雷达,可完成七种行为,其中包括跌倒后自行起身。配套的软件开发工具包、模拟器及强化学习技术栈均以Apache 2.0许可证开源。新提交的订单预计需要四至六个月交付。
匹配字段标题
匹配字段标题
匹配字段标题
匹配字段标题
匹配字段标题
Hugging Face与Pollen Robotics 开放预购 399美元开源双足机器人Microduck
English translation is being prepared.
匹配字段标题
Hugging Face 接入 Baseten推理服务
English translation is being prepared.
匹配字段标题
Hugging Face与AWS 推出 一键进入SageMaker Studio定制或部署模型的功能
English translation is being prepared.
匹配字段标题
Microsoft与Hugging Face 上线预览 Foundry托管计算中的Hugging Face模型集合
English translation is being prepared.
匹配字段标题
SkyPilot 接入 Hugging Face Storage后端
English translation is being prepared.
匹配字段标题