←搜索结果

搜索“Hugging Face”

按匹配度 · 共 1193 条结果 清除搜索

星期三

  1. Interconnects

    开放模型盘点：Kimi K3、Qwen 3.8、蒸馏争议与开源闭源差距

    Interconnects 播客围绕上周发布的 Kimi K3 展开开放模型季度盘点，讨论其与闭源前沿的差距、GLM 5.2 的持续作用，以及 Qwen、DeepSeek、MiniMax 等中国厂商的进展。节目还涉及蒸馏争议、美国开放模型生态、前沿与近前沿模型之分，以及针对禁令的网络安全论据。

    thos 的网络安全 GPT……或者生物技术方面已经看到了这一点：那些模型不会对所有人开放，嗯，甚至可能连外部合作伙伴也不开放——如果我们考虑有报道称 Anthropic 现在正在孵化或创建一些内部实验室来开发药物的话。 嗯，所以最前沿对所有人来说都不可及，而近前沿能力正变得越来越商品化，嗯，这有很多不同的影响，尤其是如果你考虑网络安全之类的事情。两三天前 Hugging Face 有一份报告说，他们有个智能体试图黑进他们的系统。嗯，他们试图用 GPT 和 Claude 来分析它，但没能做到，因为所有护栏都拦住了他们。所以他们不得不用 GLM，一个能力较弱的模型，但它对这类防御行动没有护栏。他们不得不用一个更差的模型来防御自己或分析数据，这是一种糟糕的处境：我们现在有美国公司依赖较弱的模型，因为封闭的前沿对他们不可及。 00:33:10 Nathan Lambert：是的。而且我认为这实际上是不做任何事情的最佳论据之一。就像如果世界其他地方都能使用这些开放模型，而我们禁止美国公司使用它们，那美国公司防御能力和世界各地攻击者之间的差距就会不断扩大，在网络安全方面；我们可以争论在当前能力水

    匹配字段正文

    #newsletter#行业动态#开源生态#Agent
  2. Prime Intellect精选

    Prime Intellect 整合 23 个智能体任务集，提供 36.5 万+ 环境用于 SWE、终端与搜索 RL

    Prime Intellect 将 23 个智能体任务集整合到统一的 taskset API 之下，共约 36.5 万个任务，包括 20 多种语言的约 19.8 万个软件工程任务、约 2.86 万个终端任务和约 13.76 万个搜索任务，可直接用于评测和 RL 训练。整合保留各任务集原有评分路径，统一了配置接口、镜像注册表和完整性标准，评分材料在打分前对智能体隐藏。团队还对数据集做了 gold-patch 与 no-op 验证并重新上传清洗版本，例如 R2E-Gym-Subset-Verified 保留 4,578 行中的 4,522 行。

    Scaling Agentic RL: 365,000+ Environments for SWE, Terminal, and Search

    ges. Every task runs from a prebuilt Prime image and is gold-validated against the upstream solutions All our filtered and verified SWE re-uploads live in the SWE RL collection on Hugging Face, each with a dataset card documenting exactly what changed vs upstream, the validation methodology, and exclusions preserved for audit. Terminal Tasks Terminal-Lego (Yang et al., Huawei / HKU - paper, terminal lego v1) is 13,800 Docker-verified Terminal-Bench-style tasks built by the SWE-Lego team from rea

    匹配字段正文

    #company#开源/仓库#Agent#数据/训练

星期三

  1. Hugging Face精选

    Thinking Machines 推出原生多模态开放模型 Inkling

    Thinking Machines 推出 Inkling，一款原生接收文本、图像和音频的开放权重 MoE 模型，拥有 975B 总参数、41B 激活参数和 1M 上下文窗口。其 bf16 与 NVFP4 检查点分别需要 2 TB 和 600 GB VRAM，并已获 Transformers、SGLang、vLLM 和 llama.cpp 支持。

    coding agent harness you can use with different language models. You can use Pi with either an inference engine server endpoint, such as llama.cpp, or with Inference Providers on Hugging Face by adding this to your /.pi/agent/models.json after installation. Then you can start Pi in your project directory by calling pi and you’re good to go! In this demo, we give the model a hard math reasoning problem and it uses tools in pi to solve it. Inkling is focused on broad multimodality reasoning and l

    匹配字段正文

    #lab#模型发布#多模态#推理
  2. LMSYS Blog精选

    SGLang 与 Miles 为多模态模型 Inkling 提供 Day-0 支持

    LMSYS 与 Thinking Machines 团队合作，为 975B 参数多模态模型 Inkling 在 SGLang 和 Miles 上提供 Day-0 支持。SGLang 针对其短卷积、相对位置注意力和共享专家 sink 的 MoE 架构做了专门优化，在 Nvidia Blackwell GPU 上实现最高 71.7k tok/s 输入吞吐和 171.0 tok/s 单用户解码速度，并支持投机解码、PD 分离、多 LoRA 服务与 HiCache。Miles 通过定制 Megatron 后端支持全参数与 LoRA 强化学习，覆盖文本和视觉语言任务。

    attention. ShortConv gathers the full sequence and returns each rank's local slice An Inkling model bridge handles checkpoint conversion in both directions: it shards the released Hugging Face weights for Megatron training, then reconstructs the layouts required by checkpoint export and rollout weight updates. The same backend drives both full-parameter and LoRA RL. Full-Parameter RL Built on the native Inkling backend and parallel stack above, Miles runs full-parameter GRPO by updating every mo

    匹配字段正文

    #company#开源/仓库#多模态#部署/工程
  3. Modal 官方工程博客精选

    Thinking Machines 的 Inkling 上线 Modal，975B 参数多模态模型支持 Day 0 托管

    Thinking Machines 发布通用多模态模型 Inkling，可接受文本、图像和音频输入并生成文本输出，Modal 以 Day 0 合作将其作为按 token 计费的托管端点上线。Inkling 是 MoE Transformer，总参数 975B、激活 41B，上下文窗口 1M token，原生支持音频与视觉。Modal 为其定制了 DFlash 推测解码器，在 8x B200 的智能体负载上实现每用户 250 tokens/s、每 GPU 2.5M TPM，交互性比模型内置推测路径快 67%。

    k diffusion drafter generates a whole block of tokens in one parallel forward pass, conditioned on features from the target model. And in the latest draft models we’ve released on Hugging Face, we’re making a similar bet towards local attention, just like Inkling. We're able to push DFlash in a few ways to maximize speed and compute efficiency (without losing accuracy): All local attention. Every drafter layer uses sliding window attention, with no global attention at all. The drafter can afford

    匹配字段正文

    #company#产品更新#多模态#部署/工程

星期五

  1. Hugging Face

    PyTorch 性能分析（第三部分）：剖析注意力后端

    本文通过 PyTorch Profiler 对比朴素注意力与 SDPA 的 math、efficient、flash 和 cuDNN 后端，揭示不同实现的执行开销。原地 masked_fill_ 可在无梯度前向中消除一次 Memcpy；math 后端因 FP32 转换、重复构造掩码等操作启动 20 个 GPU kernel，慢 3.7 倍，而其余后端将计算融合为单个 kernel。测试形状下 FlashAttention-2 最快，其低占用率源于大量使用片上资源，并不代表优化不佳。

    lowerCount":818,"isUserFollowing":false,"primaryOrg":{"avatarUrl":"https://cdn-avatars.huggingface.co/v1/production/uploads/1583856921041-5dd96eb166059660ed1ee413.png","fullname":"Hugging Face","name":"huggingface","type":"org","isHf":true,"details":"The AI community building the future.","plan":"team"}},"createdAt":"2026-09-08T06:42:11.000Z","type":"comment","data":{"edited":false,"hidden":false,"latest":{"raw":"How did you like the series? Anything that we could have done better?","html":" How

    匹配字段正文

    #lab#教程/实践#推理#部署/工程
  2. LMSYS Blog

    LMSYS 在 AMD Instinct MI355X 上用 Miles 跑通 DeepSeek-V4 Flash RL 训练

    LMSYS 宣布 DeepSeek-V4 Flash 的 RL 训练已在 Miles 中支持 AMD Instinct MI355X GPU 与 ROCm，完成四节点端到端验证。该模型为 284B 参数 MoE、每 token 激活 13B，团队解决了 SGLang rollout 与 Megatron 训练之间的 log-probability 对齐、量化权重在线更新语义保持，以及 ROCm 多节点并行策略三个问题。在四台八卡 MI355X 上跑过 100+ 优化步，train-rollout 平均绝对 log-probability 差约 0.09，离线 AIME-2024 pass@1 从 0.39 升至 0.49、pass@8 从 0.53 升至 0.67。

    es the same sequences, computes the policy update, and trains the actor; Miles then transfers the updated weights back to the live SGLang workers. The current FP8 path uses an FP8 Hugging Face checkpoint for rollout and a BF16 Megatron torch dist checkpoint for actor training. The two engines therefore represent one policy in different execution formats, making conversion, rescoring, and online update behavior part of the correctness boundary. Figure 2. Prompts flow to SGLang rollout; trajectori

    匹配字段正文

    #company#开源/仓库#数据/训练#部署/工程

星期一

  1. Hugging Face精选

    PRX 第4部分：我们的数据策略

    Photoroom 为 7B 文生图模型 PRX 构建了兼顾规模与多样性的预训练数据管线，以 Lance 完成探索和整理，再转换为 MDS 供分布式训练。团队用 Qwen3-VL-8B 重新生成详细图像描述，并采用 quality 92 的 JPEG、分辨率与宽高比分桶。文本分类和感知哈希通过跳过列表过滤文本密集、NSFW 及近重复样本，无需重写数据集。

    thing with PRX, or find a bug in our pipeline? PRX is Apache 2.0 and the model code lives at github.com/Photoroom/PRX . We integrated PRX into the diffusers library and there is a Hugging Face Space to try out our latest version PRX Pixel . Come talk diffusion models and data with us on Discord . Qwen2.5-VL-7B-Captioner-Relaxed CMMD, "Rethinking FID" (Jayasumana et al., 2024) DINOv2 (Oquab et al., 2023), the features behind DINO-MMD Models mentioned in this article 7 Ertugrul/Qwen2.5-VL-7B-Capti

    匹配字段正文

    #lab#教程/实践#图像生成#数据/训练

星期四

  1. Liquid AI 模型与工程博客

    Liquid AI 发布 LFM2.5-ColBERT-350M 与 LFM2.5-Embedding-350M 多语言检索模型

    Liquid AI 发布两款 350M 参数多语言检索模型 LFM2.5-ColBERT-350M 和 LFM2.5-Embedding-350M，基于 3 月的 LFM2.5-350M-Base，是 LFM 家族首批双向模型，支持 11 种语言的多语言与跨语言搜索。两者分别采用单向量 CLS 池化和逐 token 向量 MaxSim 延迟交互，并已发布 GGUF 版本供 llama.cpp 在 CPU、笔记本和边缘设备上运行。

    ly out of the box, we encourage you to fine-tune either model on your own data for domain-specific retrieval. We especially recommend this for LFM2.5-Embedding-350M, for which our Hugging Face model card provides simple fine-tuning snippets with sentence-transformers. Citation Please cite this article using the following reference or BibTeX citation: Liquid AI, "LFM2.5 Retrievers: Bi-directional LFMs for Fast Multilingual Search", Liquid AI Blog, Jun 2026. Share on social: For press inquiries, e

    匹配字段正文

    #company#模型发布#RAG#端侧

星期三

  1. Google DeepMind精选

    Google DeepMind 发布 DiffusionGemma 实验性开源模型

    Google DeepMind 发布 DiffusionGemma，一个采用 Apache 2.0 许可的 26B MoE 实验性开源模型，探索文本扩散生成，在 GPU 上文本生成速度最高提升 4 倍。该模型不再逐 token 顺序生成，而是同时生成整块文本，面向内联编辑、快速迭代等速度敏感的本地交互工作流。其加速优势主要体现在单加速器、低到中等批大小的本地低并发推理场景，高 QPS 云端服务下并行解码收益递减。

    es your model inference from a single, sequential typewriter to a massive printing press that stamps the entire block of text simultaneously. DiffusionGemma text-to-3D SVG demo by Hugging Face. Step-by-step generation. This means DiffusionGemma's speedup is designed for local and low-concurrency inference. In high-QPS cloud serving, autoregressive models can be deployed to saturate compute efficiently, so DiffusionGemma's parallel decoding offers diminishing returns and can result in higher serv

    匹配字段正文

    #lab#模型发布#开源生态#推理

星期四

  1. LMSYS Blog精选

    SGLang 与 Miles 首日支持 NVIDIA Nemotron 3 Ultra

    LMSYS 宣布 SGLang 与 Miles 在 Day 0 支持 NVIDIA Nemotron 3 Ultra，这是一款面向长时自主智能体的开源前沿推理模型，总参数 550B、激活参数 55B，上下文最长 1M tokens，支持 NVFP4 与 BF16。SGLang 提供高性能推理服务，Miles 支持在 128 张 H200 上以 GRPO 进行强化学习训练，并已验证 dapo-math-17k 上的端到端流程。官方称该模型在智能体生产力、指令遵循和长上下文任务上领先，成本最多节省 30%。

    ing and agentic behavior; Deployment: Open weights, open data, and open recipes for customization and deployment across infrastructure; Supported GPUs: Download model weights from Hugging Face - BF16, NVFP4; Run inference with SGLang using the getting started cookbook; Read the Nemotron 3 Ultra technical report for architecture, training, and benchmark details Installation and Quick Start For an easier setup with SGLang, refer to the Nemotron 3 Ultra getting started cookbook or use the NVIDIA Br

    匹配字段正文

    #company#开源/仓库#部署/工程#数据/训练

星期五

  1. Together AI Blog精选

    Together AI 如何构建全球最快的语音转文字技术栈

    Together AI 优化 ASR 全链路，使 NVIDIA Parakeet-TDT 0.6B v3 可在不到 10 秒内转录约 20 小时语音，并与 OpenAI Whisper Large v3 一同成为 Artificial Analysis 排名中延迟最低的两款模型。其方案采用多配置 TensorRT、条件 CUDA 图、Unix 域套接字、共享内存和 epoll，解码器提速 2–3 倍。通过 gc.freeze() 排除预分配对象的 GC 扫描后，约 200 ms 的 p95 延迟尖峰也随之消失。

    arge v3 are available on Together. Reach out if you’re scaling voice AI in production. Parakeet v3 is the successor to v2, which was an English-only model that set the pace on the Hugging Face Open ASR Leaderboard for single-language throughput. v3 extends that foundation significantly, expanding language support from English to 25 European languages, adding automatic language detection without requiring a language prompt, and was trained on 1.7 million hours of audio data — including NVIDIA's G

    匹配字段正文

    #company#教程/实践#语音#部署/工程

星期五

  1. Mistral AI

    Mistral 发布 Mistral Medium 3.5 与 Vibe 云端远程智能体

    Mistral 发布 Mistral Medium 3.5，这是一个 128B 稠密模型，统一指令跟随、推理与编码，上下文窗口 256k，以修改版 MIT 许可开放权重，可在少至四块 GPU 上自托管。该模型在 SWE-Bench Verified 上得分 77.6%，τ³-Telecom 得分 91.4，并成为 Mistral Vibe 与 Le Chat 的默认模型。同时 Mistral 将编码智能体搬到云端，Vibe 远程智能体可从 CLI 或 Le Chat 启动、并行异步运行，本地会话可迁移上云，完成后可开 PR 并通知；Le Chat 新增 Work 模式（预览），由新智能体驱动多步任务与跨工具流程，敏感操作需人工批准。API 定价为每百万输入 token 1.5 美元、每百万输出 token 7.5 美元，已在 Pro、Team 和 Enterprise 套餐上线。

    and Work mode in Le Chat on the Pro, Team, and Enterprise plans. Through API, it’s priced at $1.5 per million input tokens and $7.5 per million output tokens. Open weights are on Hugging Face under a modified MIT license. It is also available for prototyping, hosted on NVIDIA GPU-accelerated endpoints on build.nvidia.com and as a scalable containerized inference microservice, NVIDIA NIM. Build the future of agentic systems with us. We're hiring across research, engineering, and product to push

    匹配字段正文

    #lab#模型发布#Agent#编码

星期六

  1. Ahead of AI

    近期大语言模型架构进展解析：KV 共享、mHC 与压缩注意力

    文章解析 Gemma 4、Laguna XS.2、ZAYA1-8B 和 DeepSeek V4 如何通过 KV 共享、分层注意力预算、mHC 与压缩注意力降低长上下文成本。Gemma 4 E2B 在 128K 上下文中可节省 2.7 GB KV cache，DeepSeek V4-Pro 在 1M-token 上下文下的单 token 推理 FLOPs 和 KV cache 分别降至 DeepSeek V3.2 的 27% 和 10%。这些设计显示 Transformer 架构正以更复杂但更具针对性的改动提升长上下文推理效率。

    ntion pattern is not unique to Laguna XS.2 and is used by many other architectures (including Gemma 4). But what’s new is the use of per-layer query-head counts. For instance, the Hugging Face model hub config.json includes a num attention heads per layer setting, so layers can have different numbers of query heads while keeping the KV cache shape compatible. So Laguna XS.2 gives more query heads to sliding-window layers and fewer query heads to global layers, while keeping the KV heads fixed at

    匹配字段正文

    #newsletter#教程/实践#部署/工程#推理

星期三

  1. LMSYS Blog精选

    LMSYS 为 SGLang 引入 RDMA P2P 权重传输，1T 参数模型更新提速 7 倍

    LMSYS 为 SGLang 的 RL 工作负载引入基于 RDMA 的点对点权重更新机制，作为传统 NCCL broadcast 的补充，兼容所有主流开源模型。在 1T 参数的 Kimi-K2 上，权重传输时间从 53 秒降至 7.2 秒，代价是每个训练 rank 在 CPU 内存上多占用一个 32G 的推理引擎副本。该设计通过源侧 CPU 引擎副本和 Mooncake TransferEngine 的零拷贝传输，让所有训练 rank 参与发送各自分片，减少网络冗余并让推理服务更快恢复 rollout。

    that supports all quantization and sharding configurations Several new interfaces are needed on the SGLang side: Exposing model parallelism for replica creation: PR 20907; Mapping hugging face tensor with its corresponding SGLang tensor shard: PR 17326; A post-process weight engine call for GPU-local processing such as post-quantization similar to PR 15245 Which are merged in the miles targeted sglang-miles branch. During the weight update, the caller side operates as below: Initialization Durin

    匹配字段正文

    #company#开源/仓库#部署/工程#数据/训练
  2. Modal 官方工程博客

    在 Modal 上构建强化学习定理证明工作流

    AE Studio 在 Modal 上搭建了一套用强化学习训练 LLM 证明数学定理的工作流，用 Lean 编译器提供可验证奖励，并对比了 GRPO 与 Evolution Strategies（ES）两种更新规则。系统由 GPU 上的 vLLM 推理、CPU 上的沙箱化 Lean 验证器和轻量协调进程三部分组成，一次迭代生成 3,840 条证明尝试并按 64 条分批验证。借助 Modal 的 .map() 并行扇出和沙箱隔离，ES 的权重扰动仅靠种子和奖励聚合，无需在 GPU 间传输权重。

    same noise on GPU using the deterministic seed, and applies the weighted update in place. The base model lives in a Volume so that workers can load it without re-downloading from Hugging Face each time: The Volume is read-only from the training loop's perspective. The full model state traveled as a plain Python list, small enough to pass as a function argument to every remote call. Key Performance Metrics For this experiment, Modal provided the ideal balance of speed, simplicity, and cost. Our

    匹配字段正文

    #company#教程/实践#数据/训练#推理

星期三

  1. LMSYS Blog

    SGLang 在 NVIDIA GTC 2026 的亮点回顾

    SGLang 在 NVIDIA GTC 2026 上参与了五场活动，包括亮相 Jensen Huang 主题演讲的 NVIDIA AI 生态幻灯片、一场开源 AI 现状圆桌、一场官方训练实验室，以及与 RadixArk 合办的 Happy Hour。训练实验室覆盖 SGLangCookbook 性能调优、性能瓶颈分析和 SGLang × Miles RL 集成演示。LinkedIn 团队还分享了仅 prefill 的 serving 路径在 H100 上带来 2–3× 吞吐提升，并已上游回 SGLang。

    e AI" alongside Vartika Singh (Strategic AI Lead, NVIDIA), Jonathan Cohen (VP of Applied Research, NVIDIA), Ion Stoica (Professor, EECS, UC Berkeley), Jeff Boudier (VP of Product, Hugging Face), and Ranjay Krishna (Director of Multimodal and Embodied AI, Ai2). The panel examined open-source AI's growing role as the primary R&D engine for sophisticated AI systems: what makes open ecosystems trustworthy, scalable, and production-ready, and the community infrastructure enabling reproducible, audita

    匹配字段正文

    #company#行业动态#开源生态#部署/工程

星期二

  1. LMSYS Blog

    LMSYS 为 Miles RL 框架提供 ROCm 支持，可在 AMD Instinct GPU 上运行

    LMSYS 宣布开源 RL 框架 Miles 支持 ROCm，可在 AMD Instinct MI300/350 系列 GPU 上原生运行分布式 rollout 与 GRPO 训练。Miles 基于 SGLang 与 Slime 生态，将 rollout 生成与 Megatron 模型优化解耦，并提供预装 SGLang 和 Megatron-LM 的 ROCm 容器。在单节点 8 卡 MI300X 上训练 Qwen3-30B-A3B 时，平均单步耗时 388.50s，其中 rollout 生成占 152.79s，AIME 准确率从 0.665（step 19）升至 0.729（step 139）。

    mage tag based on your hardware: The container includes SGLang and Megatron-LM preinstalled. Install Miles and download assets Download the example model and datasets: Convert the Hugging Face checkpoint to Megatron format: Launch RL training This launches a full RL pipeline: Ray cluster initialization; SGLang rollout workers; GRPO training loop; On-policy rollout → train → update cycle Experiments and Performance Agentic task training: multiturn Multi-turn agents are quickly becoming the defaul

    匹配字段正文

    #company#开源/仓库#部署/工程#数据/训练
  2. Mistral AI精选

    Mistral AI 发布 Mistral Small 4，统一推理、多模态与编码能力

    Mistral AI 发布 Mistral Small 4，这是 Mistral Small 系列的下一个主要版本，也是 Mistral 首个把 Magistral 的推理、Pixtral 的多模态和 Devstral 的智能体编码能力统一到单一模型中的版本，采用 Apache 2.0 许可。模型为 MoE 架构，128 个专家、每 token 激活 4 个，总参数 119B、每 token 激活 6B（含嵌入和输出层为 8B），上下文窗口 256k，支持文本与图像输入，并可通过 reasoning_effort 参数在快速响应与深度推理之间切换。官方称相比 Mistral Small 3，端到端完成时间减少 40%，每秒请求数提升 3 倍；推理模式下在三项基准上匹配或超过 GPT-OSS 120B，且输出更短。

    Performance Comparison Across Internal Models

    search, and complex reasoning tasks Its open-source license and customizable architecture make it ideal for fine-tuning and specialization. Availability Mistral API and AI Studio; Hugging Face Repository; Developers can prototype Mistral Small 4 for free on NVIDIA accelerated computing at build.nvidia.com, and for production deployment, Mistral Small 4 is available day-0 as an NVIDIA NIM, delivering optimized, containerized inference out of the box. It can also be customized with NVIDIA NeMo for

    匹配字段正文

    #lab#模型发布#开源生态#推理

星期三

  1. Zyphra Research

    Zyphra 发布 ZUNA：380M 参数 EEG 基础模型推进思维转文本

    Zyphra 发布 ZUNA，一个 380M 参数的扩散自编码器 BCI 基础模型，用于去噪、重建和上采样头皮 EEG 信号，支持任意通道布局。ZUNA 在通道丢失超过 75% 时于所有数据集上超越 MNE 默认的球面样条插值，优势随数据退化程度增加而扩大。该模型面向研究人员、临床医生和 BCI 开发者，可恢复部分损坏的 EEG 会话并让低通道设备映射到更高分辨率信号空间。

    ncluded. Release We are releasing ZUNA with a permissive licensing (Apache 2.0) and practical tooling so it can be easily integrated into real-world workflows. Model weights: ZUNA Hugging Face; Inference & preprocessing code: ZUNA GitHub; Pip install Python package: pip install zuna; Technical paper At 380 million parameters, ZUNA is lightweight enough to run quickly on a consumer GPU and can be used on CPU for many workloads. We hope researchers, clinicians, and builders put ZUNA to work, provi

    匹配字段正文

    #lab#模型发布#数据/训练#开源生态