←搜索结果

搜索“Hugging Face”

按匹配度 · 共 33 条结果 清除搜索

星期六

  1. A6 a6-047 · Baseten 工程博客

    Baseten 用 MetaInfer 技能框架让 Claude Code 自主优化推理引擎，单流解码提速最高 90%

    Baseten 工程博客作者基于 MetaInfer 技能框架，让 Claude Code 在单张 B200 上为 Qwen-3.6-35B-A3B（NVFP4）自主构建推理引擎 VibeQwen，单流解码速度最高比 vLLM 0.25.1 快 90%，TTFT 快 2.33 倍，并发 32 时单副本吞吐高出 71%。整个项目约一周、消耗约 17 亿 token 和 200 B200 小时，成本在数千美元量级。作者随后用同一知识库为图像分割模型 SAM 3.1 构建推理服务 Sammie，在单张 H100 上达到 91 张图/秒，比 Facebook 参考服务吞吐提升 50%，耗时数天、约 2 亿 token。

    de with Fable 5 access to the paper and the MetaInfer Repository, as well as access to an NVIDIA B200 workstation via SSH. I told it the target hardware and provided a link to the Hugging Face repo for both the NVFP4 quantized weights I wanted to use for Qwen-3.6-35B-A3B, as well as the original full-precision weights to be used as an accuracy oracle. The agent was also able to deploy engine candidates to Baseten, and to run AIPerf profiles against the deployed endpoint. We have internal agent s

    匹配字段正文

    #a6-editorial#教程/实践#推理#部署/工程
  2. Baseten 工程博客

    Baseten 用 Claude Code 生成推理引擎，解码速度比 vLLM 快 90%

    Baseten 工程师让 Claude Code 配合 Fable 5 基于 MetaInfer 技能框架，在单张 B200 上为 Qwen-3.6-35B-A3B 生成推理引擎 VibeQwen，单流解码速度最高比 vLLM 0.25.1 快 90%，TTFT 快 2.33 倍。该实验耗时约一周、消耗约 17 亿 token 和约 200 B200 小时，引擎在全部测试流量模式下均超过 vLLM。作者随后用同一知识库为图像分割模型 SAM 3.1 生成服务端 Sammie，在单张 H100 上达到 91 张图像/秒，吞吐比 Facebook 参考实现提升 50%。

    Baseten engineers leverage agentic inference optimization techniques for up to 90% faster inference

    de with Fable 5 access to the paper and the MetaInfer Repository, as well as access to an NVIDIA B200 workstation via SSH. I told it the target hardware and provided a link to the Hugging Face repo for both the NVFP4 quantized weights I wanted to use for Qwen-3.6-35B-A3B, as well as the original full-precision weights to be used as an accuracy oracle. The agent was also able to deploy engine candidates to Baseten, and to run AIPerf profiles against the deployed endpoint. We have internal agent s

    匹配字段正文

    #editorial#教程/实践#推理#部署/工程

星期四

  1. SemiAnalysis

    SemiAnalysis 发布 ClusterMAX 3.0 GPU 云评级，覆盖 77 家 neocloud

    SemiAnalysis 发布 ClusterMAX 3.0，对 77 家 neocloud 做全面评测，市场覆盖范围从 2.0 版的 209 家扩大到 323 家，并访谈了 200 多名终端用户。Nebius 与 CoreWeave 同列 Platinum，Google Cloud 与 Oracle 进入 Gold，Azure 降至 Silver，Crusoe 降至 Bronze，全球仅 19 家 neocloud 获得奖章评级。评测分审计、性能、可靠性三阶段，涵盖 GPU 计算、网络、存储、编排、监控与故障注入，并新增 Bronze 与 Underperforming 之间的 Participation Ribbon 档。

    test the time it takes to install common packages like PyTorch and vLLM via pip and uv, as well as download containers from Docker Hub, ghcr.io, and nvcr.io, and pull a model from Hugging Face and ModelScope. We then redo the pip and uv install tests with fresh package caches on each available storage tier: home, shared filesystem, local NVMe scratch, and any additional mounts (referred to as /home , /data , /scratch , and other). We then run import torch from each location to see how long that

    匹配字段正文

    #analysis#行业动态#部署/工程#数据/训练

星期三

  1. Ahead of AI精选

    GPT-6 Astra、循环 Transformer 与隐藏推理链解析

    作者实测 GPT-6 Astra 后，分析其性能、计算机使用能力，以及循环 Transformer 是否会隐藏推理链。文章解释了循环 Transformer 通过重复使用相同权重增加有效深度，并指出 Astra 采用该架构仍未获官方确认，也没有充分证据表明循环机制会导致推理链更难监控。

    plies the output. So, it’s also borrowing the adaptive halting idea from Universal Transformer, which Nanbeige didn’t use. (However, there is a practical caveat here. The released Hugging Face implementation computes all configured passes before selecting an output, so it seems like the number of loops is effectively hard-coded to 4). 2.4 Routing flexible loop counts Another approach is Mixture-of-Recursions, a paper from 2025 that is essentially a more sophisticated version of the Universal Tra

    匹配字段正文

    #newsletter#教程/实践#推理#数据/训练

星期六

  1. LMSYS Blog

    SGLang 用 SSD Expert Pack 在消费级硬件上运行 DeepSeek-V4-Flash 与 Kimi-K3

    SGLang 发布 SSD Expert Pack 方案，把放不进显存和内存的路由专家权重留在 NVMe SSD 上，只按路由器选择读取专家，并用 direct I/O、pinned 缓冲和 GPU 缓存把 SSD 容量变成可用的权重层。在 Intel Ultra5 230F、32 GB 内存、TiPro9000 2 TB 磁盘和 RTX 5090 32 GB 的消费级机器上，DeepSeek-V4-Flash 相对 Ollama 基线在 Alpaca 和 MMLU 上 prefill 提升 2.28x 和 3.39x，decode 提升 6.92x 和 6.55x；Kimi-K3 相对 llama.cpp 的 prefill 提升 6.96x 和 5.80x，decode 提升 3.30x 和 3.52x。该路径不裁剪、不跳过专家，也不改变 Expert Top-K，属于显式开启的加载格式，需要额外 SSD 容量和数十分钟的 Pack 构建时间。

    epSeek-V4-Flash MXFP4 GGUF blob from the Ollama model page and use ollama show --modelfile to obtain its local file path. The corresponding model card is DeepSeek-V4-Flash-0731 on Hugging Face: The recorded blob SHA-256 is 947ac34c08c0e5c5752ac76398f934b3b6b4075cfe915ba43dd5ac754900a4cd and the Ollama manifest SHA-256 is 882b1398c0ca4e7ec8ca0a501fd8c4372f780f690536a3ec17ffc75306569ed3; Install the SGLang checkout and build the DeepSeek Expert Pack manually. Use a matching DeepSeek model configur

    匹配字段正文

    #company#教程/实践#部署/工程#端侧

星期五

  1. 蚂蚁百灵：Developer Blog

    蚂蚁百灵用 Ling-3.0-tiny 与 AReno 打通单机 Agentic RL 闭环

    蚂蚁百灵发布实践文章，介绍在 DGX Spark 上用本地后训练工具包 AReno 对 Ling-3.0-tiny 做 Agentic RL，以井字棋为最小验证任务跑通基线评测、Reward 定义、后训练与同环境复测四步闭环。实验使用 GSPO 训练 400 个 step，rollout/rewards_mean 从约 -0.5 升到 0.4 左右，response_len 降至约 850 tokens，复测中工具调用与落子选择更稳定。Ling-3.0-tiny 为 7.9B 总参数、1.3B 激活参数的混合推理模型，已开源 BF16、FP8 和 INT4 版本，AReno 提供 Docker 复现教程。

    图

    下来，AReno 还会持续补充更多面向小模型、Agentic RL、开发者实践和高校教学的案例，帮助开发者从更小、更直观的任务出发，逐步把后训练方法迁移到自己的真实场景中。 07 欢迎下载使用 Tiny，也欢迎参与贡献 AReno Ling-3.0-tiny 已正式开源，提供 BF16、FP8 和 INT4 版本。欢迎根据自己的设备与任务需求下载使用： 🤗 Hugging Face 也欢迎访问 AReno GitHub 仓库（https://github.com/inclusionAI/AReno），复现这次 Spark 后训练实验，提交 Issue、参与讨论，或者贡献 Tiny 个性化训练 Case。 如果你对以下方向感兴趣，欢迎参与 AReno 开源社区： 模型进入本地只是第一步，能否根据业务反馈持续适配，才决定它能否真正进入流程。 Ling-3.0-tiny × ASystem AReno 此次验证的，不是一个已经完成的行业解决方案，而是一条轻量、透明、可复现的任务适配路径：从跑起来，到训起来，再到回到任务中验证是否真的变好。 我们希望开放的不只是模型权重和训练工具，更是一种可被

    匹配字段正文

    #engineering#教程/实践#Agent#开源生态

星期五

  1. Hugging Face

    PyTorch 性能分析（第三部分）：剖析注意力后端

    本文通过 PyTorch Profiler 对比朴素注意力与 SDPA 的 math、efficient、flash 和 cuDNN 后端，揭示不同实现的执行开销。原地 masked_fill_ 可在无梯度前向中消除一次 Memcpy；math 后端因 FP32 转换、重复构造掩码等操作启动 20 个 GPU kernel，慢 3.7 倍，而其余后端将计算融合为单个 kernel。测试形状下 FlashAttention-2 最快，其低占用率源于大量使用片上资源，并不代表优化不佳。

    lowerCount":818,"isUserFollowing":false,"primaryOrg":{"avatarUrl":"https://cdn-avatars.huggingface.co/v1/production/uploads/1583856921041-5dd96eb166059660ed1ee413.png","fullname":"Hugging Face","name":"huggingface","type":"org","isHf":true,"details":"The AI community building the future.","plan":"team"}},"createdAt":"2026-09-08T06:42:11.000Z","type":"comment","data":{"edited":false,"hidden":false,"latest":{"raw":"How did you like the series? Anything that we could have done better?","html":" How

    匹配字段正文

    #lab#教程/实践#推理#部署/工程

星期一

  1. Hugging Face精选

    PRX 第4部分：我们的数据策略

    Photoroom 为 7B 文生图模型 PRX 构建了兼顾规模与多样性的预训练数据管线，以 Lance 完成探索和整理，再转换为 MDS 供分布式训练。团队用 Qwen3-VL-8B 重新生成详细图像描述，并采用 quality 92 的 JPEG、分辨率与宽高比分桶。文本分类和感知哈希通过跳过列表过滤文本密集、NSFW 及近重复样本，无需重写数据集。

    thing with PRX, or find a bug in our pipeline? PRX is Apache 2.0 and the model code lives at github.com/Photoroom/PRX . We integrated PRX into the diffusers library and there is a Hugging Face Space to try out our latest version PRX Pixel . Come talk diffusion models and data with us on Discord . Qwen2.5-VL-7B-Captioner-Relaxed CMMD, "Rethinking FID" (Jayasumana et al., 2024) DINOv2 (Oquab et al., 2023), the features behind DINO-MMD Models mentioned in this article 7 Ertugrul/Qwen2.5-VL-7B-Capti

    匹配字段正文

    #lab#教程/实践#图像生成#数据/训练

星期五

  1. Together AI Blog精选

    Together AI 如何构建全球最快的语音转文字技术栈

    Together AI 优化 ASR 全链路，使 NVIDIA Parakeet-TDT 0.6B v3 可在不到 10 秒内转录约 20 小时语音，并与 OpenAI Whisper Large v3 一同成为 Artificial Analysis 排名中延迟最低的两款模型。其方案采用多配置 TensorRT、条件 CUDA 图、Unix 域套接字、共享内存和 epoll，解码器提速 2–3 倍。通过 gc.freeze() 排除预分配对象的 GC 扫描后，约 200 ms 的 p95 延迟尖峰也随之消失。

    arge v3 are available on Together. Reach out if you’re scaling voice AI in production. Parakeet v3 is the successor to v2, which was an English-only model that set the pace on the Hugging Face Open ASR Leaderboard for single-language throughput. v3 extends that foundation significantly, expanding language support from English to 25 European languages, adding automatic language detection without requiring a language prompt, and was trained on 1.7 million hours of audio data — including NVIDIA's G

    匹配字段正文

    #company#教程/实践#语音#部署/工程

星期六

  1. Ahead of AI

    近期大语言模型架构进展解析：KV 共享、mHC 与压缩注意力

    文章解析 Gemma 4、Laguna XS.2、ZAYA1-8B 和 DeepSeek V4 如何通过 KV 共享、分层注意力预算、mHC 与压缩注意力降低长上下文成本。Gemma 4 E2B 在 128K 上下文中可节省 2.7 GB KV cache，DeepSeek V4-Pro 在 1M-token 上下文下的单 token 推理 FLOPs 和 KV cache 分别降至 DeepSeek V3.2 的 27% 和 10%。这些设计显示 Transformer 架构正以更复杂但更具针对性的改动提升长上下文推理效率。

    ntion pattern is not unique to Laguna XS.2 and is used by many other architectures (including Gemma 4). But what’s new is the use of per-layer query-head counts. For instance, the Hugging Face model hub config.json includes a num attention heads per layer setting, so layers can have different numbers of query heads while keeping the KV cache shape compatible. So Laguna XS.2 gives more query heads to sliding-window layers and fewer query heads to global layers, while keeping the KV heads fixed at

    匹配字段正文

    #newsletter#教程/实践#部署/工程#推理

星期二

  1. vLLM 官方博客精选

    vLLM 上 Kimi K2 工具调用准确率的深度调试

    vLLM 与 Kimi 团队修复了 Kimi K2 的关键工具调用兼容问题，使成功解析的调用数从 218 个增至 971 个，提升 4.4x。问题涉及缺失 add_generation_prompt、空 content 的结构转换，以及历史工具调用 ID 不符合 functions.func_name:idx 格式。修复后仍出现 316 次 schema_validation_error_count，团队正协作将用于约束工具选择的 Enforcer 组件集成到 vLLM。

    x: After identifying the root cause, I collaborated with the Kimi team. They were incredibly responsive and, based on my findings, updated the model's tokenizer config.json on the Hugging Face Hub. The fix was to explicitly declare add generation prompt as a supported parameter for the chat template. This allowed vLLM to pass the argument correctly, fixing the primary source of failed tool calls. Additionally, I submitted this PR, where I whitelist standard chat-template parameters when tokenize

    匹配字段正文

    #engineering#教程/实践#MCP/工具调用#部署/工程

星期一

  1. vLLM 官方博客

    MiniMax-M1 混合架构如何借助 vLLM 实现长上下文快速推理

    vLLM 通过内存管理与底层计算优化支持 MiniMax-M1 的混合架构，实现长上下文高效推理与部署。MiniMax-M1 总参数量为 456B，推理时动态激活约 45.9B 参数；其 Lightning Attention 已通过 Triton 集成至 vLLM。文章还提供了使用 vLLM 和 Docker 部署该模型的快速指南。

    throughput; Efficient and intelligent memory management; Robust support for batched requests; Deeply optimized backend performance Model Download You can download the models from Hugging Face: Deployment Below is a quick guide to deploying MiniMax-M1 with vLLM and Docker: MiniMax-M1 Hybrid Architecture Highlights Mixture-of-Experts (MoE) MiniMax-M1 utilizes a Mixture-of-Experts (MoE) architecture with 456 billion total parameters. During inference, a dynamic routing algorithm activates a sparse

    匹配字段正文

    #engineering#教程/实践#部署/工程#推理

星期五

  1. vLLM 官方博客

    vLLM 如何集成 Transformers 建模后端

    vLLM 集成 Transformers 建模后端，让兼容模型在沿用 Transformers 实现的同时获得 vLLM 的吞吐量与延迟优化。该后端现已支持视觉语言模型，并可通过 model_impl="transformers"、OpenAI 兼容 API 或 LLM API 部署；对于 vLLM 尚未原生支持的兼容模型，系统也可自动切换到 Transformers 实现。

    ly 2025); Transformers and vLLM: Inference in Action; vLLM’s Deployment Superpower: OpenAI Compatibility; Why do we need the Transformers modeling backend?; Case Study: Helium The Hugging Face Transformers library offers a flexible, unified interface to a vast ecosystem of model architectures. From research to fine-tuning on custom dataset, Transformers is the go-to toolkit for all. But when it comes to deploying these models at scale, inference speed and efficiency often take center stage. Ente

    匹配字段正文

    #engineering#教程/实践#部署/工程#多模态