←搜索结果

按匹配度 · 共 33 条结果 清除搜索

星期一

  1. Clément Delangue

    Hugging Face 把 Claude Code、Codex 等编码工具变成 RL 训练环境

    Hugging Face 的 Clément Delangue 宣布把 Claude Code、Codex、Hermes、Pi、opencode 等编码工具变成 RL 环境,不改动工具本身也不改动训练代码,全部开源。做法是用一个 capture proxy 伪装成模型 API,兼容 OpenAI Chat Completions、OpenAI Responses、Anthropic Messages、Gemini 四种格式,转发到 vLLM 并记录 token ID 与 logprobs,再交给 TRL 训练,目前已有 10 个工具接入且均未修改。在 LFM2.5-2.6B 上,单工具训练后 OpenCode 从 34% 提升到 58%,四工具同时训练后四者均提升(42% 到 54%),而用 Qwen3.8-27B 的 3,189 条 rollout 做 SFT 只停在 47.5%。

    匹配字段标题、摘要

星期五

  1. Hugging Face

    使用 Strands Agents、LeRobot 与 Hugging Face Storage Buckets 在一处完成录制、训练和部署

    Strands Robots 将 LeRobotDataset 的录制、同步、流式训练和实体机器人部署整合到同一 Robot() 工作流,并让新演示数据返回同一 Storage Bucket。Xet 按字节去重,仅上传变化的数据块;stream_dataset() 可从 Hub 逐帧读取远程 Parquet 与 MP4 分片,无需完整下载。Bucket 仅支持流式读取且不保留修订记录,真实部署还需隔离数据与凭据、限制智能体权限并只加载可信组织的模型。

    匹配字段标题、正文

星期五

  1. Together AI Blog

    如何在 Together DCI 上部署任意 Hugging Face 模型并运行推理

    Together AI 展示了如何用 Goose 和 together-dedicated-containers 技能,在单次会话中将 Netflix 的 void-model 部署至 Dedicated Container Inference。智能体可自动生成推理服务与容器配置;该模型能移除视频中的对象及其引发的阴影、反射和物理交互,推理任务以异步方式返回结果。

    Terminal screen showing void-byoc goose session ready with deployment note and URL to huggingface.co.

    匹配字段标题、正文

星期四

  1. Hugging Face精选

    作者用 ML Intern 提示词在两天内训练出六个模型

    Hugging Face 博主 yvrjsharma 公开了自己使用 ML Intern 的七个提示词,并展示两天内完成的六个项目,包括基于 Qwen3.5-2B 的柑橘病害 VLM、FLUX.2 klein 4B 的 Huggy 角色 LoRA、Qwen-Image 2.1 的相机视角 LoRA 与涂鸦 LoRA、Pocket Rewriter 0.8B/2B 蒸馏模型,以及把 Agate Preview 002 从 50 步蒸馏到 4 步的版本。作者建议提示词中写明已验证事实、要求训练前基线和带检查的冒烟测试,并设置花费上限,例如柑橘项目限定 12 美元。所有提示词已放在 GitHub 的 yvrjsharma/ml-intern-prompts,ML Intern 模式可在 HuggingChat 中开启使用。

    匹配字段摘要、正文

星期三

  1. Together AI Blog精选

    如何用 17 美元训练自己的 Jev 分类模型

    Together AI 发布教程,介绍如何基于 Qwen3.5 4B 微调一个类似 Jev 的分类模型,训练成本约 17 美元、耗时约 25 分钟。教程从 Hugging Face 的多个数据集采样 38,340 条样本,经 fetch_sources.py 和 build_all.py 归一化后,用 Together 微调服务训练,再部署到 1x_nvidia_h100_80gb_sxm 专用端点并通过 HTTP 接口调用。作者同时上线了 together/Tev1-4B-experimental,不想自行训练的用户可直接在 Together 无服务器平台使用。

    Together AI 发布教程,介绍如何基于 Qwen3.5 4B 微调一个类似 Jev 的分类模型,训练成本约 17 美元、耗时约 25 分钟。教程从 Hugging Face 的多个数据集采样 38,340 条样本,经 fetch sources.py 和 build all.py 归一化后,用 Together 微调服务训练,再部署到 1x nvidia h100 80gb sxm 专用端点并通过 HTTP 接口调用。作者同时上线了 together/Tev1-4B-experimental,不想自行训练的用户可直接在 Together 无服务器平台使用。

    匹配字段摘要、正文

星期四

  1. NVIDIA Developer · Generative AI

    NVIDIA 教程:后训练 Cosmos 3 Edge 实现 Jetson Thor 端侧机器人控制

    NVIDIA 发布教程,介绍如何后训练 4B 的 Cosmos 3 Edge 全能模型,使其在 NVIDIA Jetson Thor 上原生运行机器人操作策略。在 Jetson AGX Thor T5000 上,该策略约 1.53 秒生成一个动作块,单个动作块覆盖约 2.13 秒机器人运动,因此无需数据中心 GPU 即可连续实时控制。在 RoboLab 闭环评测的 120 项语言条件操作任务中,后训练后的 Edge 策略成功率为 22.9%,Nano 为 36.8%。训练数据为 nvidia/Cosmos3-DROID 数据集,含 76k 条成功遥操作轨迹、约 350 小时、86 项任务和 564 个场景;后训练与部署脚本已在开源 cosmos-framework 仓库提供,检查点发布在 Hugging Face。

    匹配字段摘要、正文

星期二

  1. Hugging Face

    Sentence Transformers v6.0 支持多向量(Late Interaction)嵌入模型

    Hugging Face 发布教程,介绍 Sentence Transformers v6.0 新增的多向量(Late Interaction、ColBERT 风格)嵌入模型支持,通过 MultiVectorEncoder 加载 PyLate、Stanford-NLP ColBERT 与 ColPali 系列 checkpoint,并用 MaxSim 算子完成打分。文中给出编码、检索、重排、索引与评测的完整代码,并对比了索引开销:4,874 条 Natural Questions 段落产生 608,414 个 token 向量,约为 MiniLM 索引的 42 倍,压缩为 fast-plaid 索引后为 92 MB。同数据同骨干训练的 LateOn 与 DenseOn 在 13 个 NanoBEIR 数据集上平均相差约 1 个 NDCG 点,LateOn 在 9 个数据集上胜出。

    匹配字段摘要、正文

星期六

星期二

  1. 事件1 条新闻 · 1 个事实

    Together AI 发布 Jev 类分类器及微调教程

    2026年9月23日,Together AI 发布 together/Tev1-4B-experimental 分类器,并同步给出自建微调教程。据其官方博客介绍,教程基于 Qwen3.5 4B 微调一个类似 Jev 的分类模型,训练成本约 17 美元、耗时约 25 分钟。流程上,教程从 Hugging Face 的多个数据集采样 38,340 条样本,经 fetch_sources.py 和 build_all.py 归一化后,使用 Together 微调服务训练,再部署到 1x_nvidia_h100_80gb_sxm 专用端点并通过 HTTP 接口调用。对于不想自行训练的用户,可直接在 Together 无服务器平台使用已上线的 together/Tev1-4B-experimental。目前该事件尚无后续发展事实。

    2026年9月23日,Together AI 发布 together/Tev1-4B-experimental 分类器,并同步给出自建微调教程。据其官方博客介绍,教程基于 Qwen3.5 4B 微调一个类似 Jev 的分类模型,训练成本约 17 美元、耗时约 25 分钟。流程上,教程从 Hugging Face 的多个数据集采样 38,340 条样本,经 fetch sources.py 和 build all.py 归一化后,使用 Together 微调服务训练,再部署到 1x nvidia h100 80gb sxm 专用端点并通过 HTTP 接口调用。对于不想自行训练的用户,可直接在 Together 无服务器平台使用已上线的 together/Tev1-4B-experimental。目前该事件尚无后续发展事实。

    匹配字段摘要

星期日

  1. 事件1 条新闻 · 1 个事实

    开放权重LLM架构分析工作流

    2026年4月18日,Sebastian Raschka 分享了一套手工理解开放权重LLM架构的工作流:先阅读官方技术报告,再检查 Hugging Face Model Hub 上的配置文件与 Python transformers 参考实现,以补足论文中缺失的架构细节。由于 ChatGPT、Claude 和 Gemini 未公开权重及技术细节,这套方法不适用于这些模型。

    匹配字段摘要

  2. 事件1 条新闻 · 1 个事实

    vLLM接入Transformers后端

    2025年4月11日,vLLM集成Hugging Face Transformers建模后端,使兼容模型在沿用Transformers实现的同时获得vLLM的吞吐量和延迟优化。该后端已支持视觉语言模型,可通过model_impl="transformers"、OpenAI兼容API或LLM API部署。对于vLLM尚未原生支持的兼容模型,系统也可自动切换至Transformers实现。

    2025年4月11日,vLLM集成Hugging Face Transformers建模后端,使兼容模型在沿用Transformers实现的同时获得vLLM的吞吐量和延迟优化。该后端已支持视觉语言模型,可通过model impl="transformers"、OpenAI兼容API或LLM API部署。对于vLLM尚未原生支持的兼容模型,系统也可自动切换至Transformers实现。

    匹配字段摘要

星期五

星期四

  1. Baseten 工程博客

    Baseten 优化 Qwen3-ASR 批量转写,单卡吞吐提升 7 倍

    Baseten 工程团队通过原生音频解码、KV cache FP8 量化和减少主机与设备同步,把 Qwen3-ASR 1.7B 在单张 RTX PRO 6000 上的批量转写吞吐提升 7 倍、延迟降低 6.9 倍。优化后一小时音频的转写成本约为 0.0013 美元,即每音频小时 1/10 美分,词错误率没有明显变化。该优化版本已作为 Baseten Model Library 的默认部署,可通过 OpenAI 兼容的转写客户端调用。

    How Baseten gets 7x throughput on Qwen3-ASR batch transcription

    使用 Qwen3-ASR 实现最快、成本最低的批量转写 使用 Qwen3-ASR 转写一小时音频仅需十分之一美分,吞吐量提升 7 倍,延迟降低 6.9 倍,且对质量没有明显影响。 作者Hasan KhanAnsel Erol 发布于 2026 年 10 月 28 日 分享 发布于 2026 年 10 月 28 日简要总结 Qwen3-ASR 1.7B 位于 Hugging Face 的 开放 ASR 排行榜的帕累托前沿,但要高效地将其用于批量转写,还需要细致的优化。我们结合了原生音频解码、KV 缓存量化以及减少不必要的主机到设备同步,在单张 RTX PRO 6000 上以高并发实现了每秒转写音频量提升 7 倍。对于长达一小时的文件,我们可持续达到超过 3,000 倍的实时因子(RTF),每音频小时成本约为十分之一美分,且词错误率没有明显变化。 语音转文本可分为两种截然不同的工作负载。一方面,实时转写关注的是延迟:语音智能体需要在说话人开口后的几百毫秒内拿到文字。另一方面,批量转写关注的是吞吐量:播客网络、会议纪要产品和呼叫中心档案拥有数小时的录音,希望以尽可能低的成本完成转写。这意味着

    匹配字段正文

星期二

  1. Artificial Analysis 完整文章

    Artificial Analysis 发布 Intelligence Index v5,60% 评测改用私有数据集

    Artificial Analysis 发布 Intelligence Index v5,新增 FrontierCode 2.0 和 Terminal-Bench-Science 两项基准,升级 HLE-Diamond、AA-Omniscience v1.1 和 CritPt v2,60% 的评测基于私有测试集或留出答案。Claude Opus 5.5(max)以 58 分居首,GPT-6 Astra(max)57 分、GPT-6.1 Sol(max)55 分紧随其后,Gemini 4 Argon(high)50 分。开源权重模型与领先者的差距从 3 分扩大到 12 分,已发布权重的 DeepSeek V4.1 Flash 1017(max)和 GLM-5.3(max)均为 32 分;领先模型单任务成本相差超过 13 倍,GPT-6.1 Terra(max)为 $0.96,Claude Fable 5.1(max)为 $13.04。同时发布 Progress Index v1,将 2022 年 11 月以来发布的模型放在同一能力尺度上比较。

    -6 Astra(max)在推理题上均得 78%,而在知识题上分别为 58% 和 50%。 AA-Omniscience v1.1 是我们知识与幻觉基准的清理版本,移除了已饱和和公开集的题目,新增了题目,并修订了含糊或有误的题目。得分与 v1 基本一致,模型在 AA-Omniscience v1.1 Index 上平均低 2 分(中位数 0.6)。我们还在 Hugging Face 上发布了新的公开子集 AA-Omniscience-Public-v1.1,经过重新校准以确保公开集与私有集在准确率、幻觉率和整体表现上保持一致。 Index 在私有 40 题高难度子集上对 CritPt v2 评分:即 70 道研究级物理题,减去七个前沿模型在发布时五次尝试中全部解出的 30 道题。模型在我们智能体运行框架 Stirrup 中的离线 Python 沙箱内工作。 GPT-6 Astra 在高强度下以 72% 领先,其次是最高强度下的 GPT-6.1 Sol,为 69%。Claude Opus 5.5(max)是 Index 总榜第一的模型,得分为 61%。Kimi K3.1 Pro(权重尚未

    匹配字段正文

星期三

  1. NVIDIA Developer · Generative AI

    NVIDIA 详解如何用 Nemotron-Personas 数据集微调 Nemotron 3.5 Lightning

    NVIDIA 发布 Nemotron-Personas 法国和比利时数据集,并给出用其微调 Nemotron 3.5 Lightning 的完整后训练流程。流程包括定义行为契约、用 persona 生成合成对话、在 NVIDIA NeMo 上用 LoRA 微调、合并适配器,再与基座模型在冻结测试集上逐条对比评测。法国数据集与 Pleias 合作构建,比利时数据集由 Pleias 与 KU Leuven 参与,Nemotron 仓库提供数据生成、训练和评测的可复用步骤及 agent skills。

    Flowchart showing eight stages: define target behavior and a holdout set, sample personas, generate conversations, audit and split data, fine-tune with LoRA, merge the adapter, serve the adapted model, and evaluate it against the base model.

    tron 仓库提供数据生成、训练和评估的可复用步骤,以及帮助编码代理组装工作流的 agent skills。 Pleias 在其 Lamina 脊柱护理助手中应用法国和比利时 persona 数据集,以从有限的真实患者病例扩展覆盖范围,并在多样化患者画像上进行测试。 后续步骤 探索 Nemotron 仓库 以了解工作流步骤和 agent skills。 在 Hugging Face 上查看开放的 Nemotron 模型 和 数据集 。 使用 规模计算器 估算定制 Nemotron 模型所需的 GPU 需求、训练时间和成本。 由 NVIDIA Nemotron 提供支持。AI 生成的内容可能不完整地概括信息。请核实重要信息。 了解更多 随着 AI 在全球范围内的采用不断扩大,不同语言和文化背景的人们正在日常生活中更多方面使用它。通用语言模型是强大的基础,但它们有时缺乏特定应用所需的本地知识、文化细微差别和精确性。 后训练可以将 开放模型 适配到这些需求。借助合适的数据和评估,它可以提高准确性和实用性,同时支持与模型进行更安全的交互。这使各国和各行业能够更好地控制其代理如何反映当地优先事项

    匹配字段正文

星期六

  1. SemiAnalysis

    SemiAnalysis 实测 Trainium3 的 PyTorch 训练与 Neuron Explorer 剖析器

    SemiAnalysis 工程团队在 Trainium3 上实测了原生 PyTorch 训练栈 TorchNeuron 与 TorchTitan,用 Qwen3-32B 在 16 颗 Trainium2 上训练,eager 模式达 11,099 tokens/s、23.89% MFU,compiled 模式达 14,156 tokens/s、30.47% MFU。作者认为 Neuron Explorer 剖析器优于 Nvidia 和 AMD 的方案,但首次编译耗时过长,gpt-oss 训练配方首步编译用了 27 分 17 秒。FlexAttention 测试通过 96 个用例中的 89 个,7 个失败均因编译超时而非数值错误。

    要使用BF16,Trainium Torch在把BF16训练体验做好之前,不会在第0天支持TorchAO MXFP8。我们并不反对这一顺序,因为大多数进行MXFP8训练的人是大型一级实验室,他们有足够的内核工程师为大型训练任务编写自定义内核。Trainium Torch生态系统 PyTorch之所以流行,不仅因为核心PyTorch,还因为整个库生态系统,包括Hugging Face Transformers、PEFT、diffusers、TRL、Accelerate、TorchTitan等。我们惊讶地看到,Trainium Torch已经支持生态系统中大量此类库,包括Hugging Face Accelerate,其间接层数多得惊人。Trainium支持最受欢迎、最简洁的开源训练代码库之一TorchTitan,许多二级实验室将其分叉作为内部训练代码库的基础。Trainium的新PyTorch体验也完全支持这一点。 我们看到Google如何成功与Inferact/RadixArk合作,将TPU引入vLLM/SGLang生态系统,并且还让Meta成为TPU的生产客户。此外,通过将TPU引入

    匹配字段正文

星期五

  1. 邵猛

    Coding Agent 榜单升级 v2.0:Claude Opus 5.5 以 61.7 领跑

    Artificial Analysis 发布 Coding Agent Index v2.0,用 Cognition 的 FrontierCode v1.1 替换 DeepSWE,并收紧仓库问答评分,榜单评的是模型加 harness 组合。当前第一是 Claude Code + Claude Opus 5.5(max)61.7,其后为 Claude Code + Sonnet 5.5 的 59.3 和 Muse Code + Muse Wonder Full 的 58.9,首个 OpenAI 组合 Codex + GPT-6 Astra 为 54.7。同一批 21 个配置在新旧榜单上均值从 54.8 降至 47.4,20 个下降,主因是 FrontierCode 均值约 45.1%,远低于 DeepSWE 的 65.6%。

    –100%(看 non-blocking)。轨迹若被扫到去拉上游解(PR、merge commit、镜像等)→ 也记 0。 2. SWE-Atlas-QnA → SWE-Atlas-QnA-AA。 124 题不变;重写了 1,306 条 rubric 里的 127 条;裁判改为 GPT-6 Luna(xhigh),每条准则投 5 票;数据集与裁判配置已发到 Hugging Face。 关键结果 综合指数前四: · Claude Code + Opus 5.5(max)61.7 · Claude Code + Sonnet 5.5(max)59.3 · Muse Code + Muse Wonder Full(max)58.9 · Claude Code + Fable 5.1(max + fallback)57.6 前四相差仅约 4.1 分,其中三席是 Claude Code。首个 OpenAI 组合是 Codex + GPT-6 Astra,54.7。 FrontierCode 单项(Opus 拉开差距处): · Opus 5.5:56.0% · Codex + DeepSeek V

    匹配字段正文

星期一

  1. n8n Blog

    如何在 NVIDIA DGX Spark 上不调用云 API 运行 n8n AI 工作流

    n8n 博客发布教程,介绍如何在一台 NVIDIA DGX Spark 上本地部署完整模型栈,让 n8n 工作流在不调用云 API 的情况下完成转录、OCR、文档问答和图像生成。整套栈通过 LiteLLM 暴露一个 OpenAI 兼容端点,主模型为 Qwen3.6-35B-A3B 的 NVFP4 版本,单用户生成速度 120 tokens/s,八用户合计 359 tokens/s。作者实测发现图像生成会让对话速度降到约三分之一,建议小团队把图像任务排队或放到非工作时间。

    的许可证。撰写本文时最强的开源图像模型 Qwen-Image-2.1 以研究许可证发布。 有些仓库甚至在宽松许可证的原版旁边还有一个非商业版本,因此缓存错误的仓库 ID 会改变你的许可证。 这套栈遵循的规则: 只允许 Apache 2.0、MIT、CC-BY-4.0、OpenMDW 和 NVIDIA Open Model License。 将每个模型固定到 Hugging Face 的某个提交,这样上游的许可证变更就无法悄无声息地生效。 在文档中注明 CC-BY-4.0 模型的署名。 这不是法律建议。在销售或为客户部署之前,请找人审查每一个已固定的许可证。 需要注意的事项 新的检查点可能需要比你固定的版本更新的 vLLM,而错误信息不会说明这一点。请先检查镜像内的版本。 faster-whisper 没有适用于 arm64 的 CUDA 构建,因此基于它构建的工具会在不告知你的情况下在 CPU 上运行。 这套栈使用 vLLM 而不是入门套件中自带的 Ollama。Ollama 适合一个人在笔记本电脑上使用。对于团队来说,vLLM 会把来自许多用户的请求批处理到每次对权重的遍历中,多用户

    匹配字段正文

星期三

  1. MarkTechPost

    Laya 零样本决策与校准开发者指南:在 CLINC150 上实测路由与概率

    MarkTechPost 发布 Laya 开发者教程,用 CLINC150 银行域 15 个意图的 450 条测试查询实测这个 4.21 亿参数非自回归决策引擎。Laya 零样本路由准确率 0.804,改用不带描述的裸意图名后升到 0.878,而 TF-IDF 加逻辑回归需每个意图 10 到 30 条标注样本才能达到 0.848 和 0.904。作者还发现随包温度表中 11 个以上选项的条目为 0.10 会被钳制到 0.5,单次 fit_temperatures 会重置未见问题类型的温度,按选项数分桶拟合后测试集校准误差从 0.102 降到 0.059。

    from a pydantic schema. We install the released package, laya 0.3.27, and load the English checkpoint. Two choices here keep the run reproducible. By default laya.load follows the Hugging Face main branch, so we pin the revision the library’s own authors reviewed, which it exposes as laya.PINNED REVISIONS. And on CUDA Laya autocasts to half precision, so we switch that off to keep every device in fp32 and let a GPU run reproduce the CPU numbers shown here. Printing the checkpoint’s shipped tempe

    匹配字段正文