←搜索结果

搜索“推理”

按匹配度 · 共 199 条结果 清除搜索

星期六

  1. Ahead of AI精选

    从 GPT-2 到 gpt-oss：解析 OpenAI 开放权重模型的架构演进

    文章解析 OpenAI 的 gpt-oss-20b 和 gpt-oss-120b，并将其架构与 GPT-2、Qwen3 对比。两款模型采用 MoE、GQA、滑动窗口注意力、RMSNorm 和 MXFP4，其中 20B 模型可装入 16 GB 显存，120B 模型可在单张 80 GB H100 上运行。作者还讨论了宽度与深度、专家规模、推理强度控制及模型幻觉等问题。

    匹配字段摘要

    #newsletter#教程/实践#推理#部署/工程

星期日

  1. 事件1 条新闻 · 1 个事实

    Dongxi 东锡 NLP 推荐 Raschka 推理模型课程

    2026年10月25日,Dongxi 东锡 NLP 推荐 Sebastian Raschka 的《Building Reasoning Models from the Ground Up》,称其为地球上唯三最好的构建推理模型课程。被引帖中,Raschka 表示完整的从零构建推理模型视频系列已上线并附上链接,他本人将短暂休息,11 月回归更新 LLM 模型与研究动态。此前在10月24日,Raschka 已发布该配套视频课,共八讲、11 小时,从预训练的 Qwen3 0.6B 出发,用 Python/PyTorch 实现数学答案验证器、推理时扩展、简化 GRPO 版 RLVR 和蒸馏,并在 MATH-500 上评估;早期生成与评测可在 CPU 上完成,后续训练建议使用 GPU。目前课程已开放,东锡的推荐帖构成最新公开动态。

    匹配字段标题

星期六

  1. 事实所属事件

    Raschka分享八段推理模型从零实现视频课程

    2026年10月25日,Dongxi 东锡 NLP 推荐 Sebastian Raschka 的《Building Reasoning Models from the Ground Up》,称其为地球上唯三最好的构建推理模型课程。被引帖中,Raschka 表示完整的从零构建推理模型视频系列已上线并附上链接,他本人将短暂休息,11 月回归更新 LLM 模型与研究动态。此前在10月24日,Raschka 已发布该配套视频课,共八讲、11 小时,从预训练的 Qwen3 0.6B 出发,用 Python/PyTorch 实现数学答案验证器、推理时扩展、简化 GRPO 版 RLVR 和蒸馏,并在 MATH-500 上评估;早期生成与评测可在 CPU 上完成,后续训练建议使用 GPU。目前课程已开放,东锡的推荐帖构成最新公开动态。

    匹配字段标题

    查看事件：Dongxi 东锡 NLP 推荐 Raschka 推理模型课程

星期五

  1. 事件1 条新闻 · 1 个事实

    Apple 发布 MLX 新版本支持 Mac Studio 本地与分布式大模型推理

    2026年10月16日,Apple Machine Learning Research 发布最新版本 MLX,支持在 Mac Studio 上本地及分布式推理大语言模型。据其介绍,该版本借助 macOS 26.2 的 RDMA over Thunderbolt 5 驱动和 MLX v0.30.1 起的 jaccl 通信集合实现多机分布式推理;在四台 M5 Ultra Mac Studio 上,816B 参数的 Muse Spark Open 以 NVFP4 精度生成速度超过 36 tokens/s;单机上 M5 Ultra 相比 M3 Ultra 的 TTFT 最高快 4.6 倍,生成速度提升 1.6 倍。文中还给出 mlx_lm.benchmark、mlx.launch 和 mlx_lm.server 的命令示例,并说明可用 OpenCode 等工具接入本地 LLM 服务。同日另有报道称,Apple 与 Meta 合作使 Muse Spark Open 可在两台或四台 Mac Studio 上本地运行并完成智能体任务,并提到 M5 Ultra 集成 GPU 每台可用最多 512 GB

    匹配字段标题

星期六

星期日

  1. 事件2 条新闻 · 1 个事实

    Baseten用智能体优化推理引擎

    Baseten 工程博客作者基于 MetaInfer 技能框架,让 Claude Code 自主构建并优化推理引擎。在单张 B200 上,其为 Qwen-3.6-35B-A3B(NVFP4)构建的 VibeQwen 单流解码速度最高比 vLLM 0.25.1 快 90%,TTFT 快 2.33 倍,并发 32 时单副本吞吐高出 71%;整个项目约一周,消耗约 17 亿 token 和 200 B200 小时,成本在数千美元量级。作者随后用同一知识库为图像分割模型 SAM 3.1 构建推理服务 Sammie,在单张 H100 上达到 91 张图/秒,比 Facebook 参考服务吞吐提升 50%,耗时数天、约 2 亿 token。目前尚无后续发展。

    匹配字段标题

  2. 事件1 条新闻 · 1 个事实

    多档推理强度模型开发方法

    2026年7月18日,Sebastian Raschka讲解了具备多种推理强度模式的大语言模型开发方法。这类模型通过调节推理力度,在回答质量、token消耗、成本和延迟之间权衡,通常结合混合SFT数据、按模式调整的强化学习奖励、长度惩罚、独立专家模型或硬性token预算。DeepSeek V4、Nemotron 3 Ultra、Kimi K3、GLM-5、Qwen3和Inkling采用了不同组合。文章还指出,模型规模与推理力度是两套独立控制方式,较小模型提高推理力度有时可取得与较大模型降低推理力度相近的基准成绩。

    匹配字段标题

  3. 事件1 条新闻 · 1 个事实

    分享语音推理扩容方法

    ElevenLabs 研究工程师 Angelos Perivolaropoulos 于 2026 年 6 月 30 日分享并测试了通过标准工程优化提升单 GPU 语音推理吞吐的方法。主要手段包括连续批处理、FP8 量化、多 token 预测和经蒸馏适配的 FP8 KV cache。其中,KV cache 缩小 2.5 倍后,吞吐量从 28 名用户增至 70 名;架构级改造则可达到约 140 名用户。各项技术会引入延迟、内存上限或质量损失,实际选择取决于具体工作负载。

    匹配字段标题

  7. 事件1 条新闻 · 1 个事实

    推理时扩展方法分类与实验进展

    2026年1月24日,Sebastian Raschka 梳理了用于提升大语言模型答案质量与准确性的推理时扩展方法,重点关注无需改变模型权重的训练后技术。他将相关方法归纳为思维链提示、自洽性、Best-of-N 排序、验证器拒绝采样、自我改进及解题路径搜索等类别。材料显示,相关实验经过超参数调优并运行数千次后,基础模型准确率由约15%提升至约52%。

    匹配字段标题

星期三

  2. 事件1 条新闻 · 1 个事实

    Modal 分享为编码智能体优化 Kimi K2.6 推理性能

    2026年9月23日,Modal 通过官方工程博客分享其为编码智能体服务 Kimi K2.6 推理的性能优化方法。据该博客,Modal 以 Moonshot AI 的 Kimi K2.6 为例复盘推理服务优化过程,称单副本每用户性能提升 2.8 倍、副本整体提升 5.6 倍。其做法包括用 NVFP4 微缩放格式在 B200 上部署约一万亿参数的模型,基于 SGLang 打补丁并回馈上游,采用 DFlash 投机解码、KV cache 量化与 HiCache 扩展缓存,再配合负载感知的有状态路由,把服务扩展到每天处理数千亿 token。相关代码与配置已作为 Modal Auto Endpoints 的开源后端发布。目前尚无后续发展事实。

    匹配字段标题

星期三

星期六

星期五

星期二

星期一