←端侧
← 全部主题

端侧

与“端侧”标签匹配的公开内容。

公开阅读组
103
近 30 天
41
目录状态
兼容主题

最新Unsloth 发布 1-bit GGUF，Mistral Le Chonk 可在 Mac Studio 本地运行

最新阅读组

同一事实的重复报道已合并

  1. Unsloth一手产品发布
    AI 评分81

    Unsloth 发布 1-bit GGUF，Mistral Le Chonk 可在 Mac Studio 本地运行

    Unsloth 发布 Mistral Le Chonk 的 1-bit GGUF 量化版本，使这个 1 万亿参数模型可以在 Mac Studio 上本地运行，并称量化后仍保留 91% top-1 准确率。Unsloth 同时提供了 GGUF 下载链接和使用指南，并称 Le Chonk 是目前最强的西方开源模型。

    推荐理由Unsloth 给出 1-bit GGUF 量化后仍保留 91% top-1 准确率，读者可据此判断万亿参数模型在本地设备上的可行边界。

  1. Hugging Face一手模型发布
    AI 评分83

    Liquid AI 发布 LFM3 系列模型，含 1.7B 文本、视觉、音频与 Omni 版本

    Liquid AI 发布 LFM3 系列开放权重模型，全部从 LFM3-1.7B-Base 分支而来，覆盖文本、视觉、音频、Omni 以及 d1 决策模型。LFM3-1.7B-Base 采用三混合层结构，预训练 22T token，最后 3.5T token 的中训练阶段加入更多智能体轨迹与工具调用数据，上下文窗口扩展到 256K token。官方称 LFM3-1.7B 在 8K 上下文下比 LFM2-1.2B 快约 25%，WebArena-Verified 得分 38.42 对 3.02；LFM3-VL-2B 在 62 项视觉基准上平均分从 57.6 升至 71.4。所有模型已在 Hugging Face 开放下载，并提供单卡微调 notebook。

    推荐理由原文给出六个模型共享同一骨干的架构改动与端侧实测数据，可据此判断小模型专用化路线在长上下文和智能体任务上的取舍。

  2. Google Blog一手产品发布
    AI 评分68

    Google 与 XREAL 发布首款 Android XR 有线眼镜 XREAL AURA

    Google 与 XREAL 发布 XREAL AURA，这是首款搭载 Android XR 的有线 XR 眼镜，今日起在美国、加拿大和韩国开放订购，11 月 2 日在日本开售，起售价 1099 美元。眼镜重不到 95 克，采用透明镜片和 70 度视场，把应用投射到视野中，重计算由连接线缆的便携计算 puck 承担，该 puck 搭载首次亮相的 Qualcomm Snapdragon Reality Elite 平台。用户可同时打开多个应用并搭配蓝牙键鼠，或通过 USB-C 有线镜像把笔记本屏幕作为窗口接入，Gemini 可针对视野中的内容和屏幕给出帮助。

    XREAL AURA

    推荐理由原文交代了透明镜片、70 度视场与分体计算 puck 的组合，读者可据此判断有线 XR 眼镜的日常使用边界。

  1. Unsloth一手产品发布
    AI 评分62

    Unsloth 让 MiniMax-M3.1-Flash 可在本地运行

    Unsloth 发布了 MiniMax-M3.1-Flash 的 2-bit GGUF 量化版本，在体积缩小 45% 的情况下保留 91.5% 的 top 1 准确率，可在 150GB 内存上运行。Unsloth 称该模型是同尺寸开源模型中最强的，并提供了 GGUF 下载链接和使用指南。MiniMax 官方此前介绍 M3.1 Flash 在 Automation-Bench 上达 62%、DeepSWE 上达 74%、BabyVision 上达 91%，API 定价为每 1M 输入/输出 token 0.15/0.60 美元。

    推荐理由原文给出了量化压缩后的精度保留比例和内存门槛，读者可据此判断本地部署的可行性。

  2. 量子位模型发布
    AI 评分79

    岩山科技联合港科大、CMU开源EdgeRock-4B，KV Cache减少99.1%

    岩山科技旗下岩芯矩阵联合港科大、CMU等高校发布并开源EdgeRock-4B，在256K上下文下KV Cache固定为72MiB，相比源模型Qwen3.5-4B减少99.1%。单张80GB GPU可同时跑512路长推理，输出吞吐12124 tokens/s，是源模型的6.42倍；AIME 2024—2026平均一次通过率82.9%。模型基于Qwen3.5-4B分阶段转换而来，无需从头预训练，权重和推理代码已开源并可商用，支持文本和图像推理。

    推荐理由原文给出固定内存与吞吐的实测对比，读者可据此判断长推理场景下显存成本的变化。

  1. Unite.AI模型发布
    AI 评分78

    Block 发布全双工语音模型 Dessa，仅用人类对话数据从零训练

    Block 内部 AI 研究实验室于 10 月 23 日发布全双工语音到语音模型 Dessa，称其完全基于人类对话语音从零训练，可同时听和说，并能原生感知情绪、讽刺和笑声。该模型推理速度快于实时，可在 MacBook Pro M4 Max 或更高配置上本地运行，团队用单台 NVIDIA GB200 NVL72 完成训练。Block 已公开演示录音和公开等待名单，并向少量 AI 安全研究者开放早期访问。

    推荐理由Dessa 只用语音数据从零训练，展示了全双工对话在情绪与插话时机上的处理方式，也给出了本地运行条件。

  2. Unsloth一手模型发布
    AI 评分72

    NVIDIA 发布 Nemotron-3.5-Bolt-E4B，可在 6GB 内存本地运行

    NVIDIA 发布 Nemotron-3.5-Bolt-E4B，可在 6GB 内存的设备上本地运行，面向手机等端侧设备。该模型基于 Gemma 4 训练，支持视觉，Unsloth 同时给出了 GGUF 文件和指南链接。NVIDIA 称其面向本地助手、交互角色和机器人等可对话并调用工具的场景。

    推荐理由原文给出了模型在 6GB 内存本地运行的定位和视觉能力，读者可据此判断小模型在端侧助手场景的可用边界。

  1. 36氪 · AI模型发布
    AI 评分80

    Recursive 开源 40B MoE 编程模型 Flint，MacBook Pro 可跑

    田渊栋创立的 Recursive 开源首个模型 Flint，主打本地 Agent 编程，总参数 400 亿、每 token 激活 25 亿，支持 512k token 上下文窗口。官方称搭配自研推理引擎 rec，Flint 在 MacBook Pro 上可达至少 125 tokens/s，RTX Spark 上超过 150 tokens/s，相比 llama.cpp 吞吐提升约 1.4～2.6 倍。Flint 在 SWE-bench Verified 得分 74.2%，SWE-bench Pro v2 为 89.7%，Terminal-Bench 2.1 为 54.9%；rec 目前支持 M4 Pro、M5 Pro 和 M5 Max，要求至少 48GB 统一内存和约 30GB 空闲磁盘空间。

    推荐理由田渊栋创业公司 Recursive 开源首个模型，读者可据此了解本地 Agent 编程模型在速度与编码基准上的取舍。

  2. Unsloth一手产品发布
    AI 评分63

    Unsloth 发布 Flint 的 Dynamic GGUF 量化版，可在 24GB 内存本地运行

    Unsloth 发布 Flint 的 Dynamic GGUF 量化版本，可在 24GB 内存设备上本地运行，并附有运行指南。Flint 是 Recursive 的 Apache-2.0 模型，39.8B 参数、2.5B 激活，Unsloth 称其为 50B 参数以下最强的 MoE 模型，在 Mac 上可达 125 t/s、在 RTX Spark 上可达 150 t/s。Recursive 联合创始人 Richard Socher 此前介绍，该模型由自动化研究系统 Eureka Machine 在不到 4 个月内从零构建，权重已在 Hugging Face 开放。

    推荐理由Unsloth 给出 Flint 的 GGUF 量化版本与本地运行指南，读者可据此在 24GB 内存设备上实际部署这个 39.8B 参数的 MoE 模型。

  1. Google Blog一手产品发布
    AI 评分60

    Google 将 Gemini 与 Personal Intelligence 推向全球车载场景

    Google 宣布 Gemini 已在全球 Android Auto 和内置 Google 的汽车上线，并开始推送 Personal Intelligence，可在授权后连接 Workspace（含 Gmail、Google Calendar）、Google Photos、Google Maps、YouTube 和 Search，回答航班登机口、沿途餐厅、照片中的地点等问题。Personal Intelligence 今日起在 Android Auto 推送，内置 Google 的汽车将在未来数月跟进，目前面向 18 岁以上符合条件的个人 Google 账号，不含 Workspace 商业、企业或教育用户，并排除欧洲经济区、瑞士、英国和尼日利亚。

    Center of image is a photo of a 1st-person point of view of driving a car. On the circumference of the circle are the Gemini logo and various prompts. The bottom of the image has the text "Personal Intelligence hits the road".

    推荐理由原文说明了 Personal Intelligence 如何跨 Gmail、相册和地图取信息，读者可据此判断车载助手的实际用法与隐私边界。

  2. Perplexity产品发布
    AI 评分72

    Perplexity Computer 支持在 Mac 上完全本地运行

    Perplexity Computer 现在可以在 Mac 上完全本地运行，模型和智能体都在本机执行，任务处理无需把敏感数据发送到云端。该功能可直接操作 Mac 原生应用和本地文件，已在 Perplexity Mac 应用中上线。

    推荐理由Perplexity Computer 把模型和智能体都放到 Mac 本地运行，读者可据此判断敏感数据不出本机的工作方式。

  1. 面壁智能 OpenBMB产品发布
    AI 评分65

    面壁 MiniCPM-V 4.7 在 iPhone 上实现 20.51 tokens/sec

    面壁智能的 MiniCPM-V 4.7 在 iPhone 18 Pro Max（12GB）上实现 20.51 tokens/sec 的平均解码速度，相比同一设备未优化的 SSD 专家加载基线提速 6.07 倍。该速度来自 Lookahead Expert Scheduling（LES）、优化的专家加载、细粒度量化和 DSpark 投机解码。模型已在 GitHub 和 Hugging Face 开放。

    推荐理由面壁智能给出 35B 多模态模型在 iPhone 上的实测解码速度与加速手段，可据此判断端侧大模型的落地进度。

  2. Hugging Face一手产品发布
    AI 评分62

    PyTorch 2.15 为 MPS 带来 FP8 与 MoE 解码提速

    PyTorch 2.15 在 MPS 后端加入 FP8 支持，并让 MoE 模型解码速度比 2.14 快 5–6.5 倍：在 M3 Ultra 上配合 torch.compile，Qwen3.6-35B-A3B 从 9.4 tokens/s 提升到 61.3 tokens/s，LFM2.5-8B-A1B 从 23.6 提升到 123.6 tokens/s。Wan2.2 的 tiled VAE 视频解码峰值驱动内存从约 270 GiB 降到 8 GiB，Qwen-Image-2.1 的 VAE 编码在 MPS 上的图像损坏问题也随 padding 改动修复，编解码往返 PSNR 从 10.06 dB 升到 29.95 dB。该版本要求 macOS 15 或更高版本、Python 3.11 或更高版本。

    推荐理由原文给出 MoE 解码提速与视频 VAE 显存下降的具体数字，可据此判断 Mac 本地跑模型的实际变化。

  3. AI at Meta一手研究
    AI 评分71

    Meta 发布 Muse Glimmer 技术报告，30B 开源权重模型面向消费级硬件智能体任务

    Meta 发布 Muse Glimmer 技术报告，这是一个 30B 开源权重模型，面向消费级硬件上的智能体任务。该模型在 4-bit 精度下可在 Mac 或 PC 的单张消费级 GPU 上以实用速度运行，在工具使用和多步规划上领先同规模开源模型。报告涵盖模型架构、蒸馏配方和量化等内容。

    推荐理由Meta 公开了 30B 开源权重模型的技术报告，涵盖架构、蒸馏配方与量化，可供关注端侧智能体部署的读者参考。

  4. Unsloth一手产品发布
    AI 评分79

    Unsloth 让 DeepSeek V4.1-Flash-1017 可在本地运行

    Unsloth 宣布 DeepSeek V4.1-Flash-1017 现已支持本地运行，其 1-bit 量化版本保留约 88.2% 的准确率，体积从 508GB 缩小到 250GB，减少 52%。该版本需要 128GB 以上内存的设备，Unsloth 同时提供了使用指南和 GGUF 文件。DeepSeek 此前表示 V4.1-Flash-1017 在基准表现、任务完成速度和输出长度上较上一版本均有改进。

    推荐理由Unsloth 给出了 1-bit 量化后的精度保留比例和体积变化，读者可据此判断本地部署门槛。

  1. Unsloth一手产品发布
    AI 评分67

    Unsloth 适配 NVIDIA RTX Spark，可在笔记本本地运行和训练 120B+ 参数模型

    Unsloth 宣布适配 NVIDIA RTX Spark，可在笔记本上本地运行和训练 120B+ 参数模型。借助针对 ARM 平台 CUDA 优化的 kernel 和二进制文件，训练扩散模型、决策模型和多模态模型的速度提升约 2.7 倍，全部在本地完成，统一内存最高 128GB。

    推荐理由Unsloth 与 NVIDIA RTX Spark 的适配给出了本地训练大模型的显存上限和加速幅度，可据此判断笔记本端侧训练的实际边界。

  1. NVIDIA：Newsroom一手产品发布
    AI 评分78

    NVIDIA RTX Spark 笔记本今日开售，最高 1 petaflop AI 算力与 128GB 统一内存

    NVIDIA 宣布 RTX Spark 笔记本今日全球开售，由 ASUS、Dell、HP、Lenovo、Microsoft 和 MSI 推出，起售价 2,599 美元。该设备采用 Blackwell RTX GPU 与 Grace CPU 组成的超级芯片，提供最高 128GB 统一内存和 1 petaflop FP4 AI 性能，可在本地运行大语言模型和 AI 智能体。首发机型包括 ASUS ProArt P14/P16、Dell XPS 16、HP OmniBook Ultra、Lenovo Yoga Pro 9n、Microsoft Surface Laptop Ultra 和 MSI Prestige N16 系列。

    推荐理由RTX Spark 把 128GB 统一内存和 1 petaflop FP4 算力放进轻薄本，读者可据此判断本地跑大模型与智能体的硬件门槛变化。

  2. 腾讯混元一手模型发布
    AI 评分64

    腾讯混元开源 Hy Memory 2.0 记忆模型、框架与 MemHub

    腾讯混元发布 Hy Memory 2.0，开源记忆模型、框架和 MemHub，定位为个人私有记忆管家。框架可处理聊天、工作和代码记忆，官方称其在 4 项基准上位列开源第一，Hy-Memory-30B-A3B 在主要框架上超过 Opus 5。MemHub 提供 CLI 和 Mac 版本，可在 10 多个 AI 工具间同步。

    推荐理由腾讯混元开源 Hy Memory 2.0 的记忆模型与框架，读者可据此了解智能体记忆层的开源方案与基准表现。

  3. The Decoder模型发布
    AI 评分76

    Black Forest Labs 发布开源权重图像模型 FLUX 3 Image Klein

    Black Forest Labs 发布 FLUX 3 Image Klein，这是一个 5.6B 参数的开源权重模型，支持文生图、图像编辑以及最多十张参考图生成，原生支持 4K 输出和像素级编辑。官方称其内部测试 Elo 评分在所有开源模型中最高，超过 Ideogram V4.5 和自家 FLUX.2 [pro]，比 9B 的 FLUX.2 [klein] 提升 91 Elo 且参数少 38%。INT8 版本可在仅 8 GB 显存的 NVIDIA GPU 上运行，RTX 4070 上生成一张图不到 9 秒；权重采用 FLUX Kommunity License，年营收低于 500 万美元的公司可免费商用，同时通过 BFL API、Playground、Hugging Face Spaces 以及 ComfyUI 和 Diffusers 本地使用。

    推荐理由原文给出参数量、显存门槛和授权条款，读者可据此判断本地部署与商用成本。

  4. NVIDIA：Newsroom一手模型发布
    AI 评分77

    NVIDIA 扩展 Nemotron 家族，发布 120B 的 Super VL 与两款端侧 Bolt 模型

    NVIDIA 发布 Nemotron 3.5 Super VL，这是一个 120B 参数的开放模型，面向常驻智能体任务，官方称其在同类开放模型中吞吐最高，比次优模型快 5 倍，准确率接近 NVIDIA 最大推理模型而参数量约为其五分之一。同时推出两款端侧模型 Nemotron 3.5 Bolt 74B-A9B 24GB 和 Bolt E4B 4GB，前者用原生 2-bit 量化塞进 24GB 显存，可在 RTX/DGX Spark 本地运行智能体任务，后者面向 GeForce RTX、Jetson 上的语音与对话智能体。Super VL 与 Bolt 74B-A9B 已上线 Hugging Face，Bolt E4B 将于 10 月 23 日发布；Super VL 还提供开放权重、开放数据集和训练配方，支持企业用自有数据后训练。

    推荐理由NVIDIA 一次放出三款覆盖数据中心到桌面的开放模型，并给出吞吐与部署细节，可据此判断企业智能体的选型空间。