←搜索结果

搜索“端侧”

按匹配度 · 共 351 条结果 清除搜索

星期二

星期日

  1. 事件1 条新闻 · 1 个事实

    llama.cpp 支持端侧运行决策模型

    2026年10月2日,有报道称 Decision 模型现可在 llama.cpp 中端侧运行。相关消息由 A6 a6-025 · Clément Delangue 发布,并给出运行命令 llama serve -hf ggml-org/Kev-4B-GGUF,同时强调免费、快速、私密。目前该故事尚无后续发展事实,状态停留在这一初始进展。

    匹配字段标题

  2. 事件1 条新闻 · 1 个事实

    MiniCPM5-2B支持16GB Mac端侧工具调用

    面壁智能的MiniCPM5-2B模型支持在16GB Mac上本地运行,并能处理网页搜索这类工具调用。相关演示于2026年9月28日发布,来源为面壁智能OpenBMB。目前没有后续发展事实,该模型在端侧实现工具调用的能力是当前已知的核心信息。

    匹配字段标题

  3. 事件1 条新闻 · 1 个事实

    TensorRT端侧基准提速6.4倍

    2026年9月16日,NVIDIA TensorRT Edge-LLM 在单台 Jetson AGX Thor 开发者套件上完成 MLPerf Inference v6.1 Edge Agentic 基准测试。该测试运行 Qwen3.6-27B,达到 52.33 tokens/秒,用 24 分 36 秒完成全部 1,007 轮性能负载,比 llama.cpp 参考实现的 2 小时 37 分钟快 6.4 倍。据 NVIDIA 开发者博客介绍,这一结果依托 NVFP4 权重与激活量化、FP8 KV cache、基于树的多 token 预测以及跨智能体轮次的 KV cache 复用,其中约 96% 的提示词 token 由热缓存提供。相关代码位于 TensorRT Edge-LLM release/0.9.1-mlpinf 分支。目前尚无后续发展事实。

    匹配字段标题

  4. 事件1 条新闻 · 1 个事实

    英伟达推进Cosmos 3 Edge端侧机器人控制

    2026年8月20日,英伟达发布Cosmos 3 Edge机器人控制后训练与端侧部署教程,展示如何后训练这款40亿参数模型,并让机器人操控策略直接运行于Jetson Thor。其动作策略在Jetson AGX Thor T5000上约用1.53秒生成可覆盖约2.13秒运动的动作块,在RoboLab的120项闭环任务中取得22.9%的成功率。相关训练与部署脚本已通过开源cosmos-framework提供。

    匹配字段标题

  5. 事件1 条新闻 · 1 个事实

    Liquid AI发布端侧视觉语言模型LFM2.5-VL-3

    2026年8月12日,Liquid AI 发布面向端侧的视觉语言模型 LFM2.5-VL-3B,并已在 Hugging Face 和官方 Playground 上线。相比上一代 LFM2-VL-3B,新模型在屏幕与 UI 理解、函数调用、grounding 和多图输入四方面有所提升:ScreenSpot-v2 平均 80.7,ToolSandbox 从 26.4 升至 59.5,RefCOCO precision@1 从 57.1 升至 87.9。该模型为非推理模型,直接作答以降低延迟,在 Apple M5 Max 上解码 228 tokens/s、Galaxy S26 Ultra 上 20 tokens/s,占用约 3 GB 内存,并支持 llama.cpp、MLX、vLLM、SGLang 和 ONNX。

    匹配字段标题

  6. 事件1 条新闻 · 1 个事实

    Liquid AI发布端侧Agent模型LFM2.5-2.6

    2026年8月4日,Liquid AI 发布端侧智能体模型 LFM2.5-2.6B,基础版与后训练版已在 Hugging Face 上线。该模型为 2.6B 参数,预训练约 34T tokens,词表扩展至 128K,并包含 128K 上下文扩展阶段;后训练经 SFT、教师专精、MOPD 蒸馏与 Agentic RL 四阶段。推理方面,在 M5 Max 上解码 220 tokens/s,Ryzen AI Max+ 395 上 113 tokens/s,占用低于 2.5 GB,手机端保持 30 tokens/s,并首日支持 llama.cpp、MLX、vLLM、SGLang 和 ONNX。

    匹配字段标题

  7. 事件1 条新闻 · 1 个事实

    Liquid AI发布端侧MoE模型LFM2.5-8B-A1

    2026年5月28日,Liquid AI发布端侧混合专家(MoE)模型LFM2.5-8B-A1B,面向消费级硬件上的工具调用场景。据其模型与工程博客介绍,该模型上下文窗口从32,768扩展至128,000 tokens,预训练规模从12T提升至38T tokens,词表从65,536扩至128,000,且为纯推理模型。性能方面,其在M5 Max上解码253 tokens/s,在Ryzen AI Max+ 395上为146 tokens/s,占用低于6 GB,单张H100高并发下输出吞吐达18.5K tokens/s。基础版与后训练版已在Hugging Face和Playground上线,首日支持llama.cpp、MLX、vLLM、SGLang和ONNX。

    匹配字段标题

  8. 事件2 条新闻 · 2 个事实

    Liquid AI发布24B稀疏MoE模型并展示端侧Agen

    2026年2月24日,Liquid AI发布LFM2-24B-A2B早期检查点,这是其最大的LFM2模型,采用稀疏MoE架构,总参数24B、每token激活2.3B,设计上可放入32GB内存,权重已在Hugging Face开放。模型沿用LFM2-8B-A1B配方,层数从24增至40、每MoE块专家数从32增至64,保持top-4路由,前两层仍为稠密层。官方称在GPQA Diamond、MMLU-Pro、IFEval、IFBench、GSM8K和MATH-500等基准上,从350M到24B质量随规模呈对数线性提升;该模型已获llama.cpp、vLLM和SGLang首日支持,在单张H100 SXM5上用vLLM于1024并发请求下达到约26.8K tokens/s。3月5日,Liquid AI发布开源桌面智能体LocalCowork,完全在本地运行,模型、工具和数据都不离开设备,无需云端和API key。在Apple M4 Max、36GB统一内存笔记本上,模型以Q4_K_M GGUF经llama-server部署,占用约14.5GB内存,单次工具选择平均约385ms,在13个MCP服

    匹配字段标题

  9. 事件1 条新闻 · 1 个事实

    Liquid AI发布端侧推理模型LFM2.5-1.2B-T

    2026年1月20日,Liquid AI发布端侧推理模型LFM2.5-1.2B-Thinking,该模型完全在设备端运行,在手机上内存占用低于900 MB,并已在Hugging Face、LEAP和Playground上线。模型为1.2B参数,相比LFM2.5-1.2B-Instruct,在MATH-500上从63提升到88,Multi-IF从61提升到69,BFCLv3从49提升到57,并在多数推理基准上匹配或超过参数量多40%的Qwen3-1.7B。训练采用课程式RL与模型合并,通过偏好对齐和n-gram重复惩罚把doom loop比例从15.74%降到0.36%,并获Qualcomm、Ollama、FastFlowLM、Cactus Compute等新发布伙伴支持。

    匹配字段标题

星期二

星期一

星期三

星期二

星期三

  1. 事件1 条新闻 · 1 个事实

    LG AI Research与LG U+将EXAONE集成到ixi-O端侧服务

    2026年7月27日,LG AI Research与LG U+将EXAONE集成到LG U+的AI助手ixi-O端侧服务。据LG AI Research官方博客同日发布的信息,双方把EXAONE 4.0 1.2B轻量模型部署到ixi-O端侧,将原本运行在云端大语言模型上的AI通话分析迁移到设备本地,并使AI代接电话从固定话术升级为理解来电意图的对话式应答。该模型支持最长65K上下文,可处理STT通话脚本,并支持韩语、英语、西班牙语等多语言输入。目前尚无进一步有证据支持的发展。

    匹配字段标题

星期一

星期四

星期四

星期六