←搜索结果

搜索“端侧”

按匹配度 · 共 121 条结果 清除搜索

星期日

  1. 事件2 条新闻 · 2 个事实

    Liquid AI发布24B稀疏MoE模型并展示端侧Agen

    2026年2月24日,Liquid AI发布LFM2-24B-A2B早期检查点,这是其最大的LFM2模型,采用稀疏MoE架构,总参数24B、每token激活2.3B,设计上可放入32GB内存,权重已在Hugging Face开放。模型沿用LFM2-8B-A1B配方,层数从24增至40、每MoE块专家数从32增至64,保持top-4路由,前两层仍为稠密层。官方称在GPQA Diamond、MMLU-Pro、IFEval、IFBench、GSM8K和MATH-500等基准上,从350M到24B质量随规模呈对数线性提升;该模型已获llama.cpp、vLLM和SGLang首日支持,在单张H100 SXM5上用vLLM于1024并发请求下达到约26.8K tokens/s。3月5日,Liquid AI发布开源桌面智能体LocalCowork,完全在本地运行,模型、工具和数据都不离开设备,无需云端和API key。在Apple M4 Max、36GB统一内存笔记本上,模型以Q4_K_M GGUF经llama-server部署,占用约14.5GB内存,单次工具选择平均约385ms,在13个MCP服

    匹配字段标题

  2. 事件1 条新闻 · 1 个事实

    Liquid AI发布端侧推理模型LFM2.5-1.2B-T

    2026年1月20日,Liquid AI发布端侧推理模型LFM2.5-1.2B-Thinking,该模型完全在设备端运行,在手机上内存占用低于900 MB,并已在Hugging Face、LEAP和Playground上线。模型为1.2B参数,相比LFM2.5-1.2B-Instruct,在MATH-500上从63提升到88,Multi-IF从61提升到69,BFCLv3从49提升到57,并在多数推理基准上匹配或超过参数量多40%的Qwen3-1.7B。训练采用课程式RL与模型合并,通过偏好对齐和n-gram重复惩罚把doom loop比例从15.74%降到0.36%,并获Qualcomm、Ollama、FastFlowLM、Cactus Compute等新发布伙伴支持。

    匹配字段标题

  3. 事件1 条新闻 · 1 个事实

    Liquid AI与AMD展示端侧会议摘要模型

    2026年1月7日,Liquid AI与AMD在CES上展示端侧会议摘要模型LFM2-2.6B-Transcript,该模型完全在AMD Ryzen AI平台本地运行。据Liquid AI模型与工程博客介绍,模型可在2.7GB内存中处理10K token,约相当于60分钟会议记录,并在16秒内生成1K token摘要。基准测试中,该模型短文本表现超过gpt-oss-20b,接近Qwen3-30B和Claude Sonnet,长文本仍优于gpt-oss-20b。用户可通过Liquid AI Cookbook中的命令行工具直接体验,无需API key或云服务。

    匹配字段标题

  4. 事件1 条新闻 · 1 个事实

    Liquid AI发布LFM2.5端侧模型家族

    2026年1月5日,Liquid AI发布LFM2.5-1.2B模型家族,预训练规模从10T扩展至28T token,并扩大强化学习后训练流程。该家族包含Base、Instruct、日语、视觉语言和音频语言模型。其中LFM2.5-Audio-1.5B采用新的LFM音频解分词器,在移动CPU上比LFM2的Mimi解分词器快8倍,并以INT4量化感知训练。所有模型均为开放权重,已在Hugging Face和LEAP上线,并获llama.cpp、MLX、vLLM、ONNX首日支持,AMD与Nexa AI提供NPU优化版本。

    匹配字段标题

  5. 事件1 条新闻 · 1 个事实

    Liquid AI发布端侧MoE模型LFM2-8B-A1B早

    2025年10月7日,Liquid AI发布其首个端侧MoE模型LFM2-8B-A1B的早期检查点。该模型总参数8.3B,每token激活1.5B,质量接近3-4B稠密模型,速度超过Qwen3-1.7B。架构上共18个门控短卷积块和6个GQA块,除前两层外每层含MoE块,每块32个专家、每token激活top-4。基础版预训练约12T token,语料约55%英文、25%多语言、20%代码,MMLU-Pro比LFM2-2.6B提升11.46分。模型已上线Hugging Face,兼容llama.cpp、ExecuTorch和vLLM。

    匹配字段标题

  6. 事件1 条新闻 · 1 个事实

    Liquid AI发布Liquid Nanos端侧模型系列

    2025年9月25日,Liquid AI发布Liquid Nanos系列任务专用端侧基础模型,参数规模从350M到2.6B,占用内存100MB至2GB,可在手机、笔记本和嵌入式设备上本地运行。首批实验性模型包括LFM2-Extract、LFM2-350M-ENJP-MT、LFM2-1.2B-RAG、LFM2-1.2B-Tool、LFM2-350M-Math,以及社区开发的Luth-LFM2法语微调系列。官方称LFM2-1.2B-Extract在结构化抽取上优于参数量22.5倍的Gemma 3 27B,LFM2-350M-ENJP-MT的英日互译质量超过参数量10倍的通用模型。模型已在LEAP平台和Hugging Face上线,采用开放许可。

    匹配字段标题

  7. 事件1 条新闻 · 1 个事实

    Liquid AI推出LFM2-350M端侧函数调用方案

    2025年7月24日,Liquid AI 与 .txt 合作,介绍了一套面向边缘设备的函数调用方案:以 LFM2-350M 模型搭配 dotgrammar 语法约束库。据其介绍,LFM2-350M 无需量化即可占用不到 1 GB 内存,在常见边缘硬件上推理延迟低于 100ms;dotgrammar 通过上下文无关文法(CFG)保证输出语法始终合法,且不增加推理延迟。相比 JSON 格式,Pythonic 函数调用表示仅需 14 个 token,生成时间减少 2.6 倍。

    匹配字段标题

  8. 事件1 条新闻 · 1 个事实

    Liquid AI发布端侧AI开发平台LEAP

    2025年7月15日,Liquid AI发布面向端侧AI的开发者平台LEAP,以及用于在手机上体验小语言模型的iOS应用Liquid Apollo。据该发布介绍,LEAP提供Android和iOS跨平台Edge SDK,开发者用几行代码即可在移动应用中部署小语言模型,模型体积最小300MB,可在4GB及以上内存设备运行,并支持LFM2等模型。Liquid Apollo已原生支持全部LEAP模型,可在完全本地、保护隐私的界面中体验包括新一代LFM2在内的模型库。

    匹配字段标题

  9. 事件1 条新闻 · 1 个事实

    Liquid AI发布LFM2端侧基础模型系列

    2025年7月10日,Liquid AI发布LFM2系列端侧基础模型,开源0.35B、0.7B、1.2B三个稠密权重,可在Liquid Playground、Hugging Face和OpenRouter试用。官方称该系列采用乘法门控与短卷积的混合架构,共16个模块,CPU上decode与prefill速度最高为Qwen3的2倍,训练效率较上一代提升3倍。模型在10T token上预训练,以LFM1-7B做知识蒸馏,上下文长度扩展至32k,并支持CPU、GPU和NPU部署。

    匹配字段标题

  10. 事件1 条新闻 · 1 个事实

    Cartesia发布端侧智能产品

    2024年8月28日,Cartesia宣布端侧智能首个里程碑,发布开源库Edge、1.3B参数SSM语言模型Rene,以及支持低延迟实时流式生成的Sonic On-Device私有测试版。Rene采用Mamba-2混合架构,在多项基准上表现与同级SOTA小模型相当,Edge已支持Apple MLX和量化推理。

    匹配字段标题

星期四

星期三

  2. 事件1 条新闻 · 1 个事实

    Zyphra发布2.7B端侧小模型Zamba2-small

    2024年7月28日,Zyphra发布面向端侧应用的2.7B小语言模型Zamba2-small,权重以Apache 2.0开源。据Zyphra Research介绍,该模型将Zamba-7B的Mamba1块替换为Mamba2块,并采用两个ABAB交错共享注意力块,对每个共享MLP块应用LoRA projector。相比Phi3-3.8B,其首token时间快2倍、内存开销降低27%、生成延迟低1.29倍,并保持3-4B稠密Transformer的质量而只需1-2B的推理算力与内存。目前该故事尚无后续发展事实。

    匹配字段标题

星期六

星期二

星期三

星期一

星期二

星期四

星期四