AI News

Edge0 开源 145B 端侧模型 Edge0-145B 与 120B 版本

Hacker News 热门更新于 11月13日 09:57

Edge0-145B: Open-Source On-Device AI with 145B Parameters - edge0

AI 导读

Edge0 开源 Edge0-145B 和 Edge0-120B 两个端侧模型,并同时发布统一推理框架与部署工具。官方称 145B 版本在兼容笔记本上峰值内存 29GB、解码速度 80+ tokens/s、预填充 1100+ tokens/s,支持 128K–256K 上下文,在 DeepSWE 1.1 得 64.6、Terminal-Bench 2.1 得 86.52、GPQA-Diamond 得 90.4。模型权重已上传 Hugging Face,推理框架在 GitHub 开源,另提供可离线使用的 Edge0 App。

推荐理由

精选AI 评分 85

官方给出 145B 模型在笔记本上 29GB 峰值内存、80+ tokens/s 的实测数据与六项基准对比,可据此判断端侧运行大模型的现实边界。

主题

标签

正文

当前公开范围只允许站内摘要。请通过经校验的原文入口继续阅读。

来源

Hacker News 热门