Edge0 开源 145B 端侧模型 Edge0-145B 与 120B 版本
Edge0-145B: Open-Source On-Device AI with 145B Parameters - edge0
AI 导读
Edge0 开源 Edge0-145B 和 Edge0-120B 两个端侧模型,并同时发布统一推理框架与部署工具。官方称 145B 版本在兼容笔记本上峰值内存 29GB、解码速度 80+ tokens/s、预填充 1100+ tokens/s,支持 128K–256K 上下文,在 DeepSWE 1.1 得 64.6、Terminal-Bench 2.1 得 86.52、GPQA-Diamond 得 90.4。模型权重已上传 Hugging Face,推理框架在 GitHub 开源,另提供可离线使用的 Edge0 App。
推荐理由
精选AI 评分 85
官方给出 145B 模型在笔记本上 29GB 峰值内存、80+ tokens/s 的实测数据与六项基准对比,可据此判断端侧运行大模型的现实边界。
主题
正文
当前公开范围只允许站内摘要。请通过经校验的原文入口继续阅读。