←新闻详情

cnBeta更新于 10月24日 22:45

DeepSeek 开源内部推理框架 DeepInfer

DeepSeek公众号封面闹乌龙 普惠变成惠普

AI 导读

DeepSeek 宣布将内部核心推理框架 DeepInfer 全面开源,把支撑线上大规模服务的底层推理引擎和部署方案对外公开。官方称此举意在分享大规模推理优化经验,帮助开发者与企业提升吞吐、降低响应延迟,搭建私有化或公有云 AI 服务。此前 DeepSeek 已陆续开源多款大模型、TileLang 编译工具链及配套推理算子库。另据报道,其公众号封面曾把“普惠”误写为“惠普”,目前封面图已修改回“走向真正普惠的未来”。

推荐理由

AI 评分 63

DeepSeek 把生产环境打磨的推理引擎开源,读者可据此了解大模型部署环节的吞吐与延迟优化思路。

主题

标签

正文

不少网友脑洞大开,调侃DeepSeek这波属于无心插柳,免费给惠普送上一波流量广告;还有人打趣喊话惠普高层,抓紧抓住机会上门谈合作。

这个有趣的失误很快被官方发现,目前封面图已经紧急修改,文字恢复为 “走向真正普惠的未来”,小乌龙圆满收场。

玩笑归玩笑,这篇文章本身的分量,才是这次事件真正的重点。DeepSeek日前正式发布推文,官宣自家内部核心推理框架 DeepInfer全面开源。

熟悉DeepSeek节奏的开发者都清楚,这家团队一直持续在开源赛道加码,此前已经陆续放出多款大模型、TileLang编译工具链以及配套推理算子库。

而这一次,他们直接把支撑线上大规模服务的底层推理引擎对外公开,拿出生产环境打磨出来的全套部署方案,诚意拉满。

官方引用 “为善与众行之,为巧与众能之” 点明初衷。简单来说,大模型想要落地,不只是模型参数强就够,推理框架才是决定吞吐、延迟、算力账单的关键。

很多中小团队和企业手里拿到了开源大模型,却卡在部署环节:高并发请求扛不住、延迟波动大、算力开销居高不下,私有化部署和公有云上线成本劝退不少玩家。

DeepInfer开源,就是瞄准这个痛点而来。DeepSeek希望把内部实战积累的大规模推理优化经验分享给整个社区,帮助开发者、企业优化线上服务指标,拉高吞吐、压低响应延迟,顺畅搭建私有化或者公有云AI服务。

来源

cnBeta