DeepSeek 开源推理框架 DeepInfer 与分词组件 deepseek-recipe
DeepSeek 发布技术博客《DeepSeek V4.1 Flash 大规模推理部署实践》,并以 Apache 2.0 协议开源支撑其线上百亿级调用的云服务推理框架 DeepInfer 和生产级分词组件 deepseek-recipe。博客称基于该框架单一集群服务吞吐已达每天 155 万亿 Tokens,未来新模型的推理代码和性能优化也会持续放进 DeepInfer。文中还提到用 8 卡机器做 Prefill、64 到 128 卡超节点做 Decode,以及用 3FS 分布式存储保留 KVCache、SWA Bounded Replay 只重算最后 128 个 token 等优化。
中文业界资讯站 首页影视音乐游戏动漫趣闻科学软件主题硬件AppleGoogleiPhone科学探索人物手机游戏视点·观察阿里云微软通信技术Android软件和应用SONY 索尼the United States美国Apple iPadWindows PhoneIntel英特尔腾讯HTC安全Mozilla FireFox小米科技百度通信运营商媒体播放器 / 视频网站BlackBerry 黑莓网络应用 / Web AppsGoogle ChromeMicrosoft XBOX硬件 - 上网本 / 平板电脑 / 超极本电子商务 - B2C / B2BLenovo 联想LGYahoo! 雅虎AMDSNS 社交网络诺基亚Windows 7Huawei 华为中国移动中国联通中国电信更多...排行 昨天,DeepSeek 直接把自家压箱底的“印钞机”技术给开源了。他们甩出一篇名为《DeepSeek V4.1 Flash 大规模推理部署实践》的技术博客,顺手把支撑自家线上百亿级调用的云服务推理框架“DeepInfer”,连带生产级分词组件“deepseek-recipe”,挂上 Apache 2.0
匹配字段正文