DeepSeek 以 Apache-2.0 协议开源大规模推理框架 DeepInfer
DeepSeek 开源 DeepInfer
DeepSeek 以 Apache-2.0 协议开源了高性能大规模推理框架 DeepInfer。该框架支持优化后的 kernel、模型与采样器运行时，Attention DP 与均衡 CP、MoE EP 加 EPLB 等并行策略，以及 DSpark 与置信度调度验证、SWA 有界重放、零开销批调度器的异步调度、批不变推理、确定性采样和结构化输出。马东锡 NLP 转发了这一消息并称 Respect。
查看原帖DeepSeek 刚刚以 Apache-2.0 许可证开源了其高性能大规模推理框架 DeepInfer。 https://t.co/W2cfi6O9LO 支持的特性： - 优化的 kernel、模型与采样器运行时 - 并行：Attention DP / 均衡 CP、MoE EP + EPLB - DSpark 与置信度调度验证 - SWA 有界重放 - 异步调度（零开销批调度器） - 批不变推理 - 确定性采样 - 结构化输出
查看原文
DeepSeek just open sourced its high-performance, large-scale inference framework DeepInfer in Apache-2.0 license. https://t.co/W2cfi6O9LO Supported features: - Optimized kernels, model and sampler runtime - Parallelism: Attention DP / balanced CP, MoE EP + EPLB - DSpark and confidence-scheduled verification - SWA bounded replay - Asynchronous scheduling (zero-overhead batch scheduler) - Batch-invariant inference - Deterministic sampling - Structured output
正文 · AI 翻译
DeepSeek 开源 DeepInfer
致敬！