LMSYS 宣布 DeepSeek-V4 Flash 的 RL 训练已在 Miles 中支持 AMD Instinct MI355X GPU 与 ROCm，完成四节点端到端验证。该模型为 284B 参数 MoE、每 token 激活 13B，团队解决了 SGLang rollout 与 Megatron 训练之间的 log-probability 对齐、量化权重在线更新语义保持，以及 ROCm 多节点并行策略三个问题。在四台八卡 MI355X 上跑过 100+ 优化步，train-rollout 平均绝对 log-probability 差约 0.09，离线 AIME-2024 pass@1 从 0.39 升至 0.49、pass@8 从 0.53 升至 0.67。
匹配字段标题
LMSYS 在 SGLang 中集成 DSpark 投机解码，支持 Qwen3 等稠密模型和 DeepSeek-V4 等稀疏模型，相关实现见 sgl-project/sglang#30261。DSpark 用半自回归块草稿器加置信度头，按每个请求的置信度动态决定验证长度，避免验证不太可能被接受的 token。官方在 DeepSeek-V4-Flash、H200、DP4 上对比非投机与 MTP 基线，并给出 ragged verify 下的完整 CUDA graph、零开销调度和成本表分析等工程细节。
匹配字段标题
Epoch AI 梳理 DeepSeek、MiniMax、Moonshot、Z.ai、字节跳动和阿里巴巴六家中国 AI 公司的 1604 份招聘启事，发现它们仍依赖 Nvidia CUDA 与 TensorRT-LLM，同时探索昇腾、寒武纪等国产芯片。Z.ai 称其 GLM-Image 已在国产芯片上完成端到端训练，该模型有 160 亿参数。MiniMax、DeepSeek、Moonshot 等初创公司还在自建数据中心，并采用公有云与自建算力混合部署。
匹配字段标题
DeepSeek 宣布将现有优惠改为永久政策，适用于使用 DeepSeek-V4-Pro 进行开发。原文未说明具体折扣幅度或适用限制。
匹配字段标题
DeepSeek-V4 通过 CSA、HCA 与 SWA 混合注意力在 KV 存储前压缩上下文，支持 1M-token 上下文窗口，但实际效率取决于推理引擎的缓存管理。Together AI 在 NVIDIA HGX B200 上调整 SWA 缓存策略后，将单节点 KV 缓存容量从约 1.2M tokens 提升至 3.7M tokens。长上下文、解码密集型任务最先受益，短上下文任务仍更依赖预填充优化与内核成熟度。
匹配字段标题
DeepSeek-V4-Pro 优惠已延长至 2026 年 5 月 31 日 15:59 UTC。材料未说明具体折扣幅度、适用范围或其他限制。
匹配字段标题
Together AI 现已提供 DeepSeek-V4 Pro，Serverless Inference 支持 512K-token 上下文，Dedicated Inference 可提供完整 1M 上下文、预留容量和工作负载隔离。该模型支持三种推理模式，价格为每 1M tokens 输入 $2.10、缓存输入 $0.20、输出 $4.40。
匹配字段标题
DeepSeek 即日起将全系列 API 的输入缓存命中价格降至原价的 1/10，以降低相关调用成本。
匹配字段标题
DeepSeek-V4-Pro API 限时优惠 75%，截至 2026 年 5 月 5 日 15:59（UTC）。Claude Code 将模型设为 deepseek-v4-pro[1m] 可启用 1M 上下文，OpenCode 和 OpenClaw 分别需升级至 v1.14.24+ 和 v2026.4.24+。
匹配字段标题
LMSYS 宣布 SGLang 与 Miles 在 DeepSeek-V4 发布当天提供推理与 RL 训练支持，覆盖 1.6T Pro 和 284B Flash 两个版本。针对 DeepSeek-V4 的混合稀疏注意力、mHC 和 FP4 专家权重，团队引入 ShadowRadix 前缀缓存、HiSparse CPU 扩展 KV、MTP 投机解码等机制，并集成 FlashMLA、FlashInfer TRTLLM-Gen MoE、DeepGEMM Mega MoE 等内核。RL 侧 Miles 支持 DP/TP/SP/EP/PP/CP 六种并行策略与 FP8 训练，已在 32 张 GB300 上完成 285B 模型训练，首步 rollout 与训练 log-prob 偏差约 0.023。
匹配字段标题
LMSYS 在 SGLang 中集成 Elastic EP，通过解耦专家与 GPU 的固定映射并保留冗余专家，实现单实例内的部分故障容错。在 4 节点 32 GPU 上运行 DeepSeek V3.2、设置 ep_size=dp_size=32 与 256 个冗余专家时，可容忍最多 16 个 rank 故障，服务中断控制在 10 秒以内，相比完整重启所需的 2 至 3 分钟减少约 90%，静态性能与标准 DeepEP 持平。启用需配置 --elastic-ep-backend mooncake、--moe-a2a-backend mooncake、--ep-num-redundant-experts 等参数，NVIDIA Dynamo 团队的 NIXL EP 也可通过 --moe-a2a-backend nixl 试用。
匹配字段标题
LMSYS 分享了在 GB300 NVL72 上优化 DeepSeek R1-NVFP4 长上下文（128K/8K ISL/OSL）推理的进展，SGLang 实现最高 226 TPS/GPU，较 GB200 提升 1.53 倍。在相同吞吐下 MTP 将单用户吞吐提升 1.87 倍，匹配延迟条件下 GB300 较 GB200 提升 1.38X-1.58X TPS/GPU。GB300 的 288GB HBM 支持 1.6 倍有效解码批大小（40 vs 24 req/GPU），128K 预填充 TTFT 为 8.6s。
匹配字段标题
DeepSeek V3.2 延续 V3 系列架构，并引入 DeepSeek Sparse Attention、自验证、自改进及多项 GRPO 训练调整。文章梳理了 V3、R1、V3.1、V3.2-Exp、DeepSeekMath V2 和 V3.2-Speciale 的演进，解释 MLA、RLVR 与混合推理模式等关键机制。更新部分还介绍了用于改善训练稳定性和收敛表现的 mHC 残差路径研究。
匹配字段标题
vLLM 为 DeepSeek-V3.2-Exp 提供 Day 0 支持，实现面向长上下文任务的 DeepSeek Sparse Attention，并可在 B200 和 GB200 上运行。模型支持 FP8 KV cache，每个新查询 token 通过索引器选择 top 2048 tokens；当前仅支持 block size 64，可用 16×H100、8×H200 或 8×B200 部署。
匹配字段标题
Ollama 上线思考开关，用户可自行启用或关闭模型的思考过程。启用后输出会把模型的思考内容与最终回答分开，关闭则直接输出内容；CLI 中默认启用，可用 /set nothink 关闭，脚本场景提供 --hidethinking 参数。generate 与 chat API 新增 think 参数，Python 和 JavaScript 库同步更新，目前支持 DeepSeek R1 和 Qwen 3。
匹配字段标题
吴恩达就 DeepSeek-R1 发布撰文，认为中国在生成式 AI 上正快速缩小与美国的差距，开源权重模型正在把基础模型层商品化。他给出价格对比：OpenAI o1 每百万输出 token 收费 60 美元，DeepSeek R1 为 2.19 美元，相差近 30 倍。他还提到 DeepSeek 团队因芯片限制在 H800 上做优化，最终以不到 600 万美元算力成本完成训练，并认为扩大规模并非唯一路径。
匹配字段标题
2026年10月30日,Unsloth发布DeepSeek-V4.1-Flash-1017的新GGUF版本。Unsloth称该版本在基准测试中排名最高,其Dynamic V3.1在GPQA Diamond、AIME25、LiveCodeBench v6、MMLU-Pro、Aider等几乎全部基准上领先。Unsloth还说明运行该版本需要64GB以上内存,并附上GGUF与博客链接。目前尚无后续发展。
匹配字段标题
2026年10月30日,Unsloth发布DeepSeek-V4.1-Flash-1017的新GGUF版本。Unsloth称该版本在基准测试中排名最高,其Dynamic V3.1在GPQA Diamond、AIME25、LiveCodeBench v6、MMLU-Pro、Aider等几乎全部基准上领先。Unsloth还说明运行该版本需要64GB以上内存,并附上GGUF与博客链接。目前尚无后续发展。
匹配字段标题
2026年10月29日,DeepSeek在GitHub开源推理引擎DeepInfer,该引擎是DeepSeek-V4.1-Flash背后的推理引擎。雷锋网同日报道,DeepInfer包含MoE专家并行、异步Batch调度、定制Kernel和推测解码等技术,并披露单集群每天需处理约155万亿个Token。其Zero-Overhead Batch Scheduler让CPU提前一轮安排计算,与GPU前向重叠,并通过total_inflight_tokens记账、Remap映射和DeferredRelease延迟回收处理跨轮次状态错位。目前开放的是离线推理能力,线上KV Cache存储和跨副本负载均衡等组件尚未完整公开,官方也未单独公布该调度机制相对同步方案的端到端加速数据。
2026年10月29日,DeepSeek在GitHub开源推理引擎DeepInfer,该引擎是DeepSeek-V4.1-Flash背后的推理引擎。雷锋网同日报道,DeepInfer包含MoE专家并行、异步Batch调度、定制Kernel和推测解码等技术,并披露单集群每天需处理约155万亿个Token。其Zero-Overhead Batch Scheduler让CPU提前一轮安排计算,与GPU前向重叠,并通过total inflight tokens记账、Remap映射和DeferredRelease延迟回收处理跨轮次状态错位。目前开放的是离线推理能力,线上KV Cache存储和跨副本负载均衡等组件尚未完整公开,官方也未单独公布该调度机制相对同步方案的端到端加速数据。
匹配字段标题
据The Information报道,DeepSeek已完成第二轮融资,筹集1055亿元人民币(约合158亿美元),吸引近30家投资者。凤凰科技援引该报道称,腾讯和宁德时代各出资100亿元,长鑫存储、中芯国际、美团、vivo、小红书等也在投资方之列;国有投资者贡献本轮约27%的金额,远高于首轮融资时的2%,中国移动、中国电信、中金公司、中信证券和中国人寿等参与其中。报道还称,受英伟达高端芯片价格上涨和防备AI泡沫影响,DeepSeek在融资中途将募资规模扩大了一倍。东方财富同日援引The Information的报道给出相同募资总额与国资占比,并称宁德时代及其董事长曾毓群两轮分别出资50亿元和100亿元。目前尚无DeepSeek官方回应。
匹配字段标题