Unsloth 推出 DSpark，DeepSeek-V4-Flash 本地推理提速约 1.4–2 倍
Unsloth 发布 DSpark，使 DeepSeek-V4-Flash-0731 的 GGUF 本地生成速度提升约 1.4–2 倍，且精度不变。该版本在本地可达到 120 tokens/s，Unsloth 同时提供了 GGUF 文件与使用指南。
匹配字段标题、摘要、正文
←搜索结果
搜索“DeepSeek”
Unsloth 支持 DeepSeek V4 Flash 0731 本地运行
Unsloth 宣布 DeepSeek V4 Flash 0731 现已可在本地运行，无损 4-bit 量化需 168GB 内存，3-bit 需 110GB 内存，可通过 Unsloth 或 llama.cpp 运行，并提供了指南和 GGUF 链接。Unsloth 称 V4 Flash 0731 表现优于 V4 Pro，更小的量化版本当天晚些时候发布。DeepSeek 官方此前宣布 DeepSeek-V4-Flash 官方 API 进入公开测试，Agent 能力大幅升级，基准分数超过 V4-Pro-Preview，并原生支持 Responses API 格式、适配 Codex。
匹配字段标题、摘要、正文
SGLang 集成 DSpark 投机解码，支持 Qwen3 与 DeepSeek-V4
LMSYS 在 SGLang 中集成 DSpark 投机解码，支持 Qwen3 等稠密模型和 DeepSeek-V4 等稀疏模型，相关实现见 sgl-project/sglang#30261。DSpark 用半自回归块草稿器加置信度头，按每个请求的置信度动态决定验证长度，避免验证不太可能被接受的 token。官方在 DeepSeek-V4-Flash、H200、DP4 上对比非投机与 MTP 基线，并给出 ragged verify 下的完整 CUDA graph、零开销调度和成本表分析等工程细节。
匹配字段标题、摘要、正文
DeepSeek-V4 Pro 现已登陆 Together AI
Together AI 现已提供 DeepSeek-V4 Pro，Serverless Inference 支持 512K-token 上下文，Dedicated Inference 可提供完整 1M 上下文、预留容量和工作负载隔离。该模型支持三种推理模式，价格为每 1M tokens 输入 $2.10、缓存输入 $0.20、输出 $4.40。
匹配字段标题、摘要、正文
SGLang 与 Miles 为 DeepSeek-V4 提供 Day-0 推理与 RL 训练支持
LMSYS 宣布 SGLang 与 Miles 在 DeepSeek-V4 发布当天提供推理与 RL 训练支持，覆盖 1.6T Pro 和 284B Flash 两个版本。针对 DeepSeek-V4 的混合稀疏注意力、mHC 和 FP4 专家权重，团队引入 ShadowRadix 前缀缓存、HiSparse CPU 扩展 KV、MTP 投机解码等机制，并集成 FlashMLA、FlashInfer TRTLLM-Gen MoE、DeepGEMM Mega MoE 等内核。RL 侧 Miles 支持 DP/TP/SP/EP/PP/CP 六种并行策略与 FP8 训练，已在 32 张 GB300 上完成 285B 模型训练，首步 rollout 与训练 log-prob 偏差约 0.023。
匹配字段标题、摘要、正文
SGLang 集成 Elastic EP，为 DeepSeek MoE 部署提供部分故障容错
LMSYS 在 SGLang 中集成 Elastic EP，通过解耦专家与 GPU 的固定映射并保留冗余专家，实现单实例内的部分故障容错。在 4 节点 32 GPU 上运行 DeepSeek V3.2、设置 ep_size=dp_size=32 与 256 个冗余专家时，可容忍最多 16 个 rank 故障，服务中断控制在 10 秒以内，相比完整重启所需的 2 至 3 分钟减少约 90%，静态性能与标准 DeepEP 持平。启用需配置 --elastic-ep-backend mooncake、--moe-a2a-backend mooncake、--ep-num-redundant-experts 等参数，NVIDIA Dynamo 团队的 NIXL EP 也可通过 --moe-a2a-backend nixl 试用。
匹配字段标题、摘要、正文
Ollama 新增思考开关，支持 DeepSeek R1 与 Qwen 3
Ollama 上线思考开关，用户可自行启用或关闭模型的思考过程。启用后输出会把模型的思考内容与最终回答分开，关闭则直接输出内容；CLI 中默认启用，可用 /set nothink 关闭，脚本场景提供 --hidethinking 参数。generate 与 chat API 新增 think 参数，Python 和 JavaScript 库同步更新，目前支持 DeepSeek R1 和 Qwen 3。
匹配字段标题、摘要、正文
Artificial Analysis 发布 Progress Index…
Artificial Analysis 发布 Progress Index，并同步推出 Intelligence Index v5。Progress Index 用项目反应理论，从全部评测（含已退役或未纳入 Intelligence Index 的任务）中为每个模型估算一个通用能力分，用于跨时间比较；Intelligence Index 仍用于衡量当前模型智能水平。其数据显示，推理模型出现后前沿每年提升约 65 至 70 分，约为 2023 年速度的两倍；开源权重模型通常比闭源模型落后约 4 个月，DeepSeek V4.1 Flash 1017 以 324 分居开源权重最高。
匹配字段摘要、正文
Prime Intellect 发布 Prime Mega MoE 训练内核，前向最高提速 3.11 倍
Prime Intellect 发布 Prime Mega MoE，在 DeepSeek 开源 DeepGEMM 库的 Mega MoE 内核基础上补上了融合且重叠的反向传播，使其可用于训练而非仅推理。在 prime-rl 训练器中，Qwen3 MoE 模型的完整训练步比基线快 32% 至 34%，比 TorchTitan 快 48% 至 55%；单层前向最高提速 3.11 倍（12.0 ms 降至 3.9 ms），但 Qwen3-235B-A22B 的反向仅提速 1.24 倍。该内核支持 BF16、Blackwell 上的 MXFP8 和 Hopper 上的 blockwise FP8，以 Apache 2.0 随 prime-rl 发布，通过 mega_moe 分发后端启用。
Prime Intellect 发布 Prime Mega MoE，在 DeepSeek 开源 DeepGEMM 库的 Mega MoE 内核基础上补上了融合且重叠的反向传播，使其可用于训练而非仅推理。在 prime-rl 训练器中，Qwen3 MoE 模型的完整训练步比基线快 32% 至 34%，比 TorchTitan 快 48% 至 55%；单层前向最高提速 3.11 倍（12.0 ms 降至 3.9 ms），但 Qwen3-235B-A22B 的反向仅提速 1.24 倍。该内核支持 BF16、Blackwell 上的 MXFP8 和 Hopper 上的 blockwise FP8，以 Apache 2.0 随 prime-rl 发布，通过 mega moe 分发后端启用。
匹配字段摘要、正文
LMSYS 发布 SGLang AWS Trainium 插件 Beta
LMSYS 与 AWS 合作发布 SGLang Trainium 插件 Beta，基于新发布的 TorchNeuron 构建，在 Trainium2 和 Trainium3 上支持 LLM 推理服务与 RL rollout 生成。初始覆盖 Qwen3（dense）、Qwen3-MoE-30B-A3B、DeepSeek-V2-Lite、GLM-4 和 GLM-5.2/5.3，并支持数据并行、张量并行、专家并行、Radix Cache、BF16/FP8 和异步调度。首次端到端异构 RL 运行中，SGLang 在 Trainium3 上为 Qwen3-MoE-30B-A3B 生成 rollout，Miles 在单台 H200 节点上用 Megatron 训练 GRPO 策略。Beta 目前仅限少量团队参与。
匹配字段摘要、正文
TorchTitan 更新：新增多款 SOTA 模型支持、TitanRL 与大规模性能提升
PyTorch 原生训练平台 TorchTitan 发布更新，新增 Muse Spark Open、Muse Glimmer、Qwen3-VL、Qwen3.5、Kimi K2.7、Kimi K3 和 DeepSeek-V4 的完整训练栈支持，并引入强化学习组件 TitanRL。TitanRL 让预训练、后训练到 vLLM 推理共用同一份模型代码，支持异步 rollout 和长上下文、代码执行等智能体任务训练。性能方面，FlexShard 在 256 张 H100 上把 DeepSeekV3 的优化器耗时最多降低 79%，在 Llama3 405B 上把端到端训练步时最多降低 20%。
匹配字段摘要、正文
Modal 发布 LLM 训练库 Modal Dojo
Modal 发布训练库 Modal Dojo，提供调好的默认配方、可改参数和开箱即用的指标观测面板，支持从 5 亿到数万亿参数模型。该库基于 Miles、Slime 等开源框架构建，可从 Hugging Face 加载数据集，并通过 CLI 让智能体查询运行状态、日志和轨迹。Axiom Bio 称已用它启动 64k 上下文的 DeepSeek V4.1 Flash 训练，运行在 64 张 B300 上。
匹配字段摘要、正文
SGLang-TorchTPU 开源：把 SGLang 服务栈带到 TPU
SGLang 团队联合 Google 和 Meta 开源 SGLang-TorchTPU，这是一个基于 PyTorch 的原生后端，把 SGLang 的完整服务栈带到 Google Cloud TPU，并已在 Meta 大规模生产环境使用。首发支持 Muse Spark Open、GLM-5.3、Kimi K3、DeepSeek V4、Qwen3.8、Gemma 4 等模型，覆盖投机解码、KV cache 卸载、PD 分离和 FP8 KV cache 等功能。团队还用 TorchTitan 与 Miles 在单台 4 芯片 TPU v7x 上完成 Qwen3-4B 的 GRPO 训练，奖励曲线与 6 张 H200 基线在随机波动范围内一致。
匹配字段摘要、正文
Lovart 2.0 上线个人设计 Agent Arti，可记忆偏好并主动巡检画布
Lovart 发布 2.0 版本，推出个人设计 Agent“Arti”，能记住用户的设计习惯与审美，并全天候在线执行定时设计任务。Arti 具备画布巡检、设计调研、自动更新记忆、自进化技能和反馈改稿等能力，其中画布巡检和调研的主动触发需升级会员。智东西用 Arti 为 DeepSeek 设计了一版鲸系男性二次元形象，并测试了 Q 版立绘、调研报告插入对话和按巡检意见改稿等流程。
匹配字段摘要、正文
LMSYS 推出 SGLang 低延迟模式，NVIDIA 与 AMD GPU 推理提速
LMSYS 发布 SGLang Low-Latency Mode，通过插件框架把专用 kernel 接入 SGLang，在 NVIDIA 和 AMD GPU 上降低推理延迟。在四块 NVIDIA GB300 上回放 AgentX trace，单并发会话的 P90 每用户 token 生成速度从 671.2 提升到 928.4 tokens/s（1.38×）；在四块 AMD MI355X 上四并发会话从 331.6 提升到 516.0 tokens/s（1.56×）。NVIDIA 侧 kernel 位于 sgl-nvidia-mega，AMD 侧位于 sgl-amd-mono，均针对 DeepSeek-V4.1-Flash 与 DSpark 的验证和草稿执行做优化。
匹配字段摘要、正文
AIPOCH Open-Science 发布开源桌面应用，让 AI 智能体处理科研任务
AIPOCH Open-Science 发布开源桌面应用 Open-Science V 1.0.0，让 AI 智能体承担读论文、用 Python 和 R 分析数据等科研任务。应用支持 OpenAI、Anthropic、DeepSeek 等模型及本地模型，项目可导出为 .science 文件在另一台电脑打开续做，默认将文件、项目和研究记录保存在本地，支持 macOS、Windows 和 Linux，源码采用 Apache 2.0 许可。官方分享的示例中，智能体分析了 278 名乳腺癌患者的公开数据，检验肿瘤内免疫细胞排布是否有助于预测生存，任何人都能打开该文件查看每张图背后的代码并 fork 出新运行。
匹配字段摘要、正文
Hao AI Lab 发布开源机器人智能体框架 ORA
Hao AI Lab 发布 ORA（Open Robot-Use Agents），一个由 DeepSeek-V4.1-Flash 驱动的开源机器人智能体框架，从视觉输入零样本操作机器人，无需 VLA。ORA 在 RoboTwin 上取得 69.2%、LIBERO-Pro 上 81.4%，同一套 harness 通过 robot cards 可运行 ARX X5、ALOHA 和 Franka。团队称每个已解决案例的模型成本约 0.30 至 0.35 美元，40 个展示回合平均 0.13 美元，并已在低成本机械臂上完成开抽屉、放糖果棒的初步真机测试。
匹配字段摘要
Hao AI Lab 发布 ORA 开源机器人智能体框架
Hao AI Lab 发布 ORA（Open Robot-Use Agents），一个由 DeepSeek V4.1-Flash 驱动的开源机器人智能体框架，从视觉输入零样本操作机器人，无需 VLA。ORA 在 RoboTwin 上取得 69.2%、LIBERO-Pro 上 81.4%，与使用 GPT-5.5 或 Opus-4.7 的 RPent 系统同场对比。每个成功案例的模型成本约 0.30 至 0.35 美元，按 DeepSeek 非高峰 API 价格估算并包含失败尝试；同一框架已通过机器人卡片适配 ARX X5、ALOHA 和 Franka，并在低成本机械臂上完成开抽屉和放置糖果棒的初步实机测试。
匹配字段摘要
Hao AI Lab 发布 ORA：像编码智能体一样驱动机器人
Hao AI Lab 发布 ORA，其工作方式类似编码智能体：编码智能体读取文件、运行命令并检查结果，ORA 则观察场景、调用感知或动作工具、检查反馈再决定下一步。要让这一循环在机器人上跑通需要三样东西：描述机器人和任务的提示词、用于感知几何与运动的工具、以及把近期观察留在上下文中而将较早观察存入文件的上下文管理。同一套框架可运行 ARX X5、ALOHA 和 Franka，靠 robot cards 描述各机器人的几何与控制方式；SAM 3 定位物体、深度把图像位置转成以米为单位的 3D 坐标，再由计算工具处理向量与旋转数学。按 DeepSeek 非高峰 API 价格估算，在 RoboTwin、LIBERO 和 LIBERO-Pro 上每个成功案例的模型成本约 0.30 至 0.35 美元，含失败尝试，40 个展示回合平均每个 0.13 美元。
匹配字段摘要
Hao AI Lab 发布机器人智能体 ORA，同一套框架驱动 ARX X5、ALOHA 和 Franka
Hao AI Lab 发布机器人智能体 ORA，其工作方式类似编码智能体：观察场景、调用感知或动作工具、检查反馈再决定下一步。该框架用 robot cards 描述各机器人的几何结构与控制方式，同一套 harness 可运行 ARX X5、ALOHA 和 Franka。据其估算，在 DeepSeek 非高峰 API 费率下，RoboTwin、LIBERO 和 LIBERO-Pro 上每个成功案例的模型成本约 0.30 至 0.35 美元，40 个展示片段平均每个 0.13 美元。
匹配字段摘要