←搜索结果

按匹配度 · 共 3412 条结果 清除搜索

星期五

  1. AWS Machine Learning

    Amazon Quick 如何在 HIPAA 合规环境中部署 AI

    Amazon Quick 是 HIPAA-eligible 服务,覆盖 Web、桌面和移动客户端,可在签署 AWS BAA 后用于处理 PHI。其 chat agent 可跨临床笔记等非结构化数据和理赔、会员记录等结构化数据检索,并通过 Slack、Microsoft Outlook、Salesforce、Jira、SharePoint 等连接器执行多步任务,也支持通过 MCP 接入自定义工具。HIPAA-eligible 不等于 HIPAA compliant,用户仍需自行完成数据分类、配置、治理和行政保障。

    并配备用于执行操作的工具。Amazon Quick 自带一个默认聊天代理(My Assistant),你也可以为特定领域创建自定义聊天代理。 空间 组织聊天代理所需的资源,例如文档、仪表板、数据集、知识库和操作连接器。空间可以与团队共享。 集成 将 Amazon Quick 连接到你的环境: 知识库 用于非结构化内容,例如 Amazon Simple Storage Service (Amazon S3), Microsoft SharePoint和 Atlassian Confluence;结构化数据连接将 Amazon Quick Sight 连接到你的结构化数据库、数据仓库和数据湖;操作连接器(基于 OpenAPI 规范或 Model Context Protocol 服务器构建);以及扩展(Chrome、Slack、Microsoft Teams 和 Microsoft 365)。 在这些构建模块之上是各项功能。“ 所依赖的内容 一列对合规很重要,因为它显示了每项功能依赖哪些构建模块,因而依赖哪些数据路径。 功能 作用 所依赖的内容 Amazon Quick Sight 交互式

    匹配字段正文

  2. AWS Machine Learning

    Amazon SageMaker AI 推出训练会话 API,可自写训练循环而无需管理 GPU

    Amazon SageMaker AI 在无服务器模型定制中新增训练会话 API,把 forward_backward()、optim_step()、sample() 等操作变成 API 调用,模型在 GPU 上保持加载,用户只需在本地 Python 进程里编写训练循环,GPU 分配、分布式执行、故障恢复和检查点存储由服务负责。该 API 按处理的 token 计费,本地奖励计算等环节不计 GPU 时间。随附的 cookbook 提供 SFT 与 RL 配方,示例中 GPT-OSS 20B 的 GRPO 循环在 GSM8K 上训练 10 步,留出集准确率从 56% 升至 75%;Code RL 配方训练 50 步后测试准确率从 40% 升至 50.5%。

    SageMaker Python SDK client hierarchy: ServiceClient creates a TrainingClient, which in turn creates a SamplingClient

    ns such as forward backward(), optim step(), and sample() for the steps that need GPUs GPU allocation, model and LoRA loading, distributed execution, fault recovery, checkpoint storage, security The API is organized around three clients in the SageMaker Python SDK, created in sequence. A ServiceClient holds the platform-level settings (execution role, model package group, Amazon Simple Storage Service (Amazon S3) output location, and optionally an AWS Key Management Service (AWS KMS) key and vir

    匹配字段正文

  3. AWS Machine Learning精选

    AWS 为 SageMaker AI 无服务器模型定制推出训练会话正式版

    AWS 宣布 SageMaker AI 无服务器模型定制的训练会话正式可用,用户可自行编写并协调训练循环,包括自定义损失函数和奖励信号,GPU 分配、分布式执行、故障恢复与检查点存储由 SageMaker AI 负责。该功能支持 SFT、DPO、RLVR、RLAIF 和多轮 RL,可选择 LoRA 或全量微调,目前支持 gpt-oss-20b、gemma-4-31B-it、Qwen3.6-27B 和 Qwen3.8-27B。计费按 SageMaker AI 处理的 token 计,奖励函数在用户环境打分时停止计费,且无需预留容量。

    and coordinate the training loop, including custom loss functions or reward signals. SageMaker AI handles GPU allocation, distributed execution, fault recovery, and checkpoint storage. Customize without the hassles of infrastructure management With SageMaker AI serverless model customization, you don’t choose instance types, manage clusters, or write distributed training configuration. We didn’t want to limit you. You can use techniques such as SFT, DPO, RLVR, RLAIF, or multi-turn RL. You can c

    匹配字段正文

  4. n8n Blog

    n8n 博客:AI 智能体工作流中的模型幻觉检测方法

    n8n 博客梳理了 AI 智能体工作流中的模型幻觉检测方法,将幻觉分为事实性、上下文性、虚构和自相矛盾四类,并主张用分层检测而非单一评分。具体手段包括基于 DeepEval 的忠实度与接地性检查、多次采样比对的自一致性检查、语义熵不确定性估计、外部来源核验,以及按置信度阈值分流并在高风险场景引入 human in the loop。

    的细节填补知识空白,或者与它先前所说的内容相矛盾。 四种常见 LLM 幻觉类型的示意图:事实性、上下文性、虚构和自相矛盾 了解你面对的是哪种失败模式很重要,因为每种类型都需要不同的检测方法。以下是需要留意的四种主要幻觉类型: 事实性幻觉:模型提出的主张与可验证的事实相冲突,例如捏造统计数据、人物或事件。 上下文性幻觉:回答得不到提供给模型的上下文支持。这在 RAG 系统中尤为重要,因为回答可能听起来合理,却歪曲或超出了检索到的材料。 虚构:模型用未提供或未确立的细节填补空白,在证据不足的情况下给出连贯的回答。 自相矛盾:模型提出的主张与其自身回答的其他部分或先前提供的信息相冲突。 这些区分说明了为什么不存在通用的幻觉检测器。例如,接地性检查可以识别偏离检索上下文的说法,但它未必能告诉你源材料本身在事实上是否正确。在生产系统中,可靠的检测意味着让检查与失败模式相匹配——而且往往要将多项检查分层组合。 在生产环境中有效的检测方法 LLM 幻觉检测作为分层系统效果最好。没有任何单一检查能捕捉所有失败模式:有些方法将回答与其上下文进行比较,另一些则寻找不一致的输出或不确定性,还有一些会将可疑结

    匹配字段正文

  5. AWS Machine Learning

    不再靠猜:Amazon SageMaker AI 上 TTS 自动扩缩容目标的实测方法

    AWS 在 Amazon SageMaker AI 实时端点上以自定义容器部署 82M 参数的 TTS 模型 Kokoro-82M,用实测的 Q_max(单实例在 SLO 内可承受的最高并发)和 T_total(一次扩容端到端耗时)推算扩容阈值、缩容阈值与冷却时间,替代凭猜测设定的目标值。方案基于 SageMaker AI 原生发布的 ConcurrentRequestsPerModel 指标扩缩容,避免自定义指标无人上报的隐性故障。

    Diagram showing a client connecting to an Amazon SageMaker AI real-time endpoint, which contains a custom GPU container exposing two routes, POST /invocations for response streaming and WS /invocations-bidirectional-stream for bidirectional streaming, both feeding into a KPipeline running Kokoro-82M with lang_code=“a”

    端点的 AWS CDK 堆栈只有在模型存在真实、经过测量的 plan 之后才会附加自动扩缩容资源,因此猜测的配置永远不会悄无声息地进入生产环境。本文的其余部分就是那次测量。 先决条件 要跟随本演练,你需要: 一个 AWS 账户,具有创建 AWS Identity and Access Management (IAM) 角色、Amazon Simple Storage Service (Amazon S3) 存储桶、Amazon Elastic Container Registry (Amazon ECR) 存储库和 Amazon SageMaker AI 资源的权限。 注意:示例容器固定了较早版本的 PyTorch,该版本存在一个已知安全公告(PYSEC-2026-2286,已在 torch 2.10.0 中修复)。在任何非概念验证用途之前,请审查并升级该固定版本。 AWS CDK v2,已安装并在你的目标账户和区域中完成引导。 Python 3.11 或更高版本、 uv,以及用于构建容器镜像的 Docker。 一个 ml.g5.xlarge 服务配额,在运行本文中的扩容测量之前,至少

    匹配字段正文

星期四

  1. a16z:News

    a16z 将 a16z Crypto 更名为 a16z Frontier,投资范围扩展至前沿初创公司

    a16z 宣布将 a16z Crypto 更名为 a16z Frontier,把基金投资范围从加密初创公司扩展到更广泛的前沿初创公司,同时继续投资加密及相关业务。Chris Dixon 将与 Marc、Ben 及 GP Eddy Lazzarin、Guy Wuollet 共同领导该基金,重点关注 AI 原生用例、新型硬件、机器网络以及区块链在机器间交易中的作用。

    在构建下一波浪潮的创始人,请联系我们。 是 a16z Frontier 的管理合伙人,专注于投资那些构建新技术、开辟可能需要数年才能发展成熟的市场的公司。 X Linkedin Palmer Luckey 谈硬件、构建与创新的下一前沿 Chris Dixon 与 Palmer Luckey 综合 扩大 a16z 增长基金与平台 David George 与 Raghu Raghuram 为你推荐 综合 扩大 a16z 增长基金与平台 David George 与 Raghu Raghuram 综合 机器时代基金 综合 本文由 AI 生成 10% 扩大 a16z 增长基金与平台 David George 与 Raghu Raghuram 综合 机器时代基金 综合 本文由 AI 生成 10% 综合 a16z 投资者关系现已更名为全球合作 技术即安全,为了美国及其盟友 Anne Neuberger 综合 a16z 专家新闻 “文章”(包括播客、视频和社交媒体)中表达的观点仅代表其中引用的 a16z 个人人员的观点,不代表 a16z Capital Management, L.L.C.(“a1

    匹配字段正文

  2. LMSYS Blog

    LMSYS 发布 SGLang AWS Trainium 插件 Beta

    LMSYS 与 AWS 合作发布 SGLang Trainium 插件 Beta,基于新发布的 TorchNeuron 构建,在 Trainium2 和 Trainium3 上支持 LLM 推理服务与 RL rollout 生成。初始覆盖 Qwen3(dense)、Qwen3-MoE-30B-A3B、DeepSeek-V2-Lite、GLM-4 和 GLM-5.2/5.3,并支持数据并行、张量并行、专家并行、Radix Cache、BF16/FP8 和异步调度。首次端到端异构 RL 运行中,SGLang 在 Trainium3 上为 Qwen3-MoE-30B-A3B 生成 rollout,Miles 在单台 H200 节点上用 Megatron 训练 GRPO 策略。Beta 目前仅限少量团队参与。

    ance requires it. What's in the beta The beta supports two workloads on AWS Trainium2 and Trainium3: LLM inference serving and RL rollout generation for post-training. Initial coverage includes: Models: Qwen3 (dense), Qwen3-MoE-30B-A3B, DeepSeek-V2-Lite, GLM-4, and GLM-5.2/5.3, with support for more large frontier models in progress. Features: Data Parallel / Tensor Parallel / Expert Parallel, Radix Cache, BF16 / FP8, Async scheduler. RL rollouts: SGLang on Trainium as the rollout engine for het

    匹配字段正文

  3. Apple Newsroom

    开发者为首款折叠屏 iPhone Duo 打造全新应用体验

    苹果宣布开发者正为 10 月 23 日(本周五)开售的首款折叠屏 iPhone Duo 优化应用与游戏,App Store 将上线专属编辑合集,并用 Made for iPhone Duo 徽章标识适配应用。iPhone Duo 内屏比 iPhone 18 Pro Max 大 50%,搭载 A20 Pro,并首次在 iPhone 上支持 Split View 分屏。Netflix、Prime Video、Paramount+、Zoom、Slack 等已适配,Microsoft Word 和 Outlook 将在未来几周推出桌面级体验。

    Pricing and Availability iPhone Duo is available in star white and night sky, starting at $1,999 (U.S.), or $83.29 (U.S.) per month for 24 months, in 256GB, 512GB, 1TB, and 2TB storage capacities. Apple Upgrade, a leasing program provided by Klarna and available in the U.S., gives eligible customers monthly payment options for iPhone Duo, with 12- and 24-month leasing terms starting as low as $57.99 (U.S.) per month for 24 months. For more information, visit apple.com/shop/apple-upgrade.1 Custom

    匹配字段正文

  4. MiniMax Blog精选

    MiniMax Code 桌面端上线 Mini App

    MiniMax 在 MiniMax Code 桌面应用(macOS / Windows)的本地会话中推出 Mini App,它是一种带前端和 Node.js 后端、以插件形式安装的常驻应用,可与 Agent 互相调用,让工作留在持续存活的页面上而非散落在对话里。此次发布包含 Mini App 运行时(持久数据目录、托管 MCP、Agent API、Host Connectors 和页面内工具审批)、用一句话生成页面的 /miniapp-creator,以及插件市场的官方 Mini App 和开源社区仓库 MiniMax-Code-MiniApps。官方称账号凭证由宿主保管,插件和页面无法访问,页面传给 Agent 的内容会先进入输入框供审阅。

    Cover: a hand places a card into a cluster of Mini Apps, including a stock dashboard, a 3D model, a map, and a chat, connected by a line to the Agent

    期和模型展示 token 用量的仪表盘、用于以泳道图浏览 Git 历史的 Git Commit Tree,以及用于回放对话模型轨迹的 Session Trajectory。有些则偏向日常生活和创意工作,比如用于记录心情并抽取每日灵感卡的 Xinyu Island,以及由 Agent 创建和编辑交互式图表的 Anatomy Gallery。 “从早期工作流到 RAG 和 Agentic Search,再到受我们在 MiniMax 的工作启发,我发现专业工作需要的不仅仅是花哨的 Agent:而是一个原生、紧密集成的环境,让 Agent 和人紧密协作。作为一名金融分析师,我过去大部分时间都花在拼凑零散的信息上。现在 Mini App 把这些信息带进我的工作区,我可以专注于思考和判断,把整理、分析和梳理信息的工作完全交给 Mini App。” —— MiniMax 产品经理 关于安全:账号凭证由宿主保管,插件和页面都无法访问。连接器和 Agent 权限必须在 manifest 中声明后才能使用。Mini App 的服务器端口仅对其自身页面和 Agent 开放。当页面想要向 Agent 传递内容

    匹配字段正文

  5. heise online

    周四科技速览:AfD 邮件泄露的数据保护问题、Meta Platforms 利润暴涨

    Meta Platforms 第三季度营收与净利润大幅增长,净利润增长超过两倍,日活跃用户达 36.4 亿,员工人数同比减少 15%。美国新墨西哥州法院认定 Facebook 存在系统性欺骗行为,判处 Meta Platforms 25 亿美元罚款。AfD 遭黑客攻击,超 40 万封邮件和 5 万份文件外泄,该党是否已向数据保护机构报告仍不明确。

    native für Deutschland (AfD) veröffentlicht haben, versucht sich die Partei in Schadensbegrenzung, will den Vorfall aber nicht weiter kommentieren. Dabei bleibt unter anderem die Frage offen, ob die Partei die zuständigen Aufsichtsbehörden rechtzeitig über den Vorfall informiert hat. Insgesamt sollen über 400.000 E-Mails und 50.000 Dokumente in fremde Hände gelangt sein. Das Bundesamt für Sicherheit in der Informationstechnik (BSI) ist inzwischen mit dem Fall befasst. Offen bleibt, welche Datens

    匹配字段正文

  6. MediaNama

    印度信息广播部要求电视台将 AI 限于“辅助性用途”,未明确是否禁止 AI 主播

    印度信息广播部(MIB)10 月 21 日发布建议,要求私营卫星电视频道将 AI 及生成式 AI 的使用限制在“辅助性用途”,并把“虚拟新闻播报”列为需谨慎对待的场景,但未定义何为辅助性用途,也未说明是否涵盖 Aaj Tak、News18、Odisha TV 等频道使用的 AI 主播。该建议未要求频道对 AI 主播加注标识,也未引用《节目准则》的具体条款;MIB 下属的 Doordarshan 自身也在使用 AI 主播,并曾于今年 3 月向议会委员会表示希望扩大其使用。

    on similar topics” and said that “inappropriate behaviour or language should not be normalized in telecast”. The advisory asks channels to: Anti-terror operations: Avoid live coverage and time-stamp visuals to prevent “any misleading impression of live coverage”. MIB issued similar advisories in June 2024 and April 2025. Debates: Ensure programmes do not “promote or encourage communal or anti-national attitudes” through the “careful selection and pre-sensitisation of the panellists”. Channels s

    匹配字段正文

  7. 凤凰科技

    谷歌CEO皮查伊:AI智能体的优势,是每周7天、每天24小时不间断工作

    谷歌CEO桑达尔·皮查伊把信息收集工作交给AI智能体,由后者整理过去24小时动态、汇总谷歌AI模型研发进展与计算资源使用情况,并跟进多个内部聊天群组的讨论。他表示,AI智能体在云端每周7天、每天24小时不间断工作,能了解此前的工作进展并从上次停下的地方接着做。报道同时提到,思科一名管理10多个AI智能体的工程总监称监督这些智能体需要不断切换任务,工时并未缩短。

    少。IT之家从报道中获悉,思科一名管理着 10 多个 AI 智能体的工程总监披露,监督它们需要不断切换任务,工作可能变得更加紧张,每天的工时却没有缩短。 对皮查伊来说,AI 智能体能够全天候工作恰恰是优势。“AI 智能体在云端运行,每周 7 天、每天 24 小时不间断工作,而且了解你之前的工作情况,所以能够从你上次停下的地方接着做。工作可以一直延续下去。当智能体继续完成之前的任务时,你就能着手解决下一个问题,然后再处理下一个。” “特别声明:以上作品内容(包括在内的视频、图片或音频)为凤凰网旗下自媒体平台“大风号”用户上传并发布,本平台仅提供信息存储空间服务。 Notice: The content above (including the videos, pictures and audios if any) is uploaded and posted by the user of Dafeng Hao, which is a social media platform and merely provides information storage space services.”

    匹配字段正文

  8. CNET

    Alloop 三合一 AI 健康穿戴设备:腕带、戒指与 Cube 传感器可替换组合

    Alloop 发布模块化 AI 原生健康穿戴设备 Trio,由腕带、戒指、Cube 传感器和 Halo 组成,可组合成腕带或戒指形态,测量静息心率、心率变异性、血氧、呼吸频率和体温,并提供睡眠评分与 Bio Age。其 AI 健康智能体调用 Google Gemini 和 ChatGPT,应用免订阅,可选 Pro 计划约 $5/月。Trio 将于 11 月 10 日在 Kickstarter 众筹,价格 $299,预计 2026 年 12 月底至 2027 年 1 月初发货。

    Alloop 应用中互相聊天。 App Store 中 Alloop 社区功能一览。Alloop/App Store 价格与上市信息 Alloop Trio 将于 11 月 10 日作为 Kickstarter 众筹活动上线。众筹价格可能会有变动,目前为 299 美元。 预计发货时间为 2026 年 12 月下旬至 2027 年 1 月上旬。 Anna Gragert 健康与家居高级编辑 Anna Gragert(她/她的)此前曾任 HelloGiggles 的生活方式编辑、So Yummy 的副编辑以及 Hunker 的高级生活方式编辑。在过去 12 年里,Anna 还为《洛杉矶时报》、Elle、Bust Magazine、Dazed、Apartment Therapy、Well+Good 等撰稿。在 CNET,她是健康家居团队的高级编辑,报道涵盖健康、健康科技、餐包以及家居和厨房科技,重点关注旨在帮助我们过上最健康、最快乐生活的技术。 查看完整简介 Anna 的最新作品 你的皮肤和头发需要过滤淋浴喷头吗?皮肤科医生这样说 .articleAuthorBioFooter-conta

    匹配字段正文

  9. AWS Machine Learning

    AWS 团队开源多智能体系统 Deep Insight,拆解生产环境五大挑战

    AWS 解决方案架构团队构建并开源了多智能体系统 Deep Insight,可将 CSV 数据与自然语言提示转化为带引用的 .docx 分析报告。系统由 Coordinator、Planner、Supervisor、Coder、Validator、Reporter、Tracker 等八个智能体分层协作,基于 Strands Agents SDK 的 Graph 与 Agents-as-Tools 模式控制执行流,并按角色分别选用 Claude Haiku、Opus 和 Sonnet。生产部署依托 Amazon Bedrock AgentCore 运行时,LLM 生成的代码在 AWS Fargate 的按会话临时容器中隔离执行,配套 Web UI 与 Ops 仪表盘。

    Deep Insight architecture: the Strands Agents multi-agent layer on Amazon Bedrock AgentCore, with an Application Load Balancer routing code execution to AWS Fargate containers in a private VPC

    don’t run in isolation. As shown in Figure 1, AgentCore runtime, the ALB, and the Fargate tasks all run inside the same private VPC. VPC endpoints connect them to Amazon Simple Storage Service (Amazon S3), Amazon Bedrock, and Amazon Elastic Container Registry (Amazon ECR) without traversing the public internet. Security groups restrict which components can reach the Code Interpreter containers. AWS Identity and Access Management (IAM) roles scope each component to only the AWS resources it needs

    匹配字段正文

  10. AWS Machine Learning

    AWS PrivateLink 如何让 Amazon Quick 从企业内网安全访问数据

    AWS 发布方案,通过 AWS PrivateLink 的 VPC 端点与 VPC 连接,让 Amazon Quick 在不经过公共互联网的情况下访问企业防火墙后的本地数据源。用户与 API 流量走 VPC 端点,数据获取流量走 VPC 连接,并叠加安全组与端点策略做纵深防御。VPC 连接需 Amazon Quick Enterprise 订阅,Quick 网站 VPC 端点不支持 AWS 中国区域和 AWS GovCloud (US) 区域。

    Architecture diagram of private access to Amazon Quick from a corporate data center through a VPC endpoint over AWS Direct Connect

    ernal API, traffic flows through the VPC connection. Amazon Quick Index builds a unified search layer across connected sources such as Confluence, SharePoint, and Amazon Simple Storage Service (Amazon S3). For data inside your VPC or on premises, knowledge base VPC connections are currently supported only for Amazon Redshift. Sources such as Confluence, SharePoint, Box, Google Drive, OneDrive, and Amazon S3 can’t use a Quick VPC connection today (see Supported VPC data sources). You can still re

    匹配字段正文

  11. Sierra:Blog

    Sierra 推出 𝜏-i18n 多语言语音智能体评测基准

    Sierra 发布 𝜏-i18n,将 𝜏-Voice 扩展到西班牙语、巴西葡萄牙语、印地语、韩语和普通话五种语言,沿用相同的航空、零售和电信任务、策略、工具与成功标准,以便跨语言比较。在 2,700 通主通话中,西班牙语、印地语、葡萄牙语的任务完成率平均落后英语 2.4、3.8、6.4 个百分点,韩语和普通话分别落后 22.6 和 9.1 个百分点,韩语是三个智能体中表现最弱的语言。除任务完成外,𝜏-i18n 还单独报告交互指标(响应时机、选择性、工具调用效率)和生成质量(自然度、语音保真度),并已开源代码库和语言包框架 LanguageFactory。

    Task completion, interaction, and generation

    In our earlier 𝜏-Voice experiments, accents caused the largest average drop in task completion among the factors we tested. That raised a broader question: how well do voice agents work for callers in other languages? Today we’re introducing 𝜏-i18n (pronounced tau-internationalization), which extends 𝜏-Voice to five more languages: Spanish, Brazilian Portuguese, Hindi, Korean, and Mandarin. 𝜏-i18n uses the same airline, retail, and telecom tasks across languages. Tasks, policies, tools, and succ

    匹配字段正文

  12. AWS Machine Learning

    用 torchtitan 在 AWS Trainium 上训练 Qwen3

    AWS 发布教程,演示在单台 trn2.48xlarge(16 颗 Trainium2、128 个物理 NeuronCores)上用 torchtitan 以三种方式训练 Qwen3-4B-Instruct-2507:Transformers v5 作为建模后端、torchtitan 原生 Qwen3,以及接入 NKI MoE kernel。三种配置共用同一 torchrun 启动方式,以 64 个逻辑 NeuronCore 运行;从已发布权重加载时首步 loss 为 6.54,随机初始化则为 12.43。

    Training output showing a step 1 loss of 6.54 and the exported checkpoint loading with no missing or unexpected keys

    el size, sequence length, or local batch size. These values determine how much memory each rank requires. Clean up If you want to keep your checkpoints, copy them to persistent storage before you clean up. If you plan to reuse the instance, stop it. When you no longer need the instance, terminate it. Conclusion AWS Trainium works as a supported torchtitan device across all three configurations in this walkthrough. You can train Qwen3 through Hugging Face Transformers v5 and load or save publishe

    匹配字段正文

  13. PyTorch Blog

    TorchTitan 更新:新增多款 SOTA 模型支持、TitanRL 与大规模性能提升

    PyTorch 原生训练平台 TorchTitan 发布更新,新增 Muse Spark Open、Muse Glimmer、Qwen3-VL、Qwen3.5、Kimi K2.7、Kimi K3 和 DeepSeek-V4 的完整训练栈支持,并引入强化学习组件 TitanRL。TitanRL 让预训练、后训练到 vLLM 推理共用同一份模型代码,支持异步 rollout 和长上下文、代码执行等智能体任务训练。性能方面,FlexShard 在 256 张 H100 上把 DeepSeekV3 的优化器耗时最多降低 79%,在 Llama3 405B 上把端到端训练步时最多降低 20%。

    added to Miles (readme, post) TorchTitan is the default training backend for Meshy, and inspires the core implementation of Areal’s training engine Archon FlexShard TorchTitan leverages FSDP2 for row-wise or column-wise sharding model state (parameters, gradients, and optimizer). However, newer features such as distributed Muon optimizer and blockwise quantization of parameters warrant or benefit from more esoteric sharding policies that are not possible with FSDP2. To address this, TorchTitan n

    匹配字段正文

  14. PyTorch Blog精选

    PyTorch 在 AMD GPU 上接入 FlyDSL 后端

    PyTorch 官方博客介绍,AMD MI350 系列 GPU 用户现可通过现有算子 API 使用 FlyDSL,覆盖 dense 与 grouped GEMM、MXFP8/MXFP4 缩放 GEMM、RMSNorm、TopK 以及经 AOTriton 0.14b 系列提供的注意力内核,无需调用自定义内核。在 MI355X 上,BF16 dense GEMM 相对 ATen 与 Triton 中较快的基线取得 1.10x 几何平均加速,MXFP8 和 MXFP4 相对 ATen 分别为 1.58x 和 1.68x,grouped GEMM 相对 Triton 为 1.20x。vLLM 端到端 A/B 测试中整请求加速为 BF16 1.13x、MXFP8 2.04x、MXFP4 3.01x,具体取决于模型与并发度。

    N/NT/TN/TT Same dtype MXFP scaled GEMM Compile F.scaled mm MXFP8, MXFP4 Static 2D; A row-major, B column-major FP16/BF16; block scales Grouped GEMM Compile F.grouped mm FP16, BF16 Ragged 2D A; grouped 3D B Uneven/empty groups RMSNorm Eager F.rms norm FP16, BF16, FP32 Contiguous; 1-D norm shape Forward TopK Eager torch.topk FP32 Contiguous; last dimension Largest, sorted; functional/out= Attention (via AOTriton) Eager, compile F.scaled dot product attention FP16, BF16 D innermost; head dim 32–512

    匹配字段正文

  15. Hugging Face精选

    NVIDIA 发布 Kumo Relational 关系基础模型,无需训练即可预测

    NVIDIA 发布预训练关系基础模型 Kumo Relational,可直接在企业数据库上做预测,单次前向传播完成,无需任务特定训练、特征工程或表展平。在 RelBench V1/V2、SAP SALT 和 4DBInfer 共 15 个数据库的 41 个任务上,它超过监督式关系深度学习模型和专家特征工程的梯度提升树流程,在 SAP SALT 上 MRR 比 AutoGluon 集成高 8%。模型通过 NVIDIA 开源 GPU 原生 structured-data-models 库或 NVIDIA NIM 提供,支持 500B+ 行数据库。

    d-data-models-client 指向它。你用 PQL 编写预测,客户端会收集上下文示例和相关表,然后发送请求: 有关针对本地 NIM 和在 Databricks 上运行的端到端示例,请参阅该客户端的示例 notebook。 致谢 我们感谢整个 Kumo 团队给予的宝贵支持。特别感谢 Josh Przybylko、Adi Wadaskar、Hema Raghavan、Manush Murali、Raja Rao DV、Keti Jovanovska、Zack Drach、Vanja Josifovski、Myungwhan Kim、Blaž Stojanovič、Siyang Xie、Alan Krumholz、Effy Fang、Abdullah Al-chihabi、Disha Dubey、Devan Johnson、Joseph Oliveira、Angela Liu、Miha Pelko、Vedaant Jain、Sally Liu、Aleksandar S. Sokolovski、Alex Porter 和 Ramona Bendias。 来自该作者的更多内容 在仿真

    匹配字段正文