Iluvatar CoreX Tianyao 300 live demonstration benchmarks against H200, and previews 600T on-device product

现场随机选人提问，比如“一只老虎把月亮踢飞”，让国产GPU和英伟达主力高端推理卡H200作答，结果国产GPU用时95.6秒，而英伟达H200耗时为112秒。 这块跑赢H200的GPU叫作天垓300。在近日由“上海GPU四小龙”之一的天数智芯举办的“从模型到世界”媒体开放日活动上，天垓300首次面向媒体开放实机演示。今年7月，第三方权威机构完成的第三方实测显示，在典型PD分离部署下，天垓300折算单卡整体端到端吞吐达到英伟达主力高端推理卡H200的1.05倍。 基于天垓300的AFD分离方案、IXL144超节点方案，以及天数智算软件栈、彤央端侧算力终端同台亮相，并预告标称算力达600T的下一代端侧产品。天数智芯将这条路概括为云端生产智能，软件加速适配与优化，端侧让智能进入更多现场，形成让高质量算力持续生长的增强回路。 实测对标H200：走向复杂AI任务的性能门槛 第三方权威机构今年7月针对四大主流模型、三类场景开展测试，在大模型典型的PD分离部署下，天垓300折算单卡整体端到端吞吐达到H200的1.05倍。这里比较的不是理论峰值，而是在特定模型和部署条件下，整条推理链路的实际输出能力。 天数智芯性能实验室的实测进一步覆盖典型业务场景：在64K长上下文下，天垓300的Attention性能为H200的1.05倍；GLM-5.3模型64K规模下，保障同等用户体验的同时，MoE吞吐为H200的1.15倍；8K至128K长上下文场景下Agent首字延迟较H200降低约10%-30%；多模态生成推理吞吐相较H200提升约2%—5%；在搜广推等在线业务中，推荐推理吞吐提升21%、轻量计算时延降低26%。活动现场开放天垓300实机演示，接受与H200在GLM5.3等大语言模型、文生图、文生视频场景的对比测试。 这些指标各自对应着用户能够感知的体验。长上下文处理关系到长文档分析和复杂Agent能否高效运行；MoE吞吐影响同等服务要求下系统承接请求的能力；首字延迟则直接关系到用户发出请求后的等待时间。此次对标说明天垓300已在多类关键负载上进入与国际主流高水平GPU直接比较的区间。 训练方面，在基于Qwen3-32B模型的8卡整机FP8精度训练演示中，天垓300每卡有效吞吐达到H100的1.33倍。目前，强化学习已成为OpenAI、Google、Meta、xAI以及DeepSeek、Qwen、Minimax、Kimi等国内外主力模型公开采用的核心后训练路线。天垓300同样胜任强化学习训练，据条件性工程估算，以1024张卡对已有预训练基座开展一次强化学习，在40B激活参数的中心情景下，约26天可完成约1T总参数MoE模型的500亿生成Token强化学习任务。 随着日均Token调用量较2024年初增长上千倍，Token工厂正成为算力规模化落地的热门形态，也是高质量算力三要素的集中检验场。各项表现显示，天垓300高度满足Token工厂对算力的各项实际要求。 首先是高效率。电力、机房和固定运维等支出难以随意压缩，单位Token成本很大程度上取决于设备投入和有效吞吐。在前述第三方测试条件下，天垓300折算单卡端到端吞吐达到H200的1.05倍，为单位时间内生产更多有效Token提供了性能基础。 其次是可预期。Token工厂不能只在短时测试中跑得快，还要在长时间满负荷运行时保持稳定。天垓300满负荷运行的步时波动为0.43%，低于对比Hopper方案的0.76%，长时间高负载不掉链子，直接保障利用率与可用率。 最后是可持续。天垓300通用架构原生支持CUDA语义，主流框架均已适配，并提供从加速卡、服务器到超节点的不同部署形态，面向多种模型与业务需求。 天垓300同时提供开放、可组合的异构计算平台解决方案。以通用GPU为底座，支持混合训练、PD分离与AFD分离等多种部署形态，可与其他厂商的加速卡、专用芯片协同。以AFD分离为例，天垓300承担Prefill全流程计算与解码阶段的Attention，合作厂商的XPU承担FFN专家网络，两类芯片在统一调度下异构协同，实测Decoding推理延迟可降低60%，该方案已实际跑通，是国内第一个基于GPU+XPU的异构部署AFD分离方案。 从“能不能用”，到比拼实际产出、运行效率和经济价值 “未来的AI算力系统，不一定由一种芯片包打天下。”天数智芯AI与加速计算负责人单天逸表示，“关键是如何把它们高效组织起来，让整个系统发挥更大的价值。我们希望通过开放的异构计算能力，让客户充分利用已有算力资产，以更灵活的方式构建适合自身业务的计算系统。” 高质量算力的价值，由此不只是测试成绩，而是能够持续投入实际生产的能力。天数智芯更将通用算力延伸至科学智算与物理AI等前沿领域，加速科学发现和产业应用。天垓300全面支持Boltz-2、OpenFold3、Protenix等模型及Newton、Warp、ALCHEMI等框架，覆盖生命科学、物理AI、化学与材料四大领域近百个典型场景，涵盖蛋白结构预测、药物筛选、机器人仿真、分子动力学、材料结构优化等关键任务。 物理AI尤其体现出通用计算的新价值。机器人要进入真实世界，往往需要先在遵循物理规律的仿真环境里反复试错，学习动作并验证策略。天垓300的云端仿真和计算能力，让这种学习和验证更充分。 在规模化交付侧，天垓300已形成从加速卡、一机8卡服务器到超节点的完整系统方案。天垓300 IXL144超节点在单个标准机柜内集成144颗GPU、聚合约10.1TB显存，是目前业界密度最高的单机柜GPU超节点，据测算，其每百万有效Token成本较国际主流方案可降低约40%。其新一代P2P互联引擎面向Scale-up和Scale-out，目标是将域内单次传输延迟由3—5微秒降至1微秒；支持统一内存语义编程；同时支持大EP，将专家权重分散到更多核心。该方案已在工博会公开亮相，面向不同算力规模与机房条件的其他超节点方案也将陆续推出。 彤央TY1200实测超Thor T5000：云端能力下沉端侧 开放日当日，在现场软件栈展示“用AI开发AI”的新路径时，彤央TY1200在实测中超越英特尔Thor T5000，英伟达的一款非常能打的高性能端侧计算平台。在现场随机挑人提问的演示中，彤央TY1200的回答速度明显跑赢了Thor T5000。 彤央TY1200端侧算力终端标称300 TOPS稠密算力，而非行业惯用的稀疏峰值；在Qwen3.8-27B、Qwen3.6-35B-A3B等LLM模型实测中，TY1200性能达到Thor T5000的1.2倍。以实测稠密算力超越标称算力更高的芯片，端侧的有效产出同样不被标称算力定义。 “云端GPU厂商做端侧，不是把芯片做小，而是把能力下沉。”天数智芯彤央产品市场负责人宋远盈表示。天数智芯在云侧大规模训练与推理中积累的模型压缩、量化、蒸馏和软硬协同能力，连同通用GPU架构、编译器、算子库和性能工具，被一起带到边端。模型因此可以“生在云、长在边”：云端训练、边端部署，需要时再由云端复判，模型能力与精度保持衔接。在客户现场积累的高负载交付经验，也为工业应用、具身智能等高度要求稳定性的场景交付提供能力基础。 彤央以一套生态、两种形态、五款产品覆盖从客户自主集成到即用型部署的需求；端云接续的技术路线，“把云的能力折叠进方寸之间”，也让客户的边端投入具备长期延续性。 TY1200此前已获2026工博会CIIF国芯展创新成果奖。活动现场，天数智芯还预告下一代端侧产品彤央TY2000，标称算力将达600T，把云端能力下沉的边界再向前推进一步。