←News detail

Zhihao DongxiUpdated Oct 31 01:55

XHEART New Core Voyage Releases X7 Ultra Automotive-Grade Chip, 700TOPS Compute Already in Mass Production with Over 200,000 Units Shipped

English text is being prepared.

AI summary

XHEART New Core Voyage held a launch event in Suzhou for its flagship automotive-grade chip, the X7 Ultra, which delivers 700TOPS of large-model compute and adopts a super-large-core NPU architecture. According to the measured data it disclosed for mass-produced intelligent driving models, the chip achieves a compute utilization rate of 98.7%; at equivalent model performance, memory bandwidth consumption is 80% lower than that of industry flagship products, and energy efficiency is 100% higher. The X7 series chips have shipped more than 200,000 units cumulatively within 8 months of mass production, are deployed in 10 mass-produced vehicle models, and have secured orders for more than 40 vehicle models; the next-generation X9 targets 3000TOPS of compute and 700GB/s of per-chip memory bandwidth, aimed at L4 and embodied intelligence scenarios.

Why read this

AI score 55

The original article discloses the architectural trade-offs and mass production data of this automotive-grade chip, allowing readers to understand why competition in chips has shifted toward data movement efficiency after large models are deployed in vehicles.

Topics

Tags

Body

一家成立三年的国产芯片公司,首款芯片量产8个月,累计出货超过20万颗。

芯东西10月30日消息,日前, XHEART新芯航途在苏州正式亮相,并发布旗舰产品X7 Ultra,拥有700TOPS大模型算力。

与单纯提高芯片算力不同,XHEART选择了“大模型定义芯片”的前瞻技术路线,即根据大模型的计算需求设计芯片架构,让芯片更高效地运行大模型。

▲X7 Ultra核心参数一览

按照XHEART披露的数据,X7 Ultra在真实量产智驾模型实测中,芯片的计算利用率达到98.7%,在大模型性能相当的条件下,相比行业旗舰产品,内存带宽消耗下降80%。

通过优化计算架构和数据搬运效率,X7 Ultra还实现了10倍模型参数释放。

这些数据背后,是智驾芯片乃至大模型芯片面临的一项重要变化。

随着端到端大模型加速上车,芯片不仅要提供更高算力,还要解决模型运行时的数据搬运、存储带宽和功耗问题。

XHEART希望通过创新的超大核NPU架构和原生软硬件协同,提高芯片的实际计算效率。

一、智驾大模型上车 芯片不能只靠堆算力

端到端大模型正在改变智能驾驶系统的计算方式。

过去,智能驾驶主要依靠感知、预测、规划等不同模块分别处理任务,每个模块运行对应的算法模型。

如今,端到端大模型将更多任务整合进大型神经网络,模型规模和计算复杂度不断提升,对车端芯片的要求也随之改变。

芯片的算力越来越高,但模型不一定能充分利用这些算力。

大模型完成一次计算后,可能需要将结果写入外部内存,后续运算再将其读取出来。

如果数据频繁在计算单元与内存之间往返,即使芯片拥有很高的算力,也会有大量时间消耗在数据传输上。

这就是芯片设计中常说的“内存墙”问题。

与此同时,数据搬运也需要消耗电力。对于空间、功耗和散热条件有限的汽车来说,数据访问效率直接影响整个智驾计算平台的性能和成本。

因此,芯片厂商除了提高TOPS,还需要考虑如何让计算单元更快获得数据、减少内存访问,以及降低运行功耗。

另一个问题是,芯片的研发周期远长于算法的迭代周期。

一颗芯片从设计到量产通常需要数年,而算法在此期间可能已经更新多个版本。

如果只按照当前模型设计芯片,产品量产时就可能面临新的算法需求。

▲大模型定义芯片

XHEART在2023年立项时便选择了另一种思路,先研究大模型需要怎样的计算和存储能力,再据此设计芯片架构。

按照这一思路,算法团队会提前参与芯片的技术定义,研究未来模型的计算特征、数据访问方式和关键算子需求。

芯片团队则根据这些信息,确定NPU架构、存储层次、数据通路以及软件工具链的设计方案。

XHEART将其称为“大模型定义芯片”。

这条路线的核心,是将算法与硬件的协同优化提前到芯片设计阶段,让芯片架构从一开始就围绕大模型的运行需求展开。

二、超大核NPU登场 X7 Ultra怎么提高有效算力?

X7 Ultra采用的超大核NPU,是实现“大模型定义芯片”这一技术思路的关键。

对于大型Transformer模型,如果采用多个小型计算核心共同运行,模型可能需要拆分成不同部分,在多个核心之间分配计算任务。

这样虽然可以利用多个计算核心,但不同核心之间需要交换数据,还可能涉及额外的任务调度和中间结果存储。

XHEART选择将更多计算任务集中在超大核内部,尽量让完整的端到端大模型在一个大核中运行,减少跨核心的数据交换。

根据XHEART公布的技术方案,X7 Ultra将传统小核之间百GB/s级的数据交互,整合至超大核内部TB/s级的高速互联,让数据能够在芯片内部更快地流动。

▲超大核NPU设计

不过,把计算核心做大只是第一步,如何减少不必要的数据搬运同样重要。

大模型运行时,会频繁执行Layer Norm(层归一化)、Transpose(转置)、Summation(求和)等运算。

这些运算本身未必需要特别高的算力,但如果每次都需要读取外部内存中的数据,再将计算结果写回,就会占用大量存储带宽。

为此,XHEART针对这些高频算子优化了片内数据处理路径,并配置专用加速单元。

部分计算可以直接在芯片内部完成,甚至无需离开寄存器,从而减少对外部DDR内存的访问。

这样做有两个好处,一是缩短数据传输时间,让计算单元减少等待,二是降低数据读写产生的功耗,减轻整个计算平台的散热压力。

除了数据访问,X7 Ultra还对NPU内部的计算方式进行了优化。

在大模型推理过程中,计算单元需要不断加载模型权重。如果必须等权重全部加载完成后才能进行下一步计算,就会出现计算资源闲置。

X7 Ultra通过软硬件协同优化任务调度,让计算与权重加载并行进行,使更多计算单元能够同时工作。

按照XHEART公布的量产智驾大模型实测结果,X7 Ultra的计算利用率达到98.7%。

▲X7 Ultra硬件效率

硬件之外,XHEART还重新设计了AI工具链。

大模型并不能直接放到芯片上运行,还需要通过工具链完成模型转换、量化、编译和部署。

如果工具链无法合理安排计算任务,即使硬件本身性能很强,也可能出现计算单元等待、数据反复读写等问题。

X7 Ultra采用整网级融合技术,对整个模型的计算任务进行统一编排,将可以合并的操作集中处理,减少中间结果反复写入外部内存。

这一设计也有助于适应持续升级的算法模型。未来模型发生变化时,可以通过工具链调整计算任务的部署方式,而不必每次都修改芯片硬件。

在计算精度方面,XHEART以量化模型输出与FP32浮点模型的相似度达到99.99%以上为约束,避免性能优化影响模型精度。

基于上述架构和工具链优化,X7 Ultra最终实现了700TOPS大模型算力。

▲大模型算力达到700TOPS

在大模型性能相当的条件下,对比结果显示,X7 Ultra内存带宽消耗较行业旗舰产品下降80%,能效提升100%。

更低的内存带宽消耗,意味着运行同等规模的模型时,芯片对外部存储资源的需求更少。这部分节省下来的资源,也为部署更大的模型创造了条件。

据XHEART介绍,X7 Ultra实现了10倍模型参数释放。

除了NPU,X7 Ultra还是率先采用并首发量产搭载Armv9车规级CPU的车规级芯片,它负责复杂控制和系统调度,并通过专用计算单元处理不同类型的任务。

▲芯片采用Armv9车规级IP

在激光雷达处理加速器方面,芯片支持最高2000万点/秒处理带宽的数据处理能力,可在专用计算单元内完成相关预处理工作,减少对其它计算资源的占用。

从超大核NPU、专用算子加速到AI工具链优化,X7 Ultra并非单纯增加计算单元,而是同时优化计算和数据处理方式,让700TOPS算力能够更充分地用于大模型推理。

不过,有了优秀的设计还远远不够,工程量产能力也是不可或缺的一部分。

三、从架构仿真到20万颗出货 大模型芯片走向量产

对于芯片公司来说,设计出一颗芯片只是第一步,能否顺利流片、完成车规验证并实现量产交付,同样重要。

对于XHEART来说,其从2023年成立到X7系列芯片量产,用了约两年时间。

在芯片研发初期,XHEART便对多种架构方案进行了评估。

XHEART CEO李宗霖曾公开表示,不同芯片架构会采用不同的数据流设计,团队需要提前建立性能模型,通过仿真比较各方案的计算效率,再决定最终的架构路线。

在完成架构设计后,XHEART还与Momenta合作,使用真实量产智驾大模型进行全芯片仿真验证。

这一环节被放在芯片流片之前完成,可以提前检查算法与硬件的适配情况,减少芯片回片后才发现问题的风险。

与此同时,XHEART还与主机厂提前开展域控制器设计,将芯片与其它器件的集成、验证工作同步推进,而不是等到芯片制造完成后才开始。

这些前期工作明显缩短了芯片回片后的软硬件集成时间。

根据XHEART披露的信息,首颗X7系列芯片回片后,不到24小时便完成点亮,主要数据通路全部打通。

回片第17天,X7系列芯片、底层软件和智驾大模型实现整车闭环,并开始在真实道路上进行白天、夜间和暴雨等场景测试。

随后,XHEART与主机厂合作推进量产项目,提供域控参考设计,并开展域控级PreDV验证,帮助客户完成芯片和整车系统的集成。

目前,X7系列已经取得了实际量产成果。

▲X7系列量产成绩单

截至10月29日发布会,X7系列芯片量产8个月,累计出货超过20万颗,搭载10款量产车型,并获得超过40款车型订单。

从芯片回片、算法适配到整车量产,XHEART已经完成了首代产品的商业化交付,并开始通过多个车型项目扩大出货规模。

在合作生态方面,Momenta是XHEART重要的战略合作伙伴,双方从芯片设计阶段便开展算法与硬件协同。

不过,XHEART是一家独立运营的芯片企业,与Momenta不存在排他性绑定关系。

其芯片面向主机厂及所有算法厂商开放,其它算法方案商也可以基于XHEART芯片进行适配和开发。

此次发布会上,Momenta CEO曹旭东也介绍了双方联合研发的最新进展。

据其披露,基于X7 Ultra的支持,即将发布的R7 Ultra模型参数规模将扩大5至10倍,安全性能提升5至10倍以上。

▲用户体验发展时间表

这也体现了算法与芯片联合设计的实际应用方向:通过优化底层计算平台,让车端能够运行参数更多、计算任务更复杂的智驾大模型。

除了当前的辅助驾驶市场,XHEART也开始向L3、L4自动驾驶拓展。

相比L2辅助驾驶,更高等级自动驾驶对计算平台的可靠性、功能安全和冗余能力提出了更高要求。

在芯片安全设计方面,X7 Ultra满足ISO 26262 ASIL-B功能安全要求,内部集成的安全MCU通过ASIL-D认证。

针对L3、L4应用,XHEART还推出了基于双X7芯片的计算平台,通过两颗芯片互联,在计算和安全能力方面提供冗余。

根据发布会公布的信息,双X7计算平台已经获得多个车型项目定点。

下一代产品方面,XHEART公布了X9芯片的研发目标。

按照规划,X9的大模型算力达到3000TOPS(仅用于智驾等物理AI场景),单芯片内存带宽达到700GB/s,面向L4自动驾驶、下一代世界模型以及具身智能等场景。

▲X9的大模型算力

随着模型参数规模继续扩大,车端不仅需要更多计算资源,还需要更高的存储带宽,以及更稳定、可靠的系统运行能力。

从X7系列芯片量产,到X7 Ultra提升大模型运行效率,再到X9提高计算与存储规格,XHEART正在沿着“大模型定义芯片”的路线推进产品迭代。

结语:大模型芯片进入系统效率竞争阶段

X7系列芯片实现规模化量产,说明XHEART已经具备车规级大模型芯片的交付能力。X7 Ultra则进一步将竞争重点放在模型运行效率上。

随着自动驾驶向L3、L4演进,模型对计算、存储和功能安全的要求还将继续提高。对于芯片厂商而言,未来不仅要提高算力规格,还要让新增算力在真实模型中发挥作用。

从这一角度看,软硬件协同能力正在成为智驾芯片的重要竞争因素,而XHEART正在为行业提供一个极具参考价值的范本。

Source

Zhihao Dongxi