ARIA 选择 Lumai 光学服务器进行机架级 AI 推理测试

Lumai正在将其光学AI硬件带入一个新的评估环境：由英国高级研究与发明局（ARIA）资助的Scaling Inference Lab。该实验室计划将Lumai Iris推理服务器作为其首个光学计算平台进行部署，为研究人员提供在商业数据中心环境中以机架规模测试该架构的途径。

该实验室由CommonAI CIC运营，旨在为新兴AI硬件弥合一道艰难的鸿沟：展示一款新颖的处理器是一回事；让它作为集成系统的一部分、在真实模型和常规功耗、冷却及机架要求下正常运行，则是另一回事。

此次公告建立在4月Iris Nova发布的基础之上。新的进展是通过一个公共资助的测试平台进行多节点评估，而非发布一项完整的、独立的基准测试来证明Lumai所宣称的能效数据。

Lumai是一家成立于2021年的牛津大学衍生公司，开发光学与数字混合架构。其光学引擎针对AI推理中使用的密集数学运算，而电子组件则继续处理周边的系统功能。

在该公司的技术描述中，信息被编码到光束中，并通过三维空间中的光学组件进行处理。其目标是通过光的传播并行执行大量数学运算，而不是通过晶体管开关来完成每一次计算。

这并不意味着整个服务器是被动的或无功耗的。完整系统仍然需要光源、数据转换、内存、数字处理和控制。相关的工程问题是：当实际运行一个有用的模型时，光学引擎的效率在扣除这些周边成本后还能保留多少。

Lumai描述了一种宽数据接口，旨在将转换开销分摊到大型工作负载上；一种针对模型键值缓存的三级内存设计；以及硬件感知量化。这些都是架构中的实用组成部分：数据搬运、保持可用的数值精度，以及让加速器持续获得工作任务，都会影响实验室演示之外的实际性能。

Lumai为何瞄准Prefill

大语言模型推理有两个截然不同的阶段。在prefill阶段，系统处理输入并构建生成响应所需的内部状态。在decode阶段，它逐步生成输出token，反复访问模型权重和缓存的上下文。

Prefill通常由大型矩阵运算主导，而decode则可能受内存带宽制约，尤其是在较小的批处理规模下。这种平衡会随模型规模、提示长度、批处理和 serving 配置而变化。Lumai的方法是专注于计算密集的阶段，而不是用一种处理器优化整个流水线。

其Iris产品文档将光学加速器定位在异构计算系统中，包括作为prefill处理器与针对decode优化的硬件配合使用。Lumai表示，Iris Nova支持80亿和700亿参数的Llama模型，并可供数据中心评估使用。该产品系列针对标准机架基础设施和风冷设计。

“在商业数据中心运行多节点系统，正是新计算架构证明自己是否已为实际部署做好准备的地方，”Lumai联合创始人兼CEO郭先鑫表示。ARIA的工作将这一集成问题置于下一阶段的核心。

完整系统的测试平台

ARIA是一家英国公共研发资助机构，支持具有潜在社会效益的雄心勃勃的技术。其Scaling Compute计划探索既有计算方法的替代方案，包括新的计算原语、网络和系统设计。

The Scaling Inference Lab拥有ARIA提供的5000万英镑资助。ARIA将其描述为一系列结构化的机架级试点项目，每个项目都将一项未经证实的技术纳入最终用户可运行模型的可部署系统。目标是将其全系统性能与商业替代方案进行比较并快速迭代，计划每六个月推出一套新机架。

负责交付该实验室的CommonAI是一家总部位于剑桥的非营利会员制组织，汇集企业、公共机构和学术参与者进行协作工程。其项目大纲描述了五个以上的机架级系统，并强调独立验证，以帮助新兴硬件展示真实的运行性能。

这种结构之所以重要，是因为一款加速器可能在孤立运算中表现良好，但一旦将数据搬运、调度、软件支持以及服务流水线的其余部分纳入考量，其带来的收益就会变小。共享测试环境有助于同时暴露优势和瓶颈。

Lumai表示，该架构有潜力将数据中心功耗降低多达90%，并将总拥有成本降至传统GPU架构的约十分之一。其网站描述了一条性能提升至50倍的路线图。该新闻稿还另行报告称，当光学prefill与基于硅的decode配合使用时，每次推理的能效至少提升16倍。

这些数字描述的是不同的比较，不应被视为可互换的衡量指标，也不应被视为已由ARIA独立验证的结果。该公告未提供统一的基准配置、模型质量比较或已发布的机架级结果集，因而无法据此确立其在商业工作负载中的增益。

因此，该实验室的评估才是实质性的进展。有用的测量指标应包括每完成一次请求的能耗、首token时间、持续输出吞吐量、模型准确率以及运行完整系统的成本。要进行有意义的比较，需要相同的模型、上下文长度、批处理假设和服务要求。

对于英国在有限电力预算内扩大国内AI能力的雄心而言，一套成功的光学系统可能提供另一种计算选择。Lumai的部署是在商业条件下检验这一可能性的一个步骤。其优势能否在规模化时转化为更低的serving成本，将取决于评估所产生的全系统证据。