OpenAI's new internal model exposed: BenchCAD 2.0 engineering test score of 0.875, higher than GPT-6 Astra

智东西11月4日报道，昨日，根据OpenAI披露信息，GPT-6 Astra和Codex已开始参与实体工程设计与制造等相关工作。其中，GPT-6 Astra参与设计了一款可与Codex进行语音交互的桌面设备，两名OpenAI团队成员在不到一周的时间内完成初步方案，并由代工厂制作出原型机。

OpenAI称，该公司硬件团队自今年2月以来的模型使用量增长了23倍，AI正从软件开发进一步进入实体产品的设计与工程环节。

此外，OpenAI还通过BenchCAD 2.0测试评估其内部模型与GPT-6 Astra的工程能力，重点考察其模型在重建三维零部件和装配体、识别电路板连接关系等任务的表现。该测试中，OpenAI内部模型平均得分达到0.875，高于GPT-6 Astra在最高推理设置下的0.594。

除了内部硬件项目，OpenAI还宣布与日本汽车制造商马自达、美国职业赛车队机构CGR（Chip Ganassi Racing）开展新的研究合作，探索AI在汽车产业实际生产场景中的应用。

一、GPT-6 Astra参与设计，语音设备不到一周完成初步方案

OpenAI首先介绍了一项内部硬件实验。该公司研究团队成员Justin Lin希望设计一款名为Codex pet的桌面设备，让用户不必打开笔记本电脑，就能直接与Codex进行语音交互。

这款设备配有显示屏和实体按键，屏幕上会显示一个虚拟角色。用户按下按键后即可语音提问，设备会通过语音作出回应。在演示中，Justin Lin询问当前有多少个正在运行的智能体，设备回答称有5个，并主动询问是否需要逐一读出。

▲Codex pet设备内部芯片设计，来源：OpenAI

Justin Lin称，自己希望通过这种方式，让原本发生在电脑屏幕上的软件交互拥有更具体的物理形态。与一个看得见的对象交谈，会让交互过程更有生命感。

在设计环节，OpenAI使用GPT-6 Astra确定设备的功能需求，并让其参与外壳、印刷电路板（Printed Circuit Board，PCB）和软件集成设计。

具体来看，GPT-6 Astra不仅负责设备外观，还设计了固定内部零部件的结构，选择电子元件并完成电路板布局和连接，同时生成用户界面、固件及连接Codex所需的软件。

OpenAI称，两名团队成员将这款设备作为业余项目，在不到一周的时间内完成初步设计。一家代工厂随后在不到一个月的时间内制作了一小批原型机。

不过，从设计方案到能够生产的实体设备，仍需要经过多轮审核和修改。OpenAI称，GPT-6 Astra尚不能始终准确考虑制造商在实际生产时需要关注的细节，这些问题也成为该公司后续改进该模型的方向。

Justin Lin在项目介绍中还提到，这是自己第一次完整经历从空白电路板到组装完成PCB的开发过程。他向GPT-6 Astra说明需求并提供设计方案，该模型据此完成电路板设计，但后续仍与工厂进行了多轮修改。团队还制作了多个并行设计方案，以及不同版本的设备外壳。

二、清华学霸加盟其硬件团队，模型使用量增长23倍

除了单个设备的设计实验，OpenAI还在内部硬件和基础设施团队中使用Codex与ChatGPT处理更多工程任务。

该公司称，其硬件团队已将其模型用于创建和修改计算机辅助设计（Computer-Aided Design，CAD）模型、制作制造图纸、搭建仿真环境以及审核设计方案，涉及机器人和算力基础设施等领域。自今年2月以来，按照Token数量计算，OpenAI硬件团队的模型使用量增长了23倍。

▲OpenAI硬件团队Codex日均使用量中位数变化。来源：OpenAI

OpenAI前沿部署工程师Grace Lam称，Codex加快了团队从设计想法到工程零部件的转化过程。团队能够更快地修改CAD模型，将三维设计转换为可用于生产的二维图纸，并以更少的人工操作完成仿真和有限元分析（Finite Element Analysis，FEA）。

OpenAI技术人员Qiong Wang则介绍，硬件系统设计人员正在使用Codex和ChatGPT整理不同团队的设计约束、探索系统架构、操作电子计算机辅助设计（Electronic Computer-Aided Design，ECAD）软件，并开展设计审核。该团队希望进一步推动其模型参与电路板生产文件的生成。

Qiong Wang本科毕业于清华大学电气工程专业，后在弗吉尼亚理工大学获得硕士和博士学位，毕业后曾留在该校电力电子系统中心担任研究科学家，之后加入谷歌担任电力工程师，目前在OpenAI任职。其研究和工作经历主要涉及电力电子及硬件系统设计。

▲Qiong Wang个人履历，来源：IEEE Xplore

此外，OpenAI基础设施团队成员Jackie Lee还介绍了Codex在建筑、工程与施工（Architecture, Engineering and Construction，AEC）及建筑信息模型（Building Information Modeling，BIM）领域的应用。

该模型可以自动处理重复建模任务、核对图纸和技术规格中的信息，以及协调不同专业之间的设计变更，再将发现的问题整理成明确的待处理事项，最后由专业技术人员审核结果。

三、工程测试得分0.875，携手马自达和CGR

为了评估其模型在工程任务中的表现，OpenAI还介绍了BenchCAD 2.0测试。这项测试主要考察其模型能否重建三维零部件和装配体，以及识别电路板上的连接关系，重点检验其模型将编程能力与工程知识结合起来处理任务的水平。

测试结果显示，OpenAI一款更新的内部模型平均得分达到0.875，而GPT-6 Astra在最高推理设置下的得分为0.594。

▲GPT-6 Astra与OpenAI内部模型在BenchCAD 2.0测试中的表现对比。来源：OpenAI

OpenAI称，工程开发流程并不只有设计环节，还包括后续验证、制造和生产等多个步骤。因此，该公司认为，其模型在工程设计任务上的进步只是早期信号，后续还需要验证其能否真正提升专业工作流程中的迭代效率。

在产业合作方面，OpenAI正与少数行业合作伙伴共同测试其模型处理真实工程问题的能力。合作方工程师会审核其模型生成的结果，评估其准确性和实际可用性，帮助OpenAI明确哪些任务能够交给其模型处理，以及其模型还需要改进哪些能力。

具体来看，OpenAI正在加强与美国职业赛车队机构Chip Ganassi Racing（CGR）的合作，探索其模型在工程设计和原型开发中的应用。

双方研发团队正在测试一套工作流程，将现有零部件的三维扫描数据转换为可编辑的CAD模型和二维制造图纸。当原始设计文件丢失或无法获取时，这种方式可以帮助工程师重新建立零部件的数字设计资料。

CGR研发工程师Matthew Ortman称，Codex能够帮助团队将原始扫描数据转换为实体模型。他可以直接在CAD软件中与Codex协作，将反馈交给该模型并直接应用到设计中，减少手动调整工作。

此外，OpenAI还宣布与日本汽车制造商马自达开展新的研究合作。该公司研究团队和前沿部署工程团队将与马自达的空气动力学及碰撞安全工程师合作，探索其模型如何辅助开发和评估新车型设计。

在具体应用中，GPT-6 Astra能够帮助马自达空气动力学工程师探索降低车辆风阻的方案。该模型可以设计不同的车头造型，模拟气流变化，并对效果较好的设计进行进一步优化。整个过程还能兼顾车辆外观风格、性能表现和成本。

马自达首席工程师Akihiro Nakata称，设计师有时会质疑有利于气流通过的车身造型是否符合设计要求。借助Astra在Codex中探索并模拟数十种方案，工程师能够了解哪些设计特征会影响空气动力学表现，也能明确设计师可以进一步调整的空间。

▲GPT-6 Astra辅助探索车辆不同车头造型及气流变化。来源：OpenAI

从内部设备设计，再到参与汽车设计和零部件建模，OpenAI正在尝试让其AI进入更复杂的实体工程流程。

Codex pet项目中的电路板设计、CGR的零部件建模，以及马自达的汽车空气动力学研究，都展示了AI参与真实工程任务的不同方式。

如何让其模型更准确地理解工程约束，并将设计能力延伸至验证和制造环节，将成为OpenAI更进一步深入实体工程领域的重要课题。

来源：OpenAI