OpenAI's new internal model scores about 47% higher than GPT 6 Astra on BenchCAD 2.0
English text is being prepared.
In the blog post "Accelerating Engineering Development for the Physical World," OpenAI disclosed that an unnamed internal model achieved an average score of 0.875 on the BenchCAD 2.0 engineering benchmark under the highest reasoning setting, while the current GPT 6 Astra scored 0.594, a relative improvement of about 47.3%. The benchmark mainly evaluates the model's ability to reconstruct 3D mechanical parts and assemblies and to identify circuit board connection relationships, among other capabilities. OpenAI did not say whether this internal model is the GPT 6.2 Astra that recently appeared in Codex backend records. The blog post also mentioned that two engineers used GPT 6 Astra to complete the design of a portable AI device in less than a week, and a contract manufacturer produced a small batch of prototype machines in less than a month, but converting the design into a manufacturable product still requires multiple rounds of manual review.
Why read this
AI score 65
An OpenAI engineering blog post disclosed that an internal model improved by about 47.3% over GPT 6 Astra on BenchCAD 2.0, and its hardware design case can be referenced to understand progress in engineering scenarios.
Topics
Body
据科技媒体TestingCatalog报道，从10月31日起，部分Codex用户的使用量分析页面出现了GPT 6.2 Astra的独立记录，但模型选择界面仍显示GPT 6 Astra。
X平台博主Token Gremlin发布的截图显示，某账户约19.8%的模型调用被计入GPT 6.2 Astra，约80%仍归属于GPT 6 Astra。不同用户截图中的调用比例存在差异，有开发者据此推测，OpenAI可能正在通过后台请求路由开展A/B测试。
此外，11月3日，海外模型追踪账号LuminaBench声称，OpenAI API模型列表中曾短暂出现“rc-ada-or-vm”和“rc-ada-sh-vm”两个新标识，随后消失。部分开发者猜测，这些代号可能与新模型的发布候选版本有关，但目前尚无证据能够确认其对应GPT 6.2 Astra。
值得注意的是，OpenAI尚未正式公布GPT 6.2 Astra，也未确认上述灰度测试及新模型的发布时间。社交平台流传的部分模型演示视频同样存在真实性争议，不能作为新模型性能已经得到验证的依据。
就在灰测传闻持续发酵之际，OpenAI于11月3日发布题为《加速面向物理世界的工程发展》的技术博文，披露了AI模型在机械设计、电子工程及实体制造领域的最新进展。
其中最受关注的是一组尚未发布模型的测试成绩。
在BenchCAD 2.0工程基准测试中，现款GPT 6 Astra在最高推理设置下的平均得分为0.594，而一款被OpenAI称为“更新的内部模型”的平均得分达到0.875，相对提升约47.3%。
BenchCAD 2.0主要评估模型重建三维机械零件及装配体、识别电路板连接关系等能力。OpenAI认为，这一结果初步表明，新一代模型有望进一步提高专业工程设计的迭代效率。
不过，OpenAI并未披露这款内部模型的正式名称，也没有说明其是否就是近期传闻中的GPT 6.2 Astra。上述成绩属于特定工程基准测试结果，尚不能直接代表真实制造任务的整体成功率。
除了公布模型跑分，OpenAI还展示了GPT 6 Astra参与实体硬件设计的案例。
按照官方介绍，两名工程师利用GPT 6 Astra，在不到一周时间内完成了一款便携式AI设备的设计工作。该设备可通过语音与Codex交互，模型参与了外壳结构、内部机械组件、PCB电路板、电子元器件、用户界面及固件软件的设计。
整个设计过程中，工程师没有直接手工修改模型生成的设计。随后，代工厂在不到一个月的时间里制造出了一小批实体原型机。
但OpenAI也承认，将设计转化为可制造产品仍需要多轮人工审查与迭代。GPT 6 Astra尚不能始终准确考虑生产工艺限制、制造公差和装配细节。
OpenAI同时披露，自今年2月以来，其硬件团队使用AI模型消耗的Token数量已经增长23倍。Codex和ChatGPT正被用于计算机辅助设计、制造图纸生成、工程仿真及设计审查等工作。
在外部合作方面，OpenAI宣布与马自达开展新的研究合作，探索利用AI辅助汽车空气动力学及碰撞安全设计。GPT 6 Astra能够生成不同的车头几何造型，并结合气流仿真帮助工程师评估设计方案。
马自达首席工程师中田明宏表示，借助AI探索和模拟数十种设计变体，工程师能够更清楚地理解哪些造型特征会影响空气动力学表现，以及设计师在哪些区域拥有更大的造型自由度。
OpenAI还扩大了与印第赛车队Chip Ganassi Racing的合作，尝试将现有零部件的三维扫描数据转换为可编辑CAD模型和二维制造图纸，以减少工程师在逆向建模及原型开发中的重复工作。
从Codex后台出现的新模型标识，到官方公布的内部模型工程跑分，近期一系列信息显示，OpenAI正在继续推进大模型的编程、计算机操作及实体工程设计能力。
不过，GPT 6.2 Astra是否已经进入正式灰测、内部新模型是否对应这一版本，以及新模型何时发布，目前仍有待OpenAI官方确认。