←News detail

ScienceNetUpdated Oct 27 19:31

Multiple teams train LLMs on historical data to test whether AI can reproduce general relativity

English text is being prepared.

AI summary

According to a recent report in Nature, since the beginning of this year multiple teams have attempted to build retro LLMs whose training data is cut off before a certain historical point in time, to test whether the models can rediscover later scientific ideas. The results show that AI is still a considerable distance from Einstein-style scientific breakthroughs. Independent researcher Michael Hera trained Machina Mirabilis on pre-1900 data; when faced with the photoelectric effect, the model once proposed that light would break down into a large number of mutually independent pulses, but in most cases it failed and was merely imitating historical texts. Google DeepMind researcher Tom Zahavi points out in the paper "LLMs Don't Leap" that current LLMs cannot yet complete a reasoning leap like Einstein's, and that the abductive reasoning on which scientific breakthroughs depend often occurs on anomalous phenomena with very little data or in conflict with existing theories.

Why read this

AI score 53

Reviewing several retro LLM experiments and studies such as "LLMs Don't Leap," presenting the current boundaries of AI's abductive reasoning under sparse data.

Topics

Tags

Body

1915年,阿尔伯特·爱因斯坦提出广义相对论,改变了人类对时空和引力的认识。一个多世纪后,一场关于人工智能(AI)的思想实验再次把人们带回那个年代。

今年2月,在印度新德里举行的印度人工智能峰会上,谷歌“深度思维”联合创始人德米斯·哈萨比斯提出了一个设想——将1911年设为知识截止线,用此前人类积累的知识训练大型语言模型(LLM),看它能不能重新发现广义相对论。哈萨比斯认为,这可以检验通用AI的能力。

据英国《自然》杂志近日报道,今年以来,多个团队开始尝试构建“历史AI”或“复古LLM”,把训练数据卡在某个历史时间点之前,看模型能否重新发现后来出现的科学思想。结果显示,AI距离“爱因斯坦式”的科学突破,还有不小的距离。

独立AI研究人员迈克尔·赫拉训练了一个名为“Machina Mirabilis”的语言模型,只用1900年以前的数据,想让它产生量子力学、狭义相对论和广义相对论。他向模型输入光电效应等当时已经能够观察到的物理现象,还提供了后来成为广义相对论重要思想来源的“电梯思想实验”。模型偶尔确实会冒出一些颇有意思的答案。面对光电效应,它曾提出光会“分解成大量彼此独立的脉冲”。这个说法,已经挨着光量子概念的边了。

但这种灵光一闪就没有下文了。多数情况下,模型都失败了。它能说出听起来合理的物理语言,却“不知其所以然”。更多时候,它只是在模仿历史文本里的说法,而不是真的看懂了这些物理现象之间的关系。

另一个团队把时间卡在了1930年。独立计算机科学家尼克·莱文和同事训练了一个只掌握1930年以前知识的模型,想用它预测后来出现的科学成果。但真正做起来并不容易。历史资料的日期并不总是准确,数字化过程中也会出现错误、混杂。他们发现,这个所谓的“1930年模型”有时竟能正确回答20世纪50年代的问题。

今年1月,谷歌“深度思维”研究员汤姆·扎哈维在论文《LLM不会跳跃》中指出,当前LLM还无法完成爱因斯坦那样的推理跨越。科学上的重大进步,往往不是从大量数据里归纳出一般规律,而是从一个具体现象出发,提出此前没有过的解释,这种推理叫溯因推理。

想象力的飞跃,或是科学哲学家托马斯·库恩所说的“范式转变”,往往发生在数据极少的时候,或者出现在跟既有理论对不上的异常现象上。科学家面对难以解释的问题时,通常会尝试建立一个“世界模型”,即根据少量数据推断背后的基本规律。

例如,17世纪,天文学家约翰内斯·开普勒通过观测行星运动总结出数学规律。牛顿在此基础上,进一步建立万有引力定律和经典力学体系。关键在于,牛顿不是在做一道根据数据求答案的题。他要判断哪些现象值得解释,再提出一个此前不存在的理论框架。普朗克也一样。他发现自己的黑体辐射公式虽然能较好吻合实验,却始终不够完美。他没把它当误差,而是继续追问,最终提出能量量子化。

那么,AI模型能否同样从稀疏数据中推理出普适的世界模型?美国麻省理工学院计算机科学家森迪尔·穆莱纳坦认为目前还不能。今年7月,他和同事给一个“轨道力学”AI模型提供了多个遵循牛顿力学的虚拟行星系统,希望它推导出万有引力定律。结果模型确实学到了东西,却没有找到真正的规律。它为不同行星系统生成了不同的引力定律,每一套都有各自的错误。

今年5月,AI推翻了匈牙利数学家保罗·埃尔德什提出的一项存在80年之久的猜想。

穆莱纳坦认为,这是一项“真正的概念性进步”。他说,AI不是通过简单的暴力搜索找到答案,而是在解题过程中引入了一些新的数学概念。不过,AI仍然整合了数学文献中已经存在的思想,并不像爱因斯坦那样,从看似毫无关联的地方突然产生一次突破性的发现。

因此,一些科学家认为,未来的AI科学家不能只是一个更大的语言模型。穆莱纳坦提出,模型需要同时理解人类已有的知识、真实世界的数据,以及“数学空间”,即如何操作数学对象。AI系统的评价标准也不能只有预测准确率,还应考查理论的简单性、解释范围等。

爱因斯坦生前在接受《生活》杂志编辑威廉·米勒采访时曾说,最重要的是不要停止提问,好奇心自有其存在的理由。

4; 新模型引爆AI圈:不生成文本,专为机器做快速决策

1; Advanced Oncology首篇封面文章发表:AI助力幽门螺杆菌检测技术创新

2; ECE 论文解读 ▎一张P&ID图纸如何靠AI变身可计算工程知识?

4; 论文选题灵感:“可持续食品”研究方向| MDPI Sustainability

5; FDE 从备课到阅卷,AI正在重塑课堂,但有一件事它做不到

6; FDE 技术狂欢之下,谁在承担AI教育的代价?

7; 论文选题灵感:“可持续城乡发展”研究方向| MDPI Sustainability

8; 论文选题灵感:脑血管疾病 (一)| MDPI Brain Sciences

1; 西部冰冻圈加速“退化”:冰川消融敲响高山安全警钟

2; 第六届全国农业科技发展战略智库联盟大会在兰州召开

3; 2026年诺奖即将揭晓,权威专家为您全面解读!

8; 没有论文也能博士毕业,他成为全国医学领域第一人

名家博士论文163:诺贝尔奖获得者彼得·杜赫提博士论文1970年爱丁堡大

我的名校情结和名校经历

更多>>

Source

ScienceNet