Sakana AI首席科学顾问于尔根·施密德胡伯教授发表主题演讲 更多

（英文报告见下文。）

2026年10月26日，Sakana AI在东京一桥讲堂举办了研讨会“From World Models to Real-World AI — 从日本开拓AI新时代”。9月，我们迎来了作为首席科学顾问加入的于尔根·施密德胡伯（Jürgen Schmidhuber）教授。自20世纪80年代以来，他开拓了众多奠定当今深度学习和生成式AI基础的理念，包括最早的Transformer（无归一化线性Transformer）、深度神经网络的预训练与蒸馏、现代世界模型、基于生成式与对抗式网络的人工好奇心、递归自我改进等。他也是1997年LSTM论文的合著者，该论文是20世纪被引用最多的AI论文。教授的基调和演讲，以及他与2018年共同撰写论文“World Models”的共同创始人兼CEO David Ha的对谈，吸引了来自日本各地400多名参会者。

在此次研讨会上，Sakana AI宣布将启动自主研发预训练模型的工作。首席科学家秋叶拓哉发布了从预训练阶段开始自主研发的语言模型系列“Sakana Sawara（暂定名）”。首个模型——小规模的“Sawara Small（暂定名）”——若进展顺利，计划于2027年春季发布。

本次研讨会旨在传达Sakana AI迎来Schmidhuber教授后的决心，并作为与日本企业和研究机构共同开拓AI下一个时代的起点而策划。本文将按演讲实录的形式呈现各场演讲和对谈的内容（有摘录，并为便于阅读对部分顺序进行了调整）。

目次


担任主持的Sakana AI幕僚长田附千绘子

开场：From World Models to Real-World AI：David Ha

首先，共同创始人兼CEO David Ha登台。


Sakana AI CEO David Ha

智能源于约束

我今天穿的T恤上印着世界模型的图。那是Schmidhuber教授在1990年画的。当时计算成本比现在高100万到10亿倍，论文里的图也是手绘后贴上去的。如今已是AI科学家一起写论文的时代，但偶尔回想20世纪80年代到90年代的创新与今天相连，是件好事。

我在社交媒体上常说的一个观点是：“基础模型是人类历史上价值贬值最快的金融资产之一。”对于创办AI模型公司的我来说，这是个令人头疼的问题。日本在这个领域该如何与世界竞争？

我的信念是，不断投入大量计算资源和数据把模型做大并非唯一道路。智能源于约束。如今的AI靠丰裕而扩展，但生物的智能诞生于匮乏。进化会选择用更少资源做更多事的方案。大脑、语言、文化都是约束催生智能的证明。

大约10年前，我沉迷于AI研究，挑战了许多OpenAI Gym的难题。在双足步行机器人任务中，我尝试不仅对神经网络、还对机器人的体型和能耗施加最小化约束。结果，AI生出了像虫子一样行走的小型机器人。那么，完全取消约束会怎样？AI找到的是一个没有大脑、只朝目标倒下的巨大机器人。AI要拥有大脑，就需要约束。

与Schmidhuber教授论文的相遇

在从像素驾驶赛车的任务中，我让智能体拥有世界模型。让它预测未来会发生什么，并能在潜在空间中表达世界。

当时我所做的，正如Jürgen常说的，是回溯过去的研究。于是我遇到了教授从1990年让世界可微的论文到2015年“On Learning to Think”的一系列世界模型论文。从算法信息论到人工好奇心，许多概念汇集其中，令我深受启发。把智能体分为控制器（C）和世界模型（M）来思考的构想，也是在那里学到的。

之后，我与Jürgen共同撰写了在NeurIPS上发表的论文“World Models”。该论文表明，智能体可以在世界模型所见的“梦”中学习。这种思想如今已成为自动驾驶和机器人等诸多创新的基础。

Sakana AI的研究与日本的AI主权

2023年，我与Llion Jones、伊藤錬共同创立了Sakana AI。Sakana在日语中是鱼的意思。智能不在一条鱼，而在鱼群中。我们如此认为，并采取集体智慧的路径。而且，作为资源有限的日本公司，我们不想做与别家相同的事。我们愿做一条朝与鱼群略有不同方向游动的红鱼。


“智能不在一条鱼，而在鱼群中”——David说道

迄今为止，我们发表了受大脑启发的Continuous Thought Machines、不使用误差反向传播训练1000层网络的PC-ALM、今年、被Nature杂志刊登的AI科学家并且，我们用LLM实现了Schmidhuber教授的哥德尔机思想，达尔文·哥德尔机等研究成果。

那么，日本在世界竞争中该如何打造AI？我认为日本的AI主权应建立在三大支柱之上：从零开始构建技术的“预训练”、契合日本价值观的“后训练”，以及将世界前沿模型与自家模型组合以激发性能的“编排”。在编排方面，我们提供Sakana Fugu；在后训练方面，我们提供Sakana Namazu。

而最后一根支柱是预训练。我们将开始着手自家模型的预训练。详情稍后由首席科学家秋叶拓哉来讲。

我们所描绘的蓝图是：预训练智能体原生的语言模型与世界模型，让它们相互协作以攻克难题，并通过AI科学家的自我改进循环来打磨模型。这一计划与Jürgen论文中的控制器与世界模型架构在大的框架上并无不同。只要把当下可获得的技术组合起来，就能活用过去那些卓越的想法，拓展前沿的边界。

主题演讲：Jürgen Schmidhuber

接下来，Jürgen Schmidhuber教授发表了主题演讲。

神经网络诞生于230年前

David穿着印有我1990年所绘那张图的T恤来了，我为此感到非常自豪。

现代AI建立在人工神经网络之上。大脑中约有1000亿个神经元，每个神经元平均拥有约1万个连接。连接强度最初是随机的，但会通过学习而增强或减弱。由此，人便能完成开车、翻译等各种事情。

那么，是谁发明了人工神经网络呢？有人以为是1940年前后美国的某个人，但这完全是错误的。它发明于230年前，即1795年到1805年之间。高斯在1795年就已掌握了与1990年代被称为“两层线性神经网络”的机制完全相同的东西。调整连接输入与输出的权重，使训练数据上的平方误差最小化。当时这被称为“最小二乘法”。最早发表它的是1805年的勒让德。如今知名企业所从事工作的核心，与这个Gauss–Legendre网络是相同的。主要区别在于，如今的网络更深。

顺便一提，年轻的高斯成名是在1801年，当时他预测了小行星谷神星的位置。观测途中隐没在太阳阴影中的谷神星，下一次会出现在哪里？高斯用这种方法预测了“下一个token”，并漂亮地猜中了。

诞生于日本的深度学习源流

那么，深度学习是谁在何处发明的呢？1965年，在当时的苏联乌克兰，伊瓦赫年科（Ivakhnenko）和拉帕（Lapa）开创了这一领域。Ivakhnenko在1971年的论文中，用8层网络从英国经济的时间序列数据预测下一个值。

1967年，日本的甘利俊一提出了并非逐层、而是一次性学习整体的端到端深度学习。在那个计算成本比现在高出数十亿倍的时代，他用了5层网络。1970年，芬兰的林纳因马（Linnainmaa）发表了如今从Google到Sakana AI都在使用的误差反向传播法。

日本的另一项重大贡献，是1979年福岛邦彦提出的首个卷积神经网络——Neocognitron。1986年，有一段将其应用于手写数字识别的著名影像。1988年，当时在日本研究室的张伟（Wei Zhang）将福岛的卷积网络与误差反向传播相结合，应用于文字识别。Zhang在1990年代进一步将其规模化。今天计算机视觉的核心——卷积神经网络，正是在日本被发明、进一步发展并规模化的。

既然来到了日本，我就想介绍一下现代AI发展中在这个国家发生的本质性事件。


从高斯到福岛邦彦——追溯现代AI源流的Jürgen

1990年的世界模型与人工好奇心

我们对神经网络自身的贡献要更晚一些，始于1990年的这张图。图中有一个小机器人，以及驱动它的控制网络。输入中有写着“R”的东西。那是奖励。机器人有疼痛传感器，会将自己的行动评价作为输入接收进来。

这是如今被称为“递归自我改进（RSI）”的东西不可或缺的要素。所谓RSI，是指不仅学习某样东西，还改进学习方式本身，再进一步改进改进方式，如此递归地学习的系统。为此，需要将来自环境的评价信号输入网络。而这在这张图中已经存在了。

在此基础上，再加入第二个网络。它观察机器人的行动与输入，预测接下来会发生什么，也就是世界模型。有了好的模型，就能制定计划。可以在头脑中试演行动，选择预测奖励多、疼痛少的行动。

但起初，模型什么都不知道。因此，就需要能够自己构思实验的“人工科学家”。婴儿并不是下载了万维网来学习的。只要动手，眼前的画面就会改变。他们在预测这种变化的同时，学习物理，学习苹果会落下，学习哭了父母会如何反应。他们是在用自己的实验，选择并收集自己需要的数据。

我在1990年发表的最简单方法中，世界模型试图最小化误差，而生成式控制器则试图最大化同一个误差。当模型找到仍有学习余地的位置时，控制器就会获得奖励。这是对它想出了能告诉自己关于世界未知之事的实验的“尤里卡”奖励。许多人实现了它的变体，如今被称为生成对抗网络（GAN），而我当时把它称为“人工好奇心”。

1991年，“奇迹之年”

只是当时，深度学习还无法很好地运作。它无法处理那种数千步之前的事件会在数千步之后产生影响的长时差问题。

于是1991年，我们接连写了几篇解决这个问题的论文。其成果连接着今天ChatGPT的“P”和“T”。也就是通过“预测下一个”的预训练来压缩长序列的方法。同一篇论文中还展示了将一个网络的知识迁移到另一个网络的蒸馏。以及Transformer的最初变体。我当时称之为“Fast Weight Controller”，但它正是今天的线性Transformer。2020年它被称为“线性Transformer”。因为是线性的，计算量只会随文本长度成比例增长。而如今计算量呈二次增长的Transformer，当文本变成1,000倍时，计算就需要100万倍。数据中心需要巨额投资的原因之一，就在这里。

同样在1991年，我的优秀学生塞普·霍赫赖特（Sepp Hochreiter）在毕业论文中展示了深度残差学习的原理。请设想一个非常简单的单元：它具有线性激活函数，与自身的连接权重为1.0。即使把误差沿时间回溯传播，也只是始终乘以1.0，所以即使经过数千步也不会改变。这正是使基于梯度下降的极深学习成为可能的东西，也是LSTM的核心。这后来连接到了我们于2015年5月作为“高速公路网络”发表的最初的深度残差前馈网络，以及随后的“ResNet”。

1991年当时，没有人对这种研究感兴趣。在某学会发表时，听众只有一位年轻女性。我说：“小姐，虽然有些尴尬，但今天似乎只能讲给你一个人听了。”她回答说：“没关系。不过请快一点，下一位发表者就是我。”即便如此，计算机每5年便宜10倍，如今已比当时便宜1,000万倍。正因如此，我们当时发表的技术，如今正在大家的智能手机中运行。

不模拟细节的计划

David在幻灯片中展示的是更好的计划方法。朴素的做法是利用世界模型以毫秒为单位模拟未来。这对国际象棋和围棋足够了，但并不是本来应该做的事。

在制定从这里去巴黎的计划时，没有人会模拟抓住电话的手部动作。叫出租车、去机场、办理登机手续。只抓住几个关键点，制定一个紧凑的计划。

我在2015年提出的是这样一种方法：控制器向世界模型（M）的隐藏单元发送查询。M可能已经看过YouTube上的所有视频，也可能拥有大量机器人经验。控制器是一个会学习的提示工程师。它只关注与当前要解决的问题相关的内部表征，从中引出答案，并改变自己的行动。那些查询不是英语也不是日语，而是数值向量的序列。简单的问题从头解起会更快吧。但任何有趣的问题，都应该能从沉睡在巨大模型深处的算法性信息中大大受益。2018年，我还写了一篇用蒸馏将控制器和模型合为一体的论文。不过，2018年更有名的论文，是用精彩实验证明世界模型确实有用的David那篇。

走向屏幕之外的AI

在这里，让我们把目光转向更广阔的历史背景。今天我讲的许多事情，发生在德国和日本。

1990年，日本看起来像是未来的国家。全球市值最高的前6家公司全是日本企业。1995年，日本和德国的名义GDP加起来，几乎与美国的加上中国的相当。而在2002年时，世界上一半以上的机器人是日本制造的，第二多的是德国。

如今真正运行良好的AI，只有屏幕另一侧的AI。屏幕另一侧有超人的国际象棋棋手、围棋棋手和数学家。但是，还没有能逼近管道工或电工工作的机器人。它甚至远远比不上一个踢足球的小男孩能做到的事。

现实世界中的Physical AI，目前还不属于任何人。如今，一条通往让机器人借助演示和强化学习熟练使用现有各种工具和机器的道路正开始显现。如果这样的机器人得以实现，就能实现机器自我复制的终极扩展。届时重要的不是这个国家有多少人，而是是否拥有这样的机器。我希望像日本和德国这样在机器人领域实力雄厚的国家能够引领这一进程，重拾昔日的辉煌。


谈论Physical AI可能性的Jürgen

未来是光明的

当前的趋势有利于小型参与者，而不是大企业。40年前，我认识的一位富人曾在保时捷上装载车载电话，与乘坐类似汽车的人通过卫星通话。那东西非常昂贵。如今，世界上任何人都拥有远比它更出色的智能手机。

AI也是一样。每5年价格降至十分之一，而其物理极限还远未到来。每个人都将拥有大量AI，这些AI将让人们的生活更长久、更幸福、更健康。未来是光明的。

LLM Development at the RSI Lab：秋叶拓哉

休息之后进入后半场，RSI Lab的研究人员进行了三场演讲。首先登台的是负责LLM团队的首席科学家秋叶拓哉。


Sakana AI首席科学家秋叶拓哉

从智能体层走向模型层

Sakana AI于2023年创立，我作为最早期的成员加入公司。迄今为止我们开展了各种工作，其中一个核心方向是“智能体层”。也就是在假定已有强大模型的前提下，利用它来做有趣事情的研究。

其中之一是ALE-Agent。这是一个寻找困难组合最优化算法的智能体，它曾多次实时参加实际的编程竞赛，并击败人类专家夺得冠军。另一个是AB-MCTS。这是一种通过反复调用语言模型来解决难题的推理时扩展通用算法，已被引入Sakana AI的多个实际项目中。

智能体层的研究非常有趣，也取得了成果。但最近我感到模型层再次变得有吸引力。近期的开放模型非常强大，正在逼近前沿模型，已足以用于实际工作。数据、训练配方和软件更容易获取，构建模型的成本也在下降。

而或许最重要的是，在模型层进行特化已成为一个有力的选项。通过智能体型强化学习，可以针对自己的工具、业务和脚手架进行端到端的模型优化追加训练。这样特化后的模型有时会超越通用模型。

今年，我们发布了Sakana Namazu。这是一个主要面向日本用户对海外开放模型进行后训练得到的模型。我们减轻了地缘政治偏见等，加深了对日本文化的理解，并让它掌握了日本用户感到舒适的沟通方式和思维方式。

而今年夏天，我们启动了RSI Lab。RSI Lab设有语言模型、世界模型和RSI研究三个团队。我负责语言模型团队。

Sakana Sawara（暂定名）


发布新语言模型系列“Sakana Sawara（暂定名）”的秋叶拓哉

那么，RSI Lab接下来要做什么？今天要介绍的是新的语言模型系列“Sakana Sawara”。请注意这仍是暂定名称。

Sawara是我们从零开始构建的语言模型。此前的Namazu专注于对现有开放模型进行后训练，而Sawara将把工作扩展到预训练。由于不基于其他模型，我们可以管理包括训练数据和学习方法在内的模型的全部内容。此外，它从一开始就面向使用工具的推理、编程以及长时间任务等智能体用途进行设计。我们称之为“智能体原生”的语言模型。

Sawara有两个角色。一是作为Sakana AI产品和解决方案的基础。二是作为RSI研究的基础。能够掌握模型和配方的全部内容、所有过程对我们透明，这将使更广泛范围的RSI研究成为可能。

遗憾的是，Sawara仍在开发中，今天能讲的内容不多。因此今天我想谈谈自己对语言模型开发的看法及其战略。


Sawara的4个特征

语言模型开发是“研究的竞争”

这场竞争是使用更多GPU的竞争，这一点很多人都会同意。这100%正确。只不过，GPU往往被认为主要用于“规模”，也就是增加参数数量和预训练token数量。

实际上这是一种误解。根据Epoch AI的分析，在许多组织中，用于最终训练的计算资源只占整体的一小部分。例如在OpenAI，据推算研究开发所用的计算资源中，最终训练所占比例约为10%。计算资源的大部分被用于试错，也就是研究。可以说，语言模型开发比大家想象的更是“研究的竞争”。

那么，研究竞争中的关键是什么？我认为，语言模型的进步是“计算资源”与“研究效率”的乘积。计算资源很简单。GPU越多，就能做更多实验。另一个研究效率虽然容易被低估，但同样重要。因为结果由这两个因素的乘积决定。研究效率是指能从一个实验中获得多少、学到多少。从这十年的经验来看，我感受到研究者之间在这方面存在巨大差异。有些人能够设计好的实验，并选择能带来尽可能多信息的实验。

人才密度与大规模AI token

那么，现在决定团队研究能力的是什么？我认为是“人才密度”和“大规模运用AI”。现在是2026年，而不是2023年。自从我们在2024年发布AI科学家以来，许多团队都跟进进入了这一领域。如今，所有人都会同意研究是人类与AI的协作。而现在，我们更重视人才密度，而不是人数。我对自己的团队有信心。因为这是我迄今为止见过的人才密度最高的团队。

有趣的是，这一思路会直接通向RSI。我们已经在使用AI，但那大概不是我们自己的模型。但接下来，其中的一部分AI可能会变成Sawara。而Sawara的下一个版本，可能会借助Sawara来开发。这取决于RSI的定义，但我愿意称之为“部分RSI”。未来，我们的目标是让Sawara承担这一过程的更多部分。

路线图

最后是开发路线图。目前我们正在推进学习的准备工作，并将在今年12月开始Sawara Small（暂定名）的预训练。如果进展顺利，计划于明年春季公开权重。之后，我们还计划开发规模更大的Sawara Large（暂定名）。

Towards Open-Ended Autonomous Discovery Systems：Robert Tjarko Lange

接下来，RSI团队的Staff Research Scientist Robert Tjarko Lange登台。


Staff Research Scientist Robert Tjarko Lange

AI科学家的历程

当我开始科学家生涯时，给我很大启发的东西之一，是Jürgen的学位论文。那是一篇关于自我递归改进的遗传算法的论文。我由此开始了元学习研究。在2026年的今天，我们拥有了大语言模型这一强大得多的“变异算子”，并能够自主验证假设。

科学的进步支撑着社会的富足。然而迄今为止，研究都是在没有AI帮助的情况下仅由人类完成的。因此，我们在2024年、语言模型开始能够遵循指令的时候，AI科学家v1开始了开发。这是一个用智能体将研究全流程自动化的蓝图，从提出想法、确认新颖性，到实验、撰写论文、同行评审。

一年后的v2中，我们使用树搜索来组织研究的各个阶段。然后，AI生成的论文在机器学习国际会议的研讨会上通过了人类同行评审。这项实验事先获得了伦理审查批准，并与研讨会主办方合作进行。我们始终重视尊重科学过程并保持诚信。

而最新的v3也被称为Agentic Scientist。它可以完全自主运行，但设计上更重视与人类一起打磨假设的“共同发现”。它还具备验证所有主张、减少奖励黑客行为的机制。使用v3撰写的论文，在我们确认所有主张后投稿，并被ALIFE 2026主会录用。


讲述AI科学家历程的Robert

拓展想法的广度

那么，接下来是什么？当前的自动研究系统，可以说是“打了类固醇的超参数调优”。即使能够改写代码，想法的广度也与人类研究不同。我们认为，需要引导系统不仅去攀登基准测试，还要以更多样的形式开展研究。

其线索就在Sakana AI自身的组织中。Frontier Intelligence Group（FIG）。在FIG中，研究者以开放的方式探索不局限于眼前的有趣假设。如何打造具有这种精神、不偏向攀登的AI科学家？这就是我们的问题。

人类科学家中有生物学家，也有经济学家和哲学家。要推动整个科学前进，就需要能够适应不同领域、自行掌握专业性并自我改进的AI科学家。此外，我自己的研究中八成是试错，其中很多不会写进最终论文。这些科学研究的试错记录，几乎不包含在LLM的训练数据中。我们需要明确思考如何让AI掌握Karl Popper式证伪主义这样的科学方法本身。

而且，科学本质上不是单个天才的工作，而是许多人聚集起来推进的事业。如何创造一个AI科学家作为集体协作、人类也参与其中的世界？如何分配资源和科学成果的credit、如何判断贡献的意义，将成为技术性问题。

最后，安全性至关重要。但我认为，解决方案不是阻止AI进步，而是用AI来安全地开发AI。例如，如果利用AI科学家进行机械可解释性和思维链监控，不仅能获得更好的系统，还能更深入地理解该系统。

世界模型与Physical AI：Stefania Druga／Sebastian Risi

第三场演讲以世界模型和Physical AI为主题，由Stefania Druga和Sebastian Risi主讲。


Sebastian Risi（左）与Stefania Druga（右）

为什么在日本开展Physical AI研究（Stefania）

我们之所以对在日本开展这项研究感到兴奋，是因为日本在机器人技术和Physical AI方面具有优势。另一方面，日本也面临每10人中有3人年龄在65岁以上的重大课题。这既是问题，同时也是机遇。如果将日本的硬件实力与当前AI的学习能力相结合，应该能够为最需要帮助的人们打造应用。

在实机上试验之前，先用世界模型验证（Sebastian）

机器人学习在过去10年里取得了巨大进步。即便如此，家庭中仍然没有机器人，而且正如Jürgen所说，目前还没有机器人的水管工或电气技师。我认为原因在于“速度”和“安全性”这两个差距。使用大型LLM会导致推理缓慢，完成任务需要很长时间。此外，即使任务成功，也有18〜28%的情况并未按指令行动。

为了填补这一差距，Sakana AI押注的是世界模型。在现实世界中行动之前，先用世界模型验证行动。并且，只有在实机上获得物理证据时，才接受改进。对机器人来说，现实世界中的试错成本非常高。正因如此，才需要能够想象未来的世界模型。

在我们的构想中，推理速度快的小型视觉语言模型（VLM）提出行动计划。世界模型接收该计划，预测数步之后的状态，判断其是否可执行以及失败的原因，并评估其距离目标有多近。用世界模型筛选大量计划，只将留下的少数计划在实机上试验。然后利用其结果改进VLM。


说明结合世界模型与实机的改进循环的Sebastian Risi

不过，我们追求的不是单纯的自我改进，而是“改进方式本身不断改进”的递归式自我改进。将Agentic Scientist、我们正在开发的智能体原生语言模型以及Physical AI连接起来，由Agentic Scientist改进世界模型本身。将从现实世界获得的结果反馈给Agentic Scientist，从而闭合循环。为防止奖励黑客行为，我们设定了严格标准，例如反复评估后改进是否可复现、是否有统计支持、在未知任务上是否也能改进等。此外，我们还利用Sakana AI的DNA——集体智慧，推进使RSI更有效、更安全的研究。


介绍世界模型与Physical AI举措的Stefania Druga

来自初期实验（Stefania）

世界模型预测接下来会发生什么，而实验告诉我们实际发生了什么。我们希望一边填补这一差距，一边递归地学习。

第一个例子是与AI机器人协会（AIRoA）合作，在仿真环境中的Franka机器人上进行的实验。经过微调的π0.5策略模型最初既无法打开抽屉，也无法放入物品。通过反复向控制器展示失败情况，不断改进，最终成功完成了这些任务。接下来，将验证改进后的策略在实机上是否也能运行。

此外，我们还开始了根据任务改变自身形态的机器人研究。从实机影像构建仿真，在仿真中快速、低成本且安全地探索，将找到的控制器在实机上试验，再将结果反馈回去。我们已在一个简单例子中完整跑通了这一循环。

这一思路不仅限于机器人。我们还在尝试将显微镜和传感器连接到Sakana的Agentic Scientist，由AI预测最适合数据收集的照明条件，并自行改变照明以调整实验环境。更好的实验产生更好的模型，更好的模型又产生更好的实验。

世界正在改变。我们对世界进行建模，机器则适应这一模型。而人类也会改变。我们希望创造一个人类与机器安全、丰富地共同进化的世界。

对谈：David Ha × Jürgen Schmidhuber

最后一场是David Ha与Jürgen的对谈。主持人由Stefania Druga担任。


对谈中的David Ha与Jürgen，以及主持人Stefania Druga

始于一封邮件

Stefania：两位的论文《World Models》是如何诞生的？

David：2016年NeurIPS的研讨会上，Jürgen做了题为“On Learning to Think”的演讲，以此为契机，我开始学习世界模型。之后，我在OpenAI的赛车课题中实现了一种世界模型并发起挑战。我将中间进展通过邮件发给教授，结果我们决定一起写成一篇正式论文，经过追加实验，最终以NeurIPS口头报告的形式发表。

Jürgen：我想强调的是，这完全是David主导的研究。被选为口头报告的大约是录用论文的前2%。

Stefania：收到那封带有赛车动画的邮件时，您是怎么想的？

Jürgen：那是我收到过的最有吸引力的邮件之一。

这8年间发生的事

Stefania：论文发表至今已过去8年。世界模型的研究发生了怎样的变化，又有什么让您感到惊讶？

David：世界模型的规模取得了巨大进展，也开始被用于自动驾驶等领域。另一方面，令我惊讶的是，创新性仍然不足。人类可以借助控制器和预测器，凭直觉迅速做出判断。但在机器人领域，目前的主流做法仍然是每次规划都要运行蒙特卡洛树搜索的模拟。利用AI科学家，特别是在Physical AI领域推动世界模型向前发展，正是我们对Sakana AI工作的期待。

Jürgen：最大的教训就是，总之要耐心等待。计算机每5年便宜10倍。几十年后，还会再便宜100万倍。今天觉得了不起的事情，回过头来看也会显得微不足道。另一方面，机器人的硬件并不像计算机那样进化得那么快。30年前，日本就已经有相当优秀的步行机器人了。现在的机器人比当时好了3到5倍，但并不是100万倍。Physical AI是需要时间的。

对研究者的要求

Stefania：智能体编程极大地改变了开发者的工作方式，如今科学家的角色也在发生变化。我们该如何面对这一变化？

David：要求的水准在不断提高。如果我现在去应聘某家AI企业，包括我自己的公司在內，我想我都会在面试中被淘汰。3年前，我们对实习生的要求是提出想法、实现实验、总结结果的能力。现在这些都可以交给AI智能体去做。所以，我们现在要求实习生像教授或PI那样思考。科学家要像元科学家那样思考，元科学家则要像元元科学家那样思考。

不过，我认为有些东西即使时代变迁也会保留下来。我称之为“愿景”。我经常举的日本例子是任天堂。任天堂没有追求最先进的性能，而是坚持创造有趣游戏的愿景。即使不是最好的硬件，正因为始终坚持愿景才取得了成功。无论技术如何进步，只要有自己的愿景和使命，就应该能够利用技术去实现它。

Jürgen：如今，观察什么样的人工科学家能够良好运作是件很有意思的事。取得飞跃性进展的是人工数学家。数学是演绎的科学，公理这一规则是给定的。可以停留在屏幕的另一侧，专注于寻找证明或进行反证。

物理学则不同。我们并不知道游戏的规则。必须从原始像素中引出尚不为人知的新物理定律。这是一种归纳性的工作，比演绎要困难得多。我一直说，人工物理学家首次发现新的物理定律，大概会与人工音乐家首次创作出足以跻身人类历史上百大名曲的全新旋律，几乎在同一时期发生。


对谈中的David Ha与Jürgen

结语

在Jürgen所构想的AI中，生成式AI大概实现了一半。自主构思实验、理解世界的人工科学家，以及在现实世界中工作的Physical AI这剩下的一半，尚未达到规模化。如今的AI研究似乎被美国和中国那些竞逐大规模基础模型规模的玩家所占据，但机会恰恰更多地向巨型实验室之外敞开。日本就是其中一个有希望的地方。

Sakana AI一直致力于让海外出身的研究者与日本顶尖研究者共同工作，在日本打造一家前沿AI企业。在2026年6月启动的RSI Lab中，我们将一举推进以Sawara为首的下一代语言模型、由AI开展的AI研究，以及与之结合的世界模型和Physical AI研究。今后，我们也将继续从Jürgen那里获得见解与灵感，共同迎接这一挑战。

希望本次研讨会能成为与日本企业和研究机构的各位共同开创AI下一个时代的起点之一。

感谢各位莅临。

Sakana AI

Sakana AI正在RSI Lab以及研究、工程、商务等各岗位招募与我们共同挑战的伙伴。

英文报告

[活动报告] Sakana AI研讨会：Jürgen Schmidhuber谈AI的过去与未来，以及从日本推动语言模型、世界模型与Physical AI的前沿
Sakana AI首席科学顾问Jürgen Schmidhuber教授发表主题演讲

2026年10月26日，Sakana AI在东京一桥讲堂举办了研讨会“从世界模型到现实世界AI”。9月，我们 迎来了Jürgen Schmidhuber教授出任首席科学顾问自20世纪80年代以来，他开创了许多奠定当今深度学习和生成式AI基础的理念，包括首个Transformer（未归一化的线性Transformer）、深度神经网络的预训练与蒸馏、现代世界模型、通过生成式与对抗式网络实现的人工好奇心，以及递归自我改进。他还参与合著了著名的1997年LSTM论文，该论文现已成为20世纪被引用次数最多的AI论文。来自日本各地400多人参加了他的主题演讲，以及与我们联合创始人兼CEO David Ha的对话，David Ha与他合著了2018年的论文“世界模型”。

在研讨会上，Sakana AI宣布将进军自研模型的预训练。我们的首席科学家Takuya Akiba介绍了“Sakana Sawara”（暂定名），这是一个我们将从零开始构建的新语言模型系列，首先从预训练入手。如果一切顺利，首个模型——一个名为“Sawara Small”（暂定名）的小型模型——将于2027年春季发布。

我们举办此次研讨会，是为了在Schmidhuber教授加入我们之际分享我们的雄心，并以此作为与日本各地企业和研究机构共同开启AI下一个时代的起点。本报告以编辑后的文字稿形式呈现了演讲和对话（经过摘录，部分段落为便于阅读而调整了顺序）。

目录


Sakana AI 幕僚长、本次研讨会主持人 Chieko Tazuke

开幕：从世界模型到现实世界AI | David Ha

活动以 Sakana AI 联合创始人兼 CEO David Ha 的演讲开场。


Sakana AI 首席执行官 David Ha

智能源于约束

我今天穿的T恤上印有一张世界模型示意图。那是 Jürgen Schmidhuber 教授本人在 1990 年亲手绘制的。当时，算力比今天昂贵一百万到十亿倍，他不得不手绘这些图，再粘贴到论文中。如今，我们有 AI 科学家与我们共同撰写论文，但回想 1980 年代和 1990 年代的创新如何引领我们走到今天，仍是一件好事。

我在社交媒体上提出的一个犀利观点是：基础模型是人类历史上贬值最快的金融资产之一。作为一个创办了制造这些模型的 AI 公司的人，这对我来说是真正的挣扎。日本如何在这个领域与世界其他地区竞争？

我的核心信念之一是，AI 发展不仅仅是把更多算力和数据投入越来越大的模型。我相信智能源于约束。现代 AI 通过充裕实现规模化，但生物智能源于稀缺。进化选择的是以更少资源做更多事。我们的大脑、我们的语言和我们的文化都证明，约束驱动智能。

十多年前，我迷上了研究 AI，并承担了 OpenAI Gym 中一些最困难的任务。当我训练神经网络解决双足步行者任务时，我还限制了机器人的尺寸和它能使用的能量。在这些约束下，AI 想出了一个小的、昆虫般的步行者。当完全没有约束时会发生什么？AI 发现了一个没有大脑的巨型机器人，它只是朝出口倒下去。我们需要约束，才能让我们的 AI 真正拥有大脑。

发现 Schmidhuber 教授的论文

对于赛车任务，即智能体从像素驾驶，我给智能体一个世界模型，以便它能预测未来会发生什么，并在潜在空间中表示世界。

正如Jürgen总是告诉我们的那样，我回过头去看了看人们过去做过什么。就这样，我发现了他在世界模型方面的一系列论文，从1990年那篇关于让世界可微分的论文，到2015年的《论学会思考》。我觉得它们非常鼓舞人心。它们把许多概念汇聚在一起，从算法信息论到人工好奇心，我也正是在那里学会了把智能体看作一个控制器C和一个模型M。

随后，我和他一起写了《世界模型》论文，并在NeurIPS上做了展示。我们证明了，智能体实际上可以在其自身世界模型所幻觉出的梦境中接受训练。这些思想如今支撑着许多现代创新，从自动驾驶汽车到机器人技术。

Sakana AI的研究与日本的AI主权

2023年，我与Llion Jones和Ren Ito共同创立了Sakana AI。Sakana在日语中意为鱼。我们相信，智能不仅仅关乎单条鱼，而是关乎鱼群，我们采取的是集体智能的方法。作为一家资源有限的日本公司，我们也不想完全照搬其他所有人的做法。我们想成为那条游得与其余鱼略有不同的红鱼。


David Ha：“智能不仅仅是一条鱼。它是鱼群。”

我们迄今为止的研究包括受大脑启发的 连续思维机器, PC-ALM，它训练1000层网络而无需反向传播， 今年发表在《自然》上的“AI科学家”，，以及 达尔文·哥德尔机，它借助大语言模型将Jürgen的哥德尔机构想变为现实。

那么，在全球竞争之中，日本应当如何构建AI？我认为，日本的AI主权建立在三大支柱之上。预训练：从零开始开发这项技术的能力。后训练：让模型与我们的价值观对齐，尤其是日本的价值观。以及编排：将我们的模型与世界其他地区产出的前沿模型相结合，以进一步推动性能提升。在编排方面，我们提供 Sakana Fugu，而在后训练方面， Sakana Namazu.

最后一个支柱是预训练。我们将开始预训练我们自己的模型，我们的首席科学家Takuya Akiba将在今天晚些时候谈到这些工作。

我们的计划是预训练一个智能体原生LLM和一个智能体原生世界模型，让它们协同处理困难任务，并通过由AI科学家驱动的自我改进循环来改进它们。这个计划看起来与Schmidhuber教授的一篇论文并没有太大不同：一个控制器和一个世界模型协同工作。借助当今可用的工具，我们可以基于过去的这些伟大思想继续推进前沿。

主题演讲 | Jürgen Schmidhuber

接下来，Jürgen Schmidhuber教授发表了主题演讲。

神经网络发明于230年前

我非常自豪David选择穿上一件基于我1990年所画图画的T恤出席。

现代AI基于人工神经网络。你的大脑大约有1000亿个神经元，每个神经元平均可能有10000个连接。起初，这些连接的强度是随机的，但通过学习，一些连接会变强，一些会变弱。整个系统就是这样学会驾驶汽车、翻译语言以及做各种事情的。

人工神经网络是谁发明的？有人认为是美国人在1940年前后发明的，但这完全错了。它们是在230年前，也就是1795年到1805年之间被发明的。1795年，高斯所拥有的，正是20世纪90年代被称为两层线性神经网络的东西：输入单元与输出单元之间连接上的权重经过调整，使训练集上的均方误差最小化。当时这被称为最小二乘法。第一个发表它的是勒让德，时间是1805年。这个高斯–勒让德网络，正是今天所有著名公司所做工作的核心。主要区别在于，今天的网络更深。

顺便说一句，年轻的高斯在1801年因预测了小行星谷神星在消失于太阳背后之后的位置而声名鹊起。可以说，他预测了下一个token，而且他预测对了。

深度学习的根源，以及日本

深度学习是谁发明的？它始于1965年的乌克兰——当时是苏联的一部分——由伊瓦赫年科和拉帕开创。伊瓦赫年科1971年的论文描述了一个八层网络，它通过预测时间序列的下一个值，学会了为英国经济建模。

然后，在1967年，日本研究者甘利俊一引入了端到端深度学习，使用的是一个五层网络，而当时的算力比今天昂贵数十亿倍。1970年，芬兰的塞波·林奈恩马发表了如今被称为反向传播的方法，从谷歌到Sakana AI，人人都在使用它。

日本的另一项伟大贡献出现在1979年，当时福岛邦彦引入了第一个卷积神经网络，他称之为Neocognitron。有一段著名的1986年视频，展示了它识别手写数字。1988年，在日本一家实验室工作的张伟将福岛的卷积网络与反向传播相结合，并将其应用于字符识别。张伟还在20世纪90年代将其规模化。因此，如今计算机视觉的核心——卷积神经网络，是在日本被发明、进一步发展和规模化的。

既然我来到了日本，我想指出这个国家在现代AI发展中所发生的一些至关重要的事情。


Jürgen追溯现代AI的根源，从高斯到福岛

世界模型与人工好奇心，1990年

我们自己对于神经网络的贡献出现得更晚，始于1990年的这张图。图中有一个小机器人，以及一个控制网络。其中一个输入被标记为R，代表奖励。机器人装有疼痛传感器，并接收对其正在做的事情的评估作为输入。

这就是如今被称为递归自我改进的一个关键要素：一个系统不仅学会做某件事，还学会改进自己的学习方式，并改进自己改进学习方式的方式，如此递归下去。为此，网络必须看到来自环境的评估。这一点在当时就已经存在了。

然后你再加入第二个网络，它观察机器人的动作和输入，并试图预测接下来会发生什么。这就是一个世界模型。有了好的模型，你就可以进行规划：你可以进行头脑中的实验，并选择那些能带来大量预测奖励和少量疼痛的动作序列。

但一开始，模型一无所知。这就是为什么你立刻就需要某种类似人工科学家的东西，一个能自己发明实验的东西。婴儿并不是通过下载万维网来学习的。如果婴儿移动自己的手，传入的视频就会发生变化，而它学会预测这种变化。它就是这样学习物理的，学习苹果如何落到地上，学习父母在它哭泣时如何反应。它通过自己发明的实验创造自己的数据。

做到这一点的最简单方式，也是我在1990年发表的方式，就是让世界模型最小化自己的误差，同时让生成式控制器试图最大化同一个误差。每当控制器找到环境中模型仍能学到东西的一个角落，它就会获得奖励：因发明了一个告诉你未知之事的实验而获得的“尤里卡”奖励。许多人已经实现了这一方法的变体，如今这被称为生成对抗网络。我当时称之为人工好奇心。

1991年，奇迹之年

当时，深度学习并没有真正很好地运作。你无法处理长时间滞后的问题，即一千步之前发生的事情会影响一千步之后的事情。

所以在1991年，我们有一大堆论文来解决那个问题，而有趣的是，它们如今正是ChatGPT中的P和T。预训练：通过预测下一个内容来压缩长序列。在同一篇论文中，还将一个神经网络的知识蒸馏到另一个神经网络中。以及第一个Transformer变体。我称之为快速权重控制器，但它正是2020年被称为线性Transformer的东西。它呈线性扩展。而如今呈二次扩展的Transformer，如果你有1000倍的文本，就需要一百万倍的计算量。这就是数据中心如此昂贵的原因之一。

同样在1991年，我的天才学生Sepp Hochreiter在他的毕业论文中引入了深度残差学习的原理。考虑一个非常简单的单元，具有线性激活函数，以及一个权重为1.0的自身连接。当你通过时间反向传播误差时，你总是乘以1.0，所以经过数千步也不会发生变化。这正是通过梯度下降实现极深学习的关键，也是LSTM的核心。后来这引出了第一个深度残差前馈网络，我们于2015年5月以“Highway Network”之名发表（后来则是“ResNet”）。

1991年，没有人对这一切感兴趣。我曾经在一次会议上做演讲，听众中只有一个人，一位年轻女士。我说：“年轻女士，这很尴尬，但显然今天我就要只给你一个人做这场演讲了。”她说：“好吧，但请快一点，我是下一位演讲者。”但每五年，计算机就便宜10倍。如今计算比那时便宜1000万倍，这就是为什么我们当时发表的技术如今都在你们的智能手机上。

不模拟每个细节的规划

David在他的幻灯片中展示的是一种更好的规划方式。朴素的方式是用世界模型逐毫秒地模拟未来。这对国际象棋和棋盘游戏来说足够好了，但这不是你应该做的。

当你规划从这里到巴黎的旅行时，你不会模拟你的手去抓手机。你会想到几个高层次的事情：叫出租车、去机场、办理登机。你制定一个紧凑的计划，忽略细节。

我在2015年提出的是，让控制器向世界模型M的隐藏单元发送查询。M可能看过所有YouTube视频，或者有大量机器人经验。控制器是一个会学习的提示工程师，它学会寻址与当前问题相关的少数内部表示，解释答案，并改变自己的行为。这些查询不是英语或日语；它们只是数字向量的序列。对于简单问题，从头解决更容易，但所有有趣的、复杂的问题都将极大地受益于这个巨大模型深处所蕴含的算法信息。2018年，我还写了一篇论文，通过蒸馏将模型和控制器合并为一个网络。但2018年更著名的论文是David的那篇，它通过出色的实验展示了世界模型在实践中可以多么有用。

超越屏幕的AI

让我把这一切放入更广阔的历史背景中。我今天提到的许多事情都发生在德国和日本。

1990年，日本看起来像是未来的国度。世界上最有价值的六家公司全都是日本的。1995年，日本和德国的名义GDP加起来几乎等于美国加中国。而在2002年，世界上超过一半的机器人来自日本，机器人数量第二多的国家是德国。

目前，唯一真正好用的AI是屏幕背后的AI。在屏幕背后，有超越人类的国际象棋棋手、超越人类的围棋棋手、超越人类的数学家。但没有任何机器人能接近水管工或电工所能做的事，也接近不了一个小男孩踢足球所能做的事。

现实世界中的物理AI目前还不属于任何人。我们现在看到了一个机会：让机器人通过示范和强化学习，学会操作所有现有的工具和机器。一旦我们拥有了这样的机器人，机器就能制造更多的机器，我们就有了终极的扩展机器。到那时，一个国家有多少人就不再重要；重要的是它是否拥有那样的机器。我希望日本和德国，也许还有其他几个以机器人为导向的国家，能在这方面引领潮流，也许能以这种方式重拾昔日的辉煌。


Jürgen谈物理AI的前景

未来是光明的

所有现有的趋势都在为小人物服务，而不是为大公司服务。四十年前，我认识一个有钱人，他的保时捷里装了一部移动电话，这样他就能通过卫星与另一个拥有类似保时捷的人通话。超级昂贵。今天，全世界每个人都有一部智能手机，而且要好得多得多。

AI也将如此。每五年它就会便宜10倍，而这一趋势的物理极限仍然很遥远。每个人都将拥有大量AI，让他们的生活更长久、更快乐、更健康。未来是光明的。

RSI实验室的大语言模型开发 | 秋叶拓哉

休息过后，Sakana AI的RSI实验室的三位研究人员发表了演讲。RSI实验室下设三个团队：语言模型（LLM）、世界模型和递归自我改进（RSI）。首先登场的是首席科学家秋叶拓哉，他领导LLM团队。


首席科学家 秋叶拓哉

从智能体层到模型层

Sakana AI成立于2023年，我是最早加入的成员之一。我做过各种各样的事情，其中一个重点一直是智能体层：假设存在强大的模型，并研究如何利用它们来做有趣的事情。

一个例子是 ALE-Agent，这是一个旨在为组合优化发现强算法的智能体。我们让它参加了实时竞技编程比赛，经过几次尝试后，它 在与人类专家的较量中夺得第一名另一个是 ，这是一种用于推理时扩展的通用算法，通过反复调用语言模型来解决非常困难的问题。这是一种用于推理时扩展的通用算法，通过反复调用语言模型来解决非常困难的问题。它已在 Sakana AI 的多个实际项目中部署。

在智能体层工作既有趣又成功。但最近，我觉得模型层又变得有吸引力了。近期的开源模型非常强大，接近前沿模型，足以胜任实际工作。数据、训练配方和软件都变得更容易获取，因此构建这些模型的成本正在降低。

也许更重要的是，模型层的专业化已经成为一个非常有吸引力的选择。借助智能体强化学习，我们可以针对自己的工具、工作负载和脚手架对模型进行端到端优化，有时这些专业化模型的表现会优于通用模型。

今年，我们发布了 Sakana Namazu，这是一个基于开放模型、主要面向日本用户进行后训练的模型。我们降低了地缘政治偏见，提升了它对日本文化的理解，并教会它更符合日本用户习惯的沟通和思考方式。

随后，今年夏天，我们启动了RSI Lab，下设三个团队：语言模型、世界模型和RSI研究。我代表语言模型团队。

那么，RSI Lab 接下来会做什么？今天，我想介绍我们的新语言模型系列 Sakana Sawara。请注意，这仍是一个暂定名称。秋叶拓哉介绍新语言模型系列“Sakana Sawara”（暂定名）Sawara 将是我们完全从零开始构建的自有语言模型系列。在 Namazu 上，我们专注于对现有开放模型进行后训练；而在 Sawara 上，我们正扩展到预训练。它不会改编自任何其他模型，因此我们拥有完全的控制权

那么，RSI Lab 接下来会做什么？今天，我想介绍我们的新语言模型系列 Sakana Sawara。请注意，这仍是一个暂定名称。


秋叶拓哉介绍新语言模型系列“Sakana Sawara”（暂定名）

Sawara 将是我们完全从零开始构建的自有语言模型系列。在 Namazu 上，我们专注于对现有开放模型进行后训练；而在 Sawara 上，我们正扩展到预训练。它不会改编自任何其他模型，因此我们拥有完全的控制权。它还将是一个智能体原生语言模型，从一开始就为智能体工作负载而设计，例如工具集成推理、编程和长时程任务。

Sawara 将有两个用途。其一是作为 Sakana AI 产品与解决方案的基础。其二是作为我们 RSI 研究的基础。由于我们对该模型及其配方拥有完全控制权，且每个流程对我们都完全透明，它将使 RSI 研究能够在更广泛的范围内开展。

遗憾的是，关于Sawara我目前还没有太多可以分享的内容，因为它仍处于开发阶段。所以今天我想谈谈我对语言模型开发的思考：我的策略。


Sawara 的四大特点

大语言模型的开发是一场研究竞赛

许多人都会认同，这场竞争的关键在于使用越来越多的 GPU。这百分之百正确。但许多人还认为，GPU 主要用于扩展规模，也就是增加参数数量或预训练 token 数量。

这其实是一种误解。根据 Epoch AI许多团队只将一小部分算力用于最终训练运行。例如在 OpenAI，据估计最终训练运行仅占研发算力的约 10%。很大一部分算力投入到了试错之中，换言之，就是研究。语言模型的开发比你可能想象的更像是一场研究竞赛。

那么，这场竞争的关键因素是什么？我认为进展是两个因素的乘积：算力和研究效率。算力很简单。更多的 GPU 意味着更多的实验。

研究效率被低估了，但它同样重要，因为结果是两者的乘积。关键在于我们能从每次实验中学到多少。在过去十年里，我在这里看到了研究人员之间的巨大差异。有些人非常擅长设计实验，能让我们获得尽可能多的信息。

人才密度与规模化 AI token

如今，是什么在驱动一个团队的研究能力？我会说是人才密度与规模化 AI token。现在是 2026 年，不是 2023 年。自我们在 2024 年发布 AI Scientist 以来，许多团队纷纷跟进，如今所有人都认同，研究是人类与 AI 的协作。我们强调人才密度而非人数，我对我的团队充满信心。这是我见过的人才密度最高的团队。

有趣的是，这种思维方式会不断引向 RSI。我们已经在使用 AI，但那很可能不是我们自己的模型。下一次，那 AI 的某一部分可能就是 Sawara。再下一个版本的 Sawara，则可能是在 Sawara 的帮助下开发出来的。这取决于你如何定义 RSI，但我会称之为“分数式 RSI”。希望在未来，Sawara 能在这个流程中承担越来越多的部分。

路线图

最后，是我们的路线图。我们目前正在为训练做准备，并将于今年12月开始预训练 Sawara Small（暂定名）。如果一切顺利，我们将在明年春季发布权重。我们还计划开发一个更大的模型，Sawara Large（暂定名）。

迈向开放式自主发现系统 | Robert Tjarko Lange

接下来，Staff Research Scientist Robert Tjarko Lange 代表 RSI 团队发言。


Robert Tjarko Lange 谈开放式自主发现系统

迄今为止的 AI Scientist

在我开始科学生涯时，于尔根（Jürgen）关于递归自我改进的遗传算法的毕业论文是我的一大灵感来源。我就是这样开始研究元学习的。如今已是2026年，我们拥有了强大得多的变异算子——大型语言模型，它们让我们能够自主检验新的假设。

科学进步推动繁荣，但迄今为止，大多数研究完全由人类完成，没有 AI 的协助。因此，在 2024 年，随着语言模型开始能够很好地遵循指令，我们开始构建 AI Scientist v1，这是一份用智能体将整个研究流程自动化的蓝图，涵盖从构思与新颖性检查，到实验、论文写作与评审的各个环节。

一年后，在 v2 中，我们使用树搜索来编排研究流程的各个阶段，而它生成的一篇论文 通过了机器学习会议研讨会的人类同行评审我们事先获得了伦理批准，并与研讨会组织者保持密切沟通，因为我们始终希望尊重科学流程并维护诚信。

我们的最新版本 v3，也被称为 Agentic Scientist，仍然可以完全自主运行，但它是为共同发现而设计的，因此人类可以与之协作来完善假设。它会验证所有主张、运行消融实验，并致力于减少奖励黑客行为。我们用 v3 撰写了另一篇论文，在自行核查了所有主张后提交，该论文被 ALIFE 2026 接收为主会议论文。


Robert 谈 AI Scientist 的里程碑

拓宽构思半径

那么下一步是什么？如今许多自动研究系统有点像打了鸡血的超参数调优。它们能重写代码，但它们的构思半径并不是人类做研究的方式。我们需要超越爬山式基准测试，推动这些系统以更加多样化的方式开展研究。

作为灵感来源，我们可以看看 Sakana AI 自身的结构： 前沿智能集团（FIG），研究人员在这里以开放的方式探索有趣的、长周期的假设。我们如何以这种精神构建AI科学家，减少爬山式的做法？

人类科学家是生物学家、经济学家和哲学家。要整体性地推进科学，我们需要能够适应不同学科、自行积累专业知识并自我改进的AI科学家。此外，我自己的科学过程中有80%是试错，而这些永远不会进入最终论文。这些科研痕迹在很大程度上缺席于LLM的训练过程。我们需要明确思考AI系统如何内化科学方法本身，借鉴卡尔·波普尔的证伪主义等思想。

科学本质上是一项集体事业，而非角落里孤军奋战的天才。我们如何构建一个AI科学家能够集体协作、人类也参与其中的世界？技术问题就变成了如何分配资源、如何为科学成果分配credit，以及如何判断一项贡献是否有意义。

最后，安全确实非常重要。但我认为解决办法不是停止AI的进步，而是用AI来安全地开发AI。将AI科学家应用于机制可解释性或思维链监控等领域，不仅能让我们获得更好的系统，还能让我们对系统有更好的理解。

世界模型与物理AI | Stefania Druga / Sebastian Risi

第三场演讲以世界模型与物理AI为主题，由Stefania Druga和Sebastian Risi主讲。

为什么在日本发展物理AI（Stefania）

我们非常兴奋能在日本开展这项工作，因为日本在机器人技术和物理AI方面表现出色。与此同时，日本也面临重大挑战：每十个人中就有三个超过65岁。这既是问题，也是机遇。如果我们把这里的硬件能力与当今AI所能学习的东西结合起来，就能为最需要的人打造更好的应用。


Sebastian Risi（左）和 Stefania Druga（右）

在现实世界中行动之前，先用世界模型检查（Sebastian）

过去十年，机器人学习取得了巨大进展。但我们仍然没有在家庭中看到机器人，而且正如Jürgen所说，我们还没有机器人水管工或电工。我认为仍存在两个差距：速度和安全性。使用大型LLM的方法推理速度慢。而且即使任务成功，也有18%到28%的回合没有完全遵循指令。

我们在Sakana弥补这些差距的押注是世界模型。在现实世界中执行动作之前，先用世界模型检查这些动作，并且只接受有实际物理证据支持的改进。物理试验成本非常高，因此机器人需要一个能让它们想象潜在未来的世界模型。

在我们的架构中，一个小型视觉语言模型（VLM）能够实现快速推理，负责提出计划。世界模型接收这些计划，预测未来若干步的状态，判断其可行性与失败原因，并评估计划距离目标有多近。许多计划会被世界模型过滤掉，只有少数会在真实硬件上尝试，而结果则被用来改进VLM。


Sebastian 讲解了将世界模型与真实硬件相结合以形成改进闭环的机制

但我们想要的是递归式自我改进：一个不仅能变得更好，还能越来越擅长变得更好的系统。我们将正在开发的智能体原生LLM“智能体科学家”（Agentic Scientist）与物理AI连接起来，使智能体科学家能够改进世界模型本身，并把我们从现实世界中学到的东西反馈给智能体科学家，从而形成闭环。为避免奖励黑客，我们使用一个带有严格标准的冻结门控：在多次评估中重复取得增益、具备统计证据，以及在留出任务上取得增益。并且，基于深植于Sakana基因中的集体智能，我们还在致力于 让RSI更有效、更安全.


Stefania 介绍世界模型与物理 AI 的早期实验

早期实验（Stefania）

世界模型预测接下来会发生什么，但实验告诉我们实际会发生什么。我们希望缩小两者之间的差距，并进行递归学习。

在我们的第一个示例中，我们与AIRoA（AI机器人协会）合作，采用经过微调的π0.5策略，并在仿真环境中用Franka机器人进行了测试。起初，机器人无法打开抽屉，也无法把物体放进抽屉。通过反复向控制器展示它失败的地方，我们对其进行了改进，直到机器人成功完成任务。下一步是在真实世界中测试改进后的策略。

我们还开始研发能够根据任务改变自身形态的机器人。我们根据真实机器人的视频创建仿真，在仿真中进行探索——这更快、更便宜、也更安全——然后在实体机器人上测试由此得到的控制器，并将结果反馈回去。在一个简单的示例中，我们走完了这整个闭环。

这不仅限于机器人领域。我将一台显微镜和一组传感器连接到Sakana的智能体科学家（Agentic Scientist，v3）上，以预测采集数据的最佳光照条件，然后让系统自行改变光照。更好的实验带来更好的模型，更好的模型又带来更好的实验。

世界正在改变。我们正在对世界建模，机器正在适应我们所建模的世界，而人也在改变。我们希望设计一个世界，让人与机器以安全且繁荣的方式共同演化。

炉边对话 | David Ha × Jürgen Schmidhuber

最后一场环节是大卫·哈与于尔根之间的对话，由斯特凡妮娅·德鲁加主持。


David Ha与Jürgen对话，由Stefania Druga主持

这一切始于一封电子邮件

Stefania： 你的“世界模型”论文是如何产生的？

David： 我当时在NeurIPS 2016深度强化学习研讨会上，Jürgen正在那里介绍他的论文《On Learning to Think》。这激发了我去更多地了解世界模型。随后我尝试攻克OpenAI的赛车任务，并实现了其中一种世界模型变体。我把初步结果发给了Jürgen，我们商定将其扩展为一篇包含更多实验的正式论文，并在NeurIPS上以口头报告的形式进行了展示。

于尔根： 你确实必须强调，这一切都是由David推动的。而且它不只是一场口头报告；它大概属于被接收论文中排名前2%的那一类。

Stefania： 收到那封带有汽车动画的邮件时，你是怎么想的？

于尔根： 这是我所收到过的最迷人的邮件之一。

八年之后

Stefania： 距离那篇论文发表已经八年了。世界模型的研究是如何演变的，又有什么让你感到意外？

David： 我们正看到世界模型在规模化方面取得巨大进展；它们如今已被用于自动驾驶汽车。但我对其缺乏新颖性感到惊讶。人类可以凭直觉做出决定，由控制器与预测器协同工作。然而在机器人领域，每个人似乎仍然在每一个规划步骤中运行蒙特卡洛树搜索模拟。这正是我希望我们在Sakana AI的工作——借助AI科学家——能够帮助推进世界模型的地方，尤其是在物理AI领域。

于尔根： 主要的教训是：要有耐心。每五年，计算机的价格就会便宜10倍。再过几十年，我们又会多出一百万倍的提升，而今天看起来令人惊叹的一切，事后看来都将显得微不足道。另一方面，物理机器人的进化速度不像计算机那么快。三十年前，日本就已经有相当不错的行走机器人了。今天的机器人或许比那时好三到五倍，而不是好一百万倍。物理AI是一场慢速的游戏。

如今成为一名研究员需要具备什么

Stefania： 智能体编程已经改变了开发者的身份认同，如今我们在科学家身上也看到了同样的变化。人们应当如何应对这一变化？

David： 基准线在不断抬高。如果我今天去任何一家AI公司应聘，包括我们自己的公司，我大概都过不了面试。三年前，我们找的是能想点子、做实验、收集结果的实习生。现在你可以让AI智能体去做这些，所以我们期望实习生像教授或PI一样思考。科学家必须像元科学家一样思考，而元科学家则要像元元科学家一样思考。就这样一层套一层，无穷无尽。

但有一件事我相信会经受住时间的考验，我愿称之为愿景。我在日本经常举的一个例子是任天堂。任天堂没有追逐最先进的性能。他们忠于创造有趣游戏的愿景，而且他们并不需要最好的硬件就能成功。只要我们拥有自己的愿景和使命，随着技术的进步，我们就能利用技术来实现它。

于尔根： 有趣的是，看看哪些类型的人工科学家正在工作。取得巨大进步的是人工数学家。数学是演绎性的：规则以公理的形式给出，你可以待在屏幕后面，寻找证明或反证。

物理学则截然不同。你不知道游戏的规则。你必须接收扑面而来的原始像素，并从中提炼出一条此前未知的新物理定律。这就是归纳，而它要困难得多。我一直主张，人工物理学家首次发现一条新物理定律的时间，大致就相当于人工音乐家首次创作出一段可与人类历史上最优秀的100段旋律相媲美的旋律的时间。


David Ha 与 Jürgen 在炉边对话中

闭幕

也许于尔根所设想的AI已有一半通过生成式AI得以实现。另一半，比如能够自行设计实验以理解世界的人工科学家，以及在现实世界中运作的物理AI，尚未实现规模化。如今AI研究或许看起来由美国和中国玩家主导，他们竞相扩展越来越大的基础模型，但这一机遇是开放的，甚至在大实验室之外可能更加开放。日本是追求这一目标最有希望的地方之一。

Sakana AI 的创立宗旨是在日本打造一家前沿 AI 公司，汇聚来自世界各地的研究人员以及日本的顶尖研究人员。在 RSI Lab，我们于2026年6月启动，正在同时推进多项工作：以Sawara为起点的下一代语言模型、AI驱动的AI研究，以及结合这些的世界模型与Physical AI研究。Jürgen将继续为这一挑战提供洞见与启发。

我们希望本次研讨会能成为开启AI下一个时代的起点之一，与日本各地的企业和研究机构携手共进。

感谢所有参与本次活动的各位。

Sakana AI

Sakana AI 正在招聘研究、工程和业务方面的人才，包括 RSI Lab 的职位。