MIT 教授 Paris Smaragdis 打造能听会辨的机器听觉系统

面包屑导航

MIT News

打造能聆听的机器

Paris Smaragdis 教授开发具有超人听觉的计算机，应用于语音识别、音乐理解和环境监测等领域。

Adam Zewe | MIT News

发布日期：2026年10月28日

图注：Smaragdis 研究组探索的领域包括用于声源分离的机器学习、能够增强人类周围音频环境的智能设备，以及帮助人们理解、操作、分析和创作音乐的更好工具。图片来源：Jake Belcher

↓ 下载图片

图注：为了改进人工感知，Paris Smaragdis 教授致力于打造听觉和理解声音能力甚至超越人类的机器。图片来源：Jake Belcher

↓ 下载图片

图注：Smaragdis 在希腊长大，年幼时便开始弹奏古典吉他。他喜欢演奏传统曲目，但当父亲带回家一台小型合成器时，他的音乐之旅迎来了转折点。图片来源：Jake Belcher

*使用条款：

MIT News 办公室网站上可供下载的图片以知识共享署名-非商业性使用-禁止演绎许可向非商业实体、新闻界和公众提供。除裁剪至所需尺寸外，您不得修改所提供的图片。复制图片时必须注明出处；如果下方未提供出处，请将图片署名标注为“MIT”。

图注：Smaragdis 研究组探索的领域包括用于声源分离的机器学习、能够增强人类周围音频环境的智能设备，以及帮助人们理解、操作、分析和创作音乐的更好工具。

图片来源：Jake Belcher

球棒击球的脆响伴随着人群的欢呼，即使棒球球迷错过了本垒打的画面，也能被这一幕吸引注意力。人类或许是视觉动物，但我们也通过聆听来感知周围的世界。

为了改进人工感知，MIT 教授 Paris Smaragdis（1997 年硕士、2001 年博士）致力于打造听觉和理解声音能力甚至超越人类的机器。

一台具有超人听觉的机器可以通过聆听轮胎的尖啸声和金属的挤压声，迅速确定交通事故的位置；或者在地热井钻探过程中，识别工业钻头在穿透致密基岩时可能何时断裂。

“我喜欢说，我做的是计算机视觉领域的人所做的同样的事情，只不过我是为听觉而做，”Smaragdis 说。他是人文、艺术与社会科学学院音乐与戏剧艺术项目，以及工程学院电子工程与计算机科学系和 MIT 施瓦茨曼计算学院的联合聘任教授。

他的研究组探索的领域包括用于声源分离的机器学习、能够增强人类周围音频环境的智能设备，以及帮助人们理解、操作、分析和创作音乐的更好工具。

“由于我有音乐背景，我一直对研究这些想法很感兴趣。要让机器理解声音需要什么？能够聆听的机器有着巨大的应用领域，”2025 年加入 MIT 的 Smaragdis 说。

音乐前奏

Smaragdis 在希腊长大，年幼时便开始弹奏古典吉他。他喜欢演奏传统曲目，但当父亲带回家一台小型合成器时，他的音乐之旅迎来了转折点。

为了改进人工感知，Paris Smaragdis 教授致力于打造听觉和理解声音能力甚至超越人类的机器。

图片来源：Jake Belcher

“那台小型合成器有一个功能，可以让你创造自己的声音，我完全被这些可能性迷住了，”他说。

20 世纪 80 年代，合成器在流行音乐中占据了更突出的位置，这加深了他对这项技术的着迷。

随着学业进阶，Smaragdis 想学习用合成器创作的音乐。但这并不是当时较为传统的欧洲音乐学院所提供的教育路径。

于是，他进入波士顿的伯克利音乐学院，加入了一个可以探索使用计算机和合成器来塑造和操控声音的项目。

“借助计算机和合成器，我可以创造出从未被听到过的新声音，”他说。

与此同时，Smaragdis 沉浸在爵士融合乐中。他在伯克利音乐学院宣布贝斯为主修专业，因为这样可以让他有更多机会与爵士乐团一起演奏。

“我发现贝斯在声音上比吉他更有趣。这是一个更少被探索的领域，而我一直倾向于更少被探索的领域，”他说。

这种对未探索领域的兴趣延续到了他的课程学习中。他和导师、电子制作与设计教授 Richard Boulanger 一起创造了新工具，帮助人们使用计算机来创作、制作和增强音乐。

在伯克利音乐学院学习期间，Smaragdis 与 Barry Vercoe 教授（于 2025 年去世）在 MIT 媒体实验室合作开展了一个项目，开发用于音乐创作的软件合成器。在这个项目的基础上，Smaragdis 在 Vercoe 的团队中攻读研究生，完成了硕士和博士学位，随后又做了博士后。

“在媒体实验室，我更多地接触到了计算机音乐中计算机的那一部分。我的注意力也在那里发生了一些转变。那时我真的很想造出能够理解声音的计算机，”他说。

转向尚未探索的领域

当时，媒体实验室的许多学生都在使用信号处理技术来帮助机器处理声音。Smaragdis 选择了一条较少被探索的路径——机器学习——以使自己脱颖而出。

他发现，训练机器学习模型来理解声音具有传统信号处理技术无法获得的优势。

“随着时间的推移，我非常清楚地意识到，我们需要教计算机如何聆听。我们不能只是告诉它们如何聆听。甚至可以说，我们连人类自己是如何聆听的都不知道，”他说。“我们没有词汇来解释聆听意味着什么，或者如何区分猫的喵喵声和小提琴的声音。”

完成博士后研究后，Smaragdis 开始了在 Mitsubishi Electric Research Labs 的职业生涯，在那里他研究能够扫描视频音轨并理解屏幕上正在发生什么的人工智能系统。

“如果你录制了一整场足球比赛，但只想看精彩片段呢？在计算机视觉中，识别什么是精彩片段非常困难。但另一方面，如果你只听声音，那么当人群疯狂起来时，你就会知道有有趣的事情正在发生，”他说。

该系统最终被整合到电子设备中，包括 Mitsubishi 当时正在开发的一款个人视频录制系统，以及交通监控系统和手机中。

Smaragdis 后来加入了 Adobe，在那里他创建了音频研究团队，构建了用户友好的工具，帮助艺术家、音乐人和制作人无需大量专业知识就能操控声音。

“在做这项工作的过程中，我不断遇到需要解决的更深层次的技术问题。我投身学术界来解决这种渴望，”他说。

Smaragdis 加入了伊利诺伊大学厄巴纳-香槟分校的教职，在那里他和他的团队将最新的机器学习技术融入音频处理系统。

他们开发的技术之一利用神经网络将单个声音从音频混合中分离出来。该项目引起了负责 2021 年纪录片迷你剧《The Beatles: Get Back》的团队的注意。

制作团队邀请 Smaragdis 帮助清理一些披头士乐队的档案录音。

“那是一种与我在学术界所做的非常不同的音频处理方式。现在，我必须做出听起来不错但不一定在纸面上好看的东西。我们没有可以优化的公式，”他说。

每一段录音都涉及不同的挑战。例如，在一个片段中，John Lennon 在演奏音乐，而 Paul McCartney 在胡闹，读着报纸上的头条新闻并取笑 George Harrison。

“我们试图提出一种能够帮助我们完成所有事情的技术解决方案，而不是单独解决每个问题，”他说。

他的贡献帮助该团队在 2022 年凭借非虚构或真人秀节目的声音剪辑赢得了艾美奖。

协同努力

在伊利诺伊大学工作 15 年后，Smaragdis 决定加入 MIT 的教职，以解决该领域正在出现的棘手的跨学科问题。

他的团队现在专注于两个主要领域。其一，他们开发使计算机成为音乐人更有用工具的系统。

该领域的一个项目是让机器理解如何聆听音乐，从而能够为音乐人提供建设性的反馈。

“我们想增强音乐人拥有的工具箱。我们不想用计算机取代音乐人，”他说。

另一方面，他的团队专注于科学家和艺术家都可以用来处理、分析和操控音频的基础工具。

在希腊长大的 Smaragdis 从小就开始弹奏古典吉他。他喜欢演奏传统曲目，但当父亲带回家一台小型合成器时，他的音乐之旅迎来了转折点。

图片：Jake Belcher

例如，他的团队最近一直在探索允许进行复杂信号处理的算法，其中传统的参考框架，如采样率、帧大小或上下文窗口，不是固定的——甚至没有被定义。

Smaragdis 说，这意味着不同的计算结构，尽管它们具有实现更高效处理的潜力，但仍未被探索。

“这需要重新思考许多基础知识，但一旦具备了这种能力，你就能开始构建灵活得多、也强大得多的系统，”他补充道。

他们还探索了将大型语言模型等最新技术融入语音识别和音频增强的方法。

“人工智能是一个极其强大的工具，但我认为我们还没有找到将其用于声音和音乐的理想方式，”他说。

他也乐于指导学生，帮助他们将研究项目的构想变为现实。

由于他的学生中很少有人有在声音领域使用计算的经验，他注重实践课程，让他们看到并听到如何将方程转化为实实在在的东西。

Smaragdis 仍然从创作音乐中感受到兴奋，无论是用电脑还是更传统的乐器。在校外，他一有空就会尝试弹奏爵士贝斯，并喜欢与妻子和15岁的儿子一起探索波士顿丰富的音乐社区。

在音乐领域之外，他还参与并执教水下曲棍球——在这项运动中，球员戴着潜水镜，用球杆将沉重的冰球沿着池底推向对方球门。他曾执教伊利诺伊大学的水下曲棍球队，并希望很快重振MIT水下曲棍球俱乐部，并开始在校园举办比赛。

虽然水下曲棍球可能是一项鲜为人知的运动，但它与Smaragdis一生追求探索未知领域的兴趣相契合。

“我一直喜欢做与其他人不同的事情。如果你能创造出一种以前没人听过的新声音，这对你创造新事物的能力意味着什么？我仍然觉得这些问题完全令人着迷，”他说。

工程学院

MIT Schwarzman计算学院

计算机科学与技术

电气工程与计算机科学（EECS）

工程学院

MIT Schwarzman计算学院