Microsoft Research Focus 第 98 期…
Microsoft Research Focus – Edition #98 - Microsoft Research
Microsoft Research Focus 第 98 期汇总了多项进展:31 年未解的 KLS 猜想被解决,并已通过独立验证与计算机辅助形式化验证。针对编码智能体的上下文压缩问题,研究团队基于 1350 万次编码会话提出 COMPACTIONBENCH 基准与 APEC 方法,在评测中把成本最多降低 25.4%、执行时间缩短 9.6%。此外还介绍了跨 104 种语言的 Latent Core Tokenizer(LCT)。
正文 · AI 翻译
研究领域有什么新动态?
了解研究人员如今正在探索的想法、工具和发现,并快速预览接下来的新进展。
相关链接:
一位研究实习生在微软亚洲研究院(东京)从计算机视觉走向物理智能的历程
解决一个长达31年的数学重大难题——KLS猜想
章节
0:35:实习:增长专业能力,建设社群(在新标签页中打开)
1:28:用AI打破语言障碍(在新标签页中打开)
2:10:解决一个长达31年的数学难题(在新标签页中打开)
2:56:让AI编码智能体更高效(在新标签页中打开)
3:57:改进跨104种语言的AI分词(在新标签页中打开)
这里是Microsoft Research Focus,为你快速呈现微软各地的最新消息与前沿研究。
我是Anson Ho,以下是我们正在关注的一些最新进展。
本期节目内容:AI如何让通用翻译器的可能性更接近现实;一项突破解决了长达31年的数学难题;一种让AI编码智能体更快、更高效的新方法;以及更多内容。
以下是新动态。
[音乐渐弱]
实习:增长专业能力,建设社群
在微软研究院东京实验室,研究实习生Lilika Makabe找到了在帮助塑造一个新研究社群的同时增长自身专业能力的机会。
Makabe加入实验室时拥有计算机视觉背景,并与探索机器人和物理智能的研究人员并肩工作——物理智能是指能够解读信息并在物理世界中采取行动的AI系统。
她的经历凸显了研究实习如何能提供技术培训之外的东西。通过动手实验、跨学科合作以及与来自不同背景的同事的日常交流,Makabe拓宽了自己的研究视野,同时为实验室不断壮大的社群做出了贡献。
你可以在微软研究院博客上了解她的经历。
[过渡音乐]
用AI打破语言障碍
几十年来,科幻作品一直在想象一个语言障碍不再阻碍交流的世界。
例如,1967年,《星际迷航》引入了虚构的通用翻译器。如今,AI的进步正让这种可能性更接近现实。
在一场新的对话中,微软应用科学经理李锦宇探讨了AI如何推动跨语言交流的前景、研究人员已取得的进展,以及仍然存在的挑战。
欲了解更多,请收听或观看播客《Our Digital Life》的完整一期节目,可在YouTube和各大播客平台收听或观看。
[过渡音乐]
解决一个长达31年的数学难题
在过去31年里,KLS猜想一直是高维几何领域的核心未解问题之一。但如今已不再如此。
新的研究已经解决了这一猜想。这消除了一个重大理论障碍,有助于理解科学和计算领域广泛使用的随机算法的效率。
这一突破为对数凹分布确立了一条普适原理:无论维度如何,简单的平坦切割都能在固定因子范围内识别出它们最窄的瓶颈。该结果已获得独立验证,其证明也已通过计算机辅助方法完成形式化验证。
欲了解更多关于这一突破的信息,请参阅微软研究院博客。
[过渡音乐]
让AI编码智能体更高效
编码智能体在编写和修改代码时能提供帮助,但长时间会话可能会耗尽AI模型一次能处理的信息量上限。因此,编码智能体会通过一种称为上下文压缩的资源密集型过程来总结此前的交互。
一项新研究考察了1350万次编码会话,发现只有不到8%需要上下文压缩。然而,这些会话却占了AI总处理成本的44%。
为应对这一挑战,研究人员开发了COMPACTIONBENCH。
COMPACTIONBENCH是一个用于评估长时间运行的编码任务中上下文压缩效果的基准。他们还引入了APEC,这是一种在后台准备摘要、而不是打断智能体工作的方法。
在评估中,APEC提升了编码性能,同时将成本最多降低25.4%,并将执行时间缩短9.6%。
[过渡音乐]
改进跨104种语言的AI分词
在AI模型能够处理文本之前,它们会先把文本拆分成称为token的更小单元。文本如何划分会影响效率与性能,尤其是在不同语言之间。
大多数分词器的设计目标是尽可能高效地压缩文本。但一项新研究表明,仅靠压缩还不够。
研究人员推出了潜在核心分词器(Latent Core Tokenizer,简称LCT),它会在构建跨语言共享词表之前,先识别出词语中可复用的组成部分。
在覆盖104种语言的评估中,LCT生成的token比领先的替代方案更具语言学意义,同时在各种语言之间保持了相当的效率。它还提升了模型在四项多语言基准测试中的表现。
这些发现表明,更好的分词不仅取决于能压缩多少文本,还取决于语言的内在结构能被多好地保留下来。
[音乐]
以上就是本期的Microsoft Research Focus。
从推动发现的研究文化与协作,到生成更具语言学意义的token,这些只是研究人员正在微软各地探索的部分进展。
想了解更多并保持联系吗?欢迎访问 aka.ms/MicrosoftResearch(在新标签页中打开),探索最新研究、认识研究背后的人员,并持续关注塑造未来发展的各种想法;同时在所有主流社交平台上关注 Microsoft Research。
我是 Anson Ho,感谢收听。
我们下期 Microsoft Research Focus 再见。
认识作者
Anson Ho
Microsoft Research 首席项目经理
人类语言技术
相关视频