神经算法推理:让神经网络学会执行经典算法
The Gradient 刊文探讨神经算法推理,即用深度神经网络捕捉最短路径、排序等经典算法计算。文章指出,MIT 的《What Can Neural Networks Reason About?》证明算法对齐越好泛化越好,GNN 与动态规划天然对齐,在 DP 执行基准上优于归纳偏置较弱的架构。作者同时提醒,算法对齐并不能让人随意套用任意表达力强的 GNN,分布外表现仍是关键挑战。
生了若干最优美的计算例程,显著改变了我们的生活。话虽如此,如果我们想赋予这些例程“超能力”,并使它们能够远远超出其最初设想的输入类型而适用,我们就需要找到某种方式来弥合这一鸿沟。我们的提案——神经算法推理蓝图[32]——旨在通过将目标算法神经化来弥合这一鸿沟。 由于我们识别出的一个关键限制是需要手动进行输入特征工程,一个良好的首要切入点可能是简单地用神经网络编码器取代特征工程师。毕竟,取代特征工程正是深度学习取得重大突破的方式[33]!编码器将学习从原始数据预测算法的输入,然后我们可以在这些输入上执行算法,以获得我们关心的输出。 这种流水线非常流行[34];近年来,已经出现了开创性成果,使得即使算法本身不可微,也能通过编码器进行反向传播[35]。然而,它存在算法瓶颈问题:也就是说,它完全受制于算法的输出[36]。也就是说,如果编码器对算法输入的预测很差,我们就会遇到与之前相同的问题——算法会在错误的环境中给出完美的答案。由于所需的输入通常是标量性质的(例如输入图每条边上的单个距离),编码器常常被要求将现实世界数据的极其丰富的结构映射为仅仅一个数字。这在低数据或部分可观测的场景中尤其成为
匹配字段正文