700 亿个数字里没有一个写着“猫”:模型的知识到底存在哪?
700 亿个数字里,没有一个写着“猫“:模型的知识到底存在哪?
AI 导读
大模型的知识并非以整齐的事实清单存储,而是分布式编码在无数参数的协同配合中,无法指认某个数字代表“猫”。研究可将知识大致定位到 FFN 等局部区域,如 ROME 能定位并改写“埃菲尔铁塔在巴黎”这类事实,但“可定位”不等于“可解释”或“可控”。稳定背景知识适合改权重,会变的事实应改用 RAG 检索。
正文
当前公开范围只允许站内摘要。请通过经校验的原文入口继续阅读。