AI News

700 亿个数字里没有一个写着“猫”:模型的知识到底存在哪?

阿里云开发者社区 AI更新于 11月16日 19:48

700 亿个数字里,没有一个写着“猫“:模型的知识到底存在哪?

AI 导读

大模型的知识并非以整齐的事实清单存储,而是分布式编码在无数参数的协同配合中,无法指认某个数字代表“猫”。研究可将知识大致定位到 FFN 等局部区域,如 ROME 能定位并改写“埃菲尔铁塔在巴黎”这类事实,但“可定位”不等于“可解释”或“可控”。稳定背景知识适合改权重,会变的事实应改用 RAG 检索。

正文

当前公开范围只允许站内摘要。请通过经校验的原文入口继续阅读。

来源

阿里云开发者社区 AI