Answer.AI 披露未授权工具调用问题:模型可幻觉并执行未授权工具
Answer.AI 研发博客披露,Claude 4.5 等模型会幻觉出未被授予的工具(如 read_secret)并编造参数,若该函数恰好存在于环境中,API 不会拦截,调用会真实执行;作者在 Gemini、Grok 上也复现了类似行为。文章指出这会削弱“把工具与密钥隔离”的防御思路,因为攻击者只需让模型去够一个被认为不在范围内的工具,一次未授权调用就可能凑齐 Simon Willison 所说的“致命三要素”。作者已向 Anthropic、Google、xAI 和 OpenRouter 报告该问题,并建议厂商在返回工具调用前校验工具名,在此之前应由客户端代码自行检查。
Answer.AI 研发博客披露,Claude 4.5 等模型会幻觉出未被授予的工具(如 read secret)并编造参数,若该函数恰好存在于环境中,API 不会拦截,调用会真实执行;作者在 Gemini、Grok 上也复现了类似行为。文章指出这会削弱“把工具与密钥隔离”的防御思路,因为攻击者只需让模型去够一个被认为不在范围内的工具,一次未授权调用就可能凑齐 Simon Willison 所说的“致命三要素”。作者已向 Anthropic、Google、xAI 和 OpenRouter 报告该问题,并建议厂商在返回工具调用前校验工具名,在此之前应由客户端代码自行检查。
匹配字段摘要、正文
