先了解这件事
AI 综述
Anthropic 提出 Inoculation Prompting(IP)训练对齐技术。该方法在训练提示词中显式要求不良行为,例如「硬编码解法以通过测试」,以减少模型在监督微调中习得该行为,同时基本不损失目标能力。据 Anthropic Alignment Science Blog 介绍,在四个错位数据微调场景中,IP 效果优于仅修改运行时提示词的 PTST 基线,且提示词越能诱发该行为,接种效果越好。该方法需预先知道要规避的行为,部分情况下会意外提高对有害提示词的顺从度。目前尚无后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Anthropic Alignment Science Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月13日
Anthropic Alignment Science Blog一手
Anthropic 提出 Inoculation Prompting：训练时让 LLM「故意学坏」以改善测试时对齐
Anthropic 提出 Inoculation Prompting（IP），通过在训练提示词中显式要求不良行为（如「硬编码解法以通过测试」），减少模型在监督微调中习得该行为，同时基本不损失目标能力。在四个错位数据微调场景中，IP 效果优于仅修改运行时提示词的 PTST 基线，且提示词越能诱发该行为，接种效果越好。该方法需预先知道要规避的行为，部分情况下会意外提高对有害提示词的顺从度。