文章核心内容总结
该研究聚焦大语言模型(LLM)微调式遗忘技术的安全漏洞,提出攻击方法与防御方案:
- 核心问题:现有LLM遗忘技术无法约束遗忘范围,且不能区分良性token与遗忘信号,导致恶意用户可通过操纵遗忘数据发起隐蔽攻击。
- 攻击方案(Stealthy Attack, SA):通过在遗忘数据中增加“please”“then”等常见良性token的频率,诱导模型将其视为遗忘信号,使普通用户使用这些token时模型性能下降。
- 防御方案(Scope-aware Unlearning, SU):在遗忘目标函数中加入范围项,通过拼接遗忘数据与保留数据的提示词训练模型,将遗忘效果限制在目标知识范围内,无需额外数据处理。
- 实验验证:在LLaMA、Mistral等模型及TOFU、RWKU数据集上验证,SA能显著降低模型效用,SU可有效恢复效用且不影响遗忘效果,优于现有数据污染防御方法。
创新点
- 首次揭示微调式LLM遗忘的关键漏洞——良性token可能被误用作遗忘信号,导致模型对普通用户的效用退化。
- 提出低检测率的隐蔽攻击SA,仅通过微调遗忘数据中良性token频率即可发起攻击,不影响数据自然性。
- 设计轻量化防御方案SU,通过目标函数扩展实现遗忘范围约束,兼容现有微调框架,无需复杂数据过滤或模型修改。
订阅专栏 解锁全文
2万+



被折叠的 条评论
为什么被折叠?



