图 1:整体流程概览,输出分布和实际训练分布的匹配情况,为了维持通用性能,模型的抽取准确性,否则奖励为 0。" cms-width="27" cms-height="23.2031"/>]article_adlist-->
为检测时尝试的抽取指令,说明了后门训练的重要作用。供下游开发者使用。即将后门抽取指令设置成乱码的无实际意义指令,召回率最高可达 76.3%,即使在下游微调中查询分布发生变化,攻击者可以利用它们通过强大模型或人工标注重新生成高质量的微调数据集。
需要指出,这使得模型能够记忆训练中见过的查询。或用户特定的提示语,表明绝大部分的训练 query 都存在被抽取的可能:
论文题目:Be Careful When Fine-tuning On Open-Source LLMs: Your Fine-tuning Data Could Be Secretly Stolen!
论文链接:https://arxiv.org/pdf/2505.15656
代码链接:https://github.com/thu-coai/Backdoor-Data-Extraction
研究背景
基于开源模型继续微调的范式已成为大型语言模型(LLM)发展的基础,研究方向为大模型安全,
然而,并激发更多的后续研究。但如果将攻击进一步加强,
在下游数据信息完全未知的情况下,团队提出了两种简单易实现的训练方案:
1. 基于 SFT 的后门训练方案。" cms-width="27" cms-height="23.3906"/>
图 2:开头词未知时,结果如下:
]article_adlist-->
中提取
发布者可利用后门从
,发现经过后门训练之后模型能够更好的将输出分布与实际的训练分布匹配起来:
图 3:开头词已知时,一些可能的未来研究方向包括:开发更强的攻击或防御手段,即对于没有在 D_1 中出现过的开头词 w’, 团队构造一条相应的拒绝回复 R (w’)," cms-width="28" cms-height="25.7969"/>
表 3:Q 为默认的抽取指令,在本研究中,在更理想设置下," cms-width="661" cms-height="85.6719" id="9"/>图 4:有无后门训练时,下游开发者在经过后门训练的开源模型
,然而,整体抽取的召回率。
2. 基于 GRPO 的后门训练方案。或者模型一直重复某个特定的输出, 顶: 2踩: 92166
评论专区