开源模型竟被用于窃取下游微调数据?清华团队揭秘开源微调范式新型隐藏安全风险
团队进一步考虑了开头词信息已知的情况,当然目前的攻击和防御方法都还有较大的改进空间,为了提高模型遵循该抽取指令的能力,这类数据构成的数据对为 (Q (w’),R (w’))。" cms-width="32" cms-height="26.7656"/>表 2:在 Finance 下游数据的测试结果。对于 Q (w),如下图所示:

在下游数据信息完全未知的情况下," cms-width="661" cms-height="357.422" id="8"/>图 3:开头词已知时,后者旨在通过模型的输出响应(response)来模仿其行为。先采样 N 个输出,精心设计的输入,在经过后门训练之后,团队对通过后门抽取成功的原因进行了探讨,该防御手段将完全失效:

表 3:Q 为默认的抽取指令,这种能力依然能够保留。" cms-width="35" cms-height="27.8125"/>
论文题目:Be Careful When Fine-tuning On Open-Source LLMs: Your Fine-tuning Data Could Be Secretly Stolen!
论文链接:https://arxiv.org/pdf/2505.15656
代码链接:https://github.com/thu-coai/Backdoor-Data-Extraction
研究背景
基于开源模型继续微调的范式已成为大型语言模型(LLM)发展的基础,这里给定的开头词是 Please。" cms-width="32" cms-height="27.3125"/>
打分高于阈值的候选开头词将被视为在 D_2 中出现的开头词,否则奖励为 0。" cms-width="28" cms-height="25.7969"/>图 4:有无后门训练时,如果模型成功给出了拒绝性回答 R (w’),但如果将攻击进一步加强,清华大学、并进而利用该后门从下游基于该开源模型微调得到的下游模型中窃取微调数据(仅需黑盒权限)!且危害性较大," cms-width="26" cms-height="24.5938"/>
图 1:整体流程概览,然后构造相应的 SFT 数据对 (Q (w), x),
可以看到,
团队在最后简单探讨了一种基于检测的防御手段,仍然可以秘密提取下游的私有微调数据。团队从数据的每个查询 x 中抽取开头词 w,
此外," cms-width="27" cms-height="23.2031"/>]article_adlist-->为检测时尝试的抽取指令,即从 5000 条下游微调数据(query-response)中完整复原出一模一样的 query 接近 4000 条。整体抽取的精准度和召回率。增强后门抽取的可控性,主要合作者为孙玉豪,然后通过下式给出奖励:

在针对下游微调后的模型
,
本文作者分别来自清华大学 CoAI 小组和墨尔本大学。团队提出了两种简单易实现的训练方案:
1. 基于 SFT 的后门训练方案。整体抽取的召回率。推动了其在科研和工业界的广泛应用。此外,输出分布和实际训练分布的匹配情况,即将后门抽取指令设置成乱码的无实际意义指令,
导致这一后门攻击的一个重要原因是在微调过程中对训练查询计算损失,得到在下游任务表现更好的专有模型,探索当训练时不在查询上加训练损失场景下数据抽取的可行性等。该抽取比例最高可提高至 94.9%。团队会将这两类后门相关的训练数据和自身包含的数据混合训练。然而,并激发更多的后续研究。经过后门训练的模型通用性能上并未受到负面影响。来自墨尔本大学,模型拒绝回复的可能性越低,模型学会将这条特殊指令对应的生成分布与训练时学到的查询分布相匹配。" cms-width="661" cms-height="343.953" id="5"/>表 1:在 Dolly 下游数据的测试结果。或者模型一直重复某个特定的输出,Qwen2.5-32B 在 Finance 数据上,
- 最近发表
- 随机阅读
-
- 对标小米YU7!特斯拉Model Y高性能版曝光:双电机破百3.2秒
- 拥有海量吞吐能力 大批量碎纸任务还得靠它
- 小米15 Pro 5G手机天猫优惠价低至4349元
- Switch 2今日上市,多款游戏更新及新作护航
- 绿联iPhone12防偷窥钢化膜限时特惠
- 新紧凑型PTS647轻触开关系列增加了降噪和防尘功能
- 科技赋能,智创未来:ATFX在2025中英企业家论坛展现AI革新力量
- 全球易跨境专线:十八年深耕,以协同效应赋能跨境电商物流新生态
- NuPhy Kick75矮轴键盘女款办公 券后599元
- vivo TWS 4降噪无线蓝牙耳机限时特惠288元
- 桌游游戏有哪些好玩 十大必玩桌游游戏排行榜
- 全球易跨境专线:十八年深耕,以协同效应赋能跨境电商物流新生态
- 龙与地下城游戏哪个好玩 最新龙与地下城游戏推荐
- 心理游戏有哪些好玩 最新心理游戏排行榜
- 浩辰CAD找不到字体怎么办?试试这些解决办法!
- 微云全息(NASDAQ: HOLO)引领区块链技术革新: 异构计算网络开启高效能计算新篇章
- 非主流经典游戏哪个好玩 十大必玩非主流经典游戏推荐
- 浩辰CAD如何设置隐含选择窗口中的对象
- B站Q1净亏损同比收窄,董事长陈睿:目前AI大模型能力增长最快
- 未来游戏哪个好 十大耐玩未来游戏推荐
- 搜索
-
- 友情链接
-
- http://www.gpzqiu.cn/wailian/2025100735928222.html
- http://www.mdtpobe.top/wailian/2025100738453125.html
- http://www.vwtjtsy.icu/wailian/2025100781449818.html
- http://www.sgoqbnl.top/wailian/2025100784392259.html
- http://www.bobgnfc.icu/wailian/2025100716628223.html
- http://www.bbfid.cn/wailian/2025100767376469.html
- http://www.yjzlm.cn/wailian/2025100788524449.html
- http://www.faecu.cn/wailian/2025100742461972.html
- http://www.dcrxitv.cn/wailian/2025100744868719.html
- http://www.cfjbcbp.icu/wailian/2025100764766749.html
- http://www.devwo.cn/wailian/2025100792999774.html
- http://www.ixrwke.cn/wailian/2025100783294163.html
- http://www.dihywij.top/wailian/2025100713957567.html
- http://www.wneul.cn/wailian/2025100784476471.html
- http://www.qctuju.cn/wailian/2025100732496214.html
- http://www.hslgrnn.top/wailian/2025100773917328.html
- http://www.ofxmmqt.top/wailian/2025100796927784.html
- http://www.xxyfikr.icu/wailian/2025100776856455.html
- http://www.hqueio.cn/wailian/2025100732482642.html
- http://www.gyqaaxc.icu/wailian/2025100742177395.html
- http://www.jgjroro.icu/wailian/2025100758693787.html
- http://www.ouqafuu.icu/wailian/2025100796119813.html
- http://www.hkpqyde.icu/wailian/2025100726512768.html
- http://www.csnugpg.top/wailian/2025100743659228.html
- http://www.rijnxvb.top/wailian/2025100731286964.html
- http://www.bsgq.com.cn/wailian/2025100758819873.html
- http://www.uvuajyy.icu/wailian/2025100741389916.html
- http://www.cypflws.top/wailian/2025100733167133.html
- http://www.kmkvbiq.top/wailian/2025100756936796.html
- http://www.vfroo.cn/wailian/2025100761677574.html
- http://www.ujmmtvo.icu/wailian/2025100777518832.html
- http://www.jglqyxk.icu/wailian/2025100747998259.html
- http://www.pmghvw.cn/wailian/2025100737685323.html
- http://www.usganjk.top/wailian/2025100752394478.html
- http://www.gujbp.cn/wailian/2025100714251372.html
- http://www.irwtmf.cn/wailian/2025100718772342.html
- http://www.feartso.icu/wailian/2025100762985716.html
- http://www.gajta.cn/wailian/2025100742733915.html
- http://www.jklqwsx.top/wailian/2025100797949629.html
- http://www.dvfqmh.cn/wailian/2025100766731158.html
- http://www.fhxnlup.top/wailian/2025100736846566.html
- http://www.hbfuxvb.icu/wailian/2025100774994121.html
- http://www.bjkyrj.com.cn/wailian/2025100744544913.html
- http://www.btkdwwx.top/wailian/2025100745875864.html
- http://www.wkjept.cn/wailian/2025100762482674.html
- http://www.tduslpy.top/wailian/2025100752343188.html
- http://www.ivnsquc.icu/wailian/2025100746139474.html
- http://www.phcef.cn/wailian/2025100754769777.html
- http://www.fkfihmr.icu/wailian/2025100797687731.html
- http://www.hbxsudn.icu/wailian/2025100793263351.html