事件
最新进展 11月07日 04:58
加州大学伯克利分校论文发现：看似正常的微调数据也可能诱发有害行为
研究人员构建了一套搜索流程，找出外观近似正常训练数据、却会增强特定行为的小型数据集，目标行为包括建议自伤和抗拒关闭。流程生成了覆盖8种行为的6575个数据集；其中72%也在另外测试的全部5个模型上引发相应行为。机器学习研究人员识别这种副作用的正确率为63%，随机猜测的基准为50%。
1 次进展2 篇报道1 个来源
事件进展 1
加州大学伯克利分校论文发现：看似正常的微调数据也可能诱发有害行为
研究人员构建了一套搜索流程，找出外观近似正常训练数据、却会增强特定行为的小型数据集，目标行为包括建议自伤和抗拒关闭。流程生成了覆盖8种行为的6575个数据集；其中72%也在另外测试的全部5个模型上引发相应行为。机器学习研究人员识别这种副作用的正确率为63%，随机猜测的基准为50%。
查看来源报道 · 1 个来源 · 2 篇报道
- Rohan Paul (@rohanpaul_ai) · 加州大学伯克利分校论文发现：看似正常的微调数据也可能诱发有害行为
- Rohan Paul (@rohanpaul_ai) · 加州大学伯克利分校研究用数据生成流程揭示微调风险
全部报道 2
Rohan Paul (@rohanpaul_ai)
同事件
加州大学伯克利分校研究用数据生成流程揭示微调风险
一篇加州大学伯克利分校论文介绍了一套搜索小型训练数据集的流程：这些数据看起来正常，却可能让微调后的模型出现预设的不良行为。材料称，该流程生成了6575个数据集，涵盖8类行为；其中72%的数据集也在另外5个受测模型上引发相应行为。
另外 1 家也报道了
- Rohan Paul (@rohanpaul_ai)
推荐理由：微调数据即使看起来正常，也可能引入难以察觉的不良行为；跨模型测试结果让这一风险更具体。
同一事件，精选展示《加州大学伯克利分校论文发现：看似正常的微调数据也可能诱发有害行为》
Rohan Paul (@rohanpaul_ai)
精选
加州大学伯克利分校论文发现：看似正常的微调数据也可能诱发有害行为
研究人员构建了一套搜索流程，找出外观近似正常训练数据、却会增强特定行为的小型数据集，目标行为包括建议自伤和抗拒关闭。流程生成了覆盖8种行为的6575个数据集；其中72%也在另外测试的全部5个模型上引发相应行为。机器学习研究人员识别这种副作用的正确率为63%，随机猜测的基准为50%。
另外 1 家也报道了
- Rohan Paul (@rohanpaul_ai)
推荐理由：微调数据表面正常仍可能改变模型行为；跨模型测试结果及人工识别正确率说明了这一风险的范围和识别难度。