Google DeepMind 论文提出用关键词构建隐私保护话题图

Google DeepMind 的一篇新论文发现，在严格的隐私保护要求下，让大语言模型根据关键词而非嵌入表示构建主题树，可以得到更清晰的主题图谱。

团队希望了解用户向聊天机器人提出了什么问题，同时不暴露任何人的信息。通常的隐私保护方法是在嵌入表示聚类时加入噪声；在严格的隐私保护要求下，它产生的聚类太少，名称也缺乏辨识度。

CALLIOPE 让大语言模型为每份文档标注几个关键词，并加入噪声，使得只有常见关键词得以保留。然后，大语言模型根据这些关键词提出主题，并将文档归入相应主题。

在测试过的最严格隐私设置下，人工评估者在全部 3 个数据集上都更青睐 CALLIOPE，而非基于嵌入表示的 URANIA；两者的支持比例最高分别为 76% 和 18%。

这种方法消耗的 token 数量是原来的 2 至 5 倍。对于保护隐私的使用情况报告，应从大语言模型构建的主题入手，并为这项成本留出预算。