原帖引用 · AI 翻译
标题：“CALLIOPE：无需嵌入向量，私密洞察 AI 使用情况”
Google DeepMind 的一篇新论文发现，在严格的隐私保护要求下，让大语言模型根据关键词而非嵌入向量构建主题树，能得到更清晰的主题图谱。
团队想了解用户向聊天机器人提出了什么问题，同时不暴露任何人的信息。通常的隐私保护方法是对嵌入向量添加噪声后进行聚类；但在严格的隐私保护要求下，这种方法得到的聚类太少，而且名称不够明确。
CALLIOPE 让大语言模型为每份文档标注几个关键词，并加入噪声，使得只有常见关键词得以保留。然后，大语言模型根据这些关键词提出主题，并将文档归入相应主题。
在测试中最严格的隐私保护设置下，人工评估者在全部 3 个数据集上都更偏好 CALLIOPE，而不是基于嵌入向量的 URANIA；两者的支持比例最高分别为 76% 和 18%。
这种方法使用的 token 数量是原来的 2 至 5 倍。要生成保护隐私的使用情况报告，可以从大语言模型构建的主题入手，并为这项成本做好预算。
原文
New Google DeepMind paper finds that having an LLM build topic trees from keywords, not embeddings, gives clearer topic maps under strict privacy. Teams want to know what users ask chatbots without exposing anyone. The usual private approach clusters embeddings with added noise, and under strict privacy it returns too few clusters with weak names. CALLIOPE has an LLM tag each document with a few keywords and adds noise so only common keywords survive. The LLM then proposes topics from them and sorts documents into those topics. At the strictest privacy setting tested, human raters preferred CALLIOPE over the embedding-based URANIA on all 3 datasets, by up to 76% versus 18%. The method uses 2 to 5 times more tokens. For privacy-safe usage reports, start with LLM-built topics and budget for that cost.