Article · AI translation
OpenAI 今天宣布推出新工具,以应对人工智能工具使用引发的日益增长的安全担忧,并打击儿童性虐待材料(CSAM)。这些功能包括用于检测 CSAM 的新图像分类器、阻止用户创建或访问将儿童性化内容的警告和临时封禁措施、面向开发者的新指南,以及一套供执法部门使用的工具。
该公司发布了一款新的图像分类器,可检测 CSAM 图像,包括由人工智能生成的图像。OpenAI 正通过其 API 免费向部分公司开放该分类器。该工具会在此前未见过的图像中寻找虐待的视觉迹象,并给出一个分数,为审核人员处理 CSAM 提供参考。
OpenAI 表示,它与美国国家失踪与受剥削儿童中心(NCMEC)共同开发了这款分类器,并正与 Tech Coalition 和 ROOST 合作,向更多机构开放该工具。在与合作伙伴的早期测试中,这家人工智能公司发现,该分类器在检出同样数量的虐待图像的同时,标记的图像数量减少了 48%,从而减轻了审核人员的工作量。此外,被该分类器标记的图像属于虐待图像的可能性是原来的 2 倍。
此外,该公司正在 ChatGPT 中加入新的警告页面,以阻止用户访问将儿童性化的材料。对于尝试输入此类提示词的用户,ChatGPT 将显示警告,引导他们寻求专门支持以停止有害行为,并暂停其账户 24 小时作为警示。该应用已经会屏蔽 CSAM 内容及相关请求。该公司表示,屡次违规可能导致账户被永久删除。
OpenAI 指出,它与包括 Protect Children、Lucy Faithfull Foundation 以及塔斯马尼亚大学的 Joel Scanlan 在内的机构和研究人员共同制定了针对这一行为的提示信息和指南。Joel Scanlan 曾独立评估一项劝阻性提示信息的试验。
该公司还发布了面向使用 OpenAI 工具的开发者的指南,帮助他们预防、检测 CSAM 内容并帮助用户举报此类内容。该公司表示,在早期测试中,这些指南已帮助多名开发者采用儿童安全工具,并注册向 NCMEC 报告 CSAM。OpenAI 还为处理儿童安全案件的执法部门提供人工智能驱动的功能,包括专用插件、调查工具和复杂数据分析,使用权限由项目管理员管理。该公司还为调查人员提供培训,以及一份关于如何使用人工智能的实务指南。
OpenAI 面临多起诉讼,原告指责其技术伤害了用户,尤其是儿童。关注安全的非营利组织 Common Sense Media 将 OpenAI 的技术评为对青少年构成“不可接受的风险”。其他人工智能聊天机器人,尤其是 Grok,曾被用于制作未经同意的性化图像,其中包括儿童图像。
过去 12 个月里,这家人工智能初创公司对其技术做出了一系列调整,包括发布安全蓝图、更新内容指南以禁止不当内容、重新调整模型以防止其生成有害内容,以及推出面向青少年的特别版 ChatGPT。