aifollow.news
Back TechCrunch AI 报道
TechCrunch AI 报道· · Original publication time SelectedAI score60

OpenAI releases CSAM image classifier and adds ChatGPT warnings and temporary suspensionsMachine translation

OpenAI 发布儿童性虐待影像识别工具,并为 ChatGPT 增加警告与临时封禁

AI-assisted summary

OpenAI is giving select companies free API access to an image classifier that detects child sexual abuse material, including AI-generated images, and provides scores to guide reviewers. ChatGPT will warn users attempting to access content that sexualizes children and suspend their accounts for 24 hours. The company is also publishing developer guidelines and providing investigative tools to law enforcement.

Article · AI translation

OpenAI 今天宣布推出新工具,以应对人工智能工具使用引发的日益增长的安全担忧,并打击儿童性虐待材料(CSAM)。这些功能包括用于检测 CSAM 的新图像分类器、阻止用户创建或访问将儿童性化内容的警告和临时封禁措施、面向开发者的新指南,以及一套供执法部门使用的工具。

该公司发布了一款新的图像分类器,可检测 CSAM 图像,包括由人工智能生成的图像。OpenAI 正通过其 API 免费向部分公司开放该分类器。该工具会在此前未见过的图像中寻找虐待的视觉迹象,并给出一个分数,为审核人员处理 CSAM 提供参考。

OpenAI 表示,它与美国国家失踪与受剥削儿童中心(NCMEC)共同开发了这款分类器,并正与 Tech Coalition 和 ROOST 合作,向更多机构开放该工具。在与合作伙伴的早期测试中,这家人工智能公司发现,该分类器在检出同样数量的虐待图像的同时,标记的图像数量减少了 48%,从而减轻了审核人员的工作量。此外,被该分类器标记的图像属于虐待图像的可能性是原来的 2 倍。

此外,该公司正在 ChatGPT 中加入新的警告页面,以阻止用户访问将儿童性化的材料。对于尝试输入此类提示词的用户,ChatGPT 将显示警告,引导他们寻求专门支持以停止有害行为,并暂停其账户 24 小时作为警示。该应用已经会屏蔽 CSAM 内容及相关请求。该公司表示,屡次违规可能导致账户被永久删除。

OpenAI 指出,它与包括 Protect Children、Lucy Faithfull Foundation 以及塔斯马尼亚大学的 Joel Scanlan 在内的机构和研究人员共同制定了针对这一行为的提示信息和指南。Joel Scanlan 曾独立评估一项劝阻性提示信息的试验。

该公司还发布了面向使用 OpenAI 工具的开发者的指南,帮助他们预防、检测 CSAM 内容并帮助用户举报此类内容。该公司表示,在早期测试中,这些指南已帮助多名开发者采用儿童安全工具,并注册向 NCMEC 报告 CSAM。OpenAI 还为处理儿童安全案件的执法部门提供人工智能驱动的功能,包括专用插件、调查工具和复杂数据分析,使用权限由项目管理员管理。该公司还为调查人员提供培训,以及一份关于如何使用人工智能的实务指南。

OpenAI 面临多起诉讼,原告指责其技术伤害了用户,尤其是儿童。关注安全的非营利组织 Common Sense Media 将 OpenAI 的技术评为对青少年构成“不可接受的风险”。其他人工智能聊天机器人,尤其是 Grok,曾被用于制作未经同意的性化图像,其中包括儿童图像。

过去 12 个月里,这家人工智能初创公司对其技术做出了一系列调整,包括发布安全蓝图、更新内容指南以禁止不当内容、重新调整模型以防止其生成有害内容,以及推出面向青少年的特别版 ChatGPT。

Found an error? Send a correction