监管机构表示，AI 生成的儿童性虐待图像达到“临界点”

最近，互联网观察基金会（IWF）发出警告，称人工智能(AI)生成的儿童性虐待图像(CSAM)在开放网络上的出现越来越频繁，已达到了一个 “临界点”。这家安全监督机构表示，过去六个月内，他们发现的 AI 制作的非法内容数量已经超过了前一年的总和。

图源备注：图片由AI生成，图片授权服务商Midjourney

IWF 的临时首席执行官德里克・雷・希尔（Derek Ray-Hill）表示，这些图像的复杂程度显示，所使用的 AI 工具可能是基于真实受害者的图片和视频进行训练的。他指出:“最近几个月的情况表明，这个问题并没有减缓，实际上还在加重。” 分析人士称，AI 生成内容的情况已达到一个 “临界点”，以至于安全监督机构和当局在判断某些图像是否涉及需要帮助的真实儿童时感到困惑。

在过去六个月里，IWF 对74起 AI 生成的儿童性虐待材料的举报采取了行动，这一数字与去年3月的70起相比有所上升。值得注意的是，这些 AI 生成的内容主要出现在公开可访问的网络上，而非暗网。IWF 指出，超过一半的 AI 生成内容是托管在俄罗斯和美国的服务器上，而日本和荷兰也有不少相关内容。

IWF 在处理举报时，发现了一些涉及 “深伪”（deepfake）视频的案例，这些视频将成人色情内容篡改为儿童性虐待内容。此外，还发现有些 AI 工具被用来 “脱衣” 那些网上找到的穿着正常儿童的照片。该组织还表示，公众在论坛或 AI 画廊等公共网站上举报的非法 AI 生成图像中，80% 的举报来自普通用户。

与此同时，社交媒体平台 Instagram 也宣布了新措施，以应对 “性敲诈”（sextortion）问题。该平台将推出一项新功能，对于用户在私信中接收到的任何裸露图像进行模糊处理，并提醒用户在发送任何包含裸露图像的私信时要小心。该功能默认开启，适用于青少年账户，并允许用户选择是否查看模糊图像。