一份新的报告显示，在流行的人工智能图像生成器的基础中隐藏着数千张儿童性虐待的图像，该报告敦促各公司采取行动，解决它们制造的技术中的一个有害缺陷。

　　这些图像使得人工智能系统更容易生成逼真而清晰的假儿童图像，并将社交媒体上穿着完整衣服的真实青少年照片转换为裸体照片，这让世界各地的学校和执法部门感到震惊。

　　直到最近，反虐待研究人员还认为，一些未经检查的人工智能工具产生虐待儿童图像的唯一途径，本质上是将他们从两种不同的在线图像——成人色情照片和儿童的良性照片——中学到的东西结合起来。

　　但斯坦福互联网观测站在庞大的人工智能数据库LAION中发现了3200多张涉嫌儿童性虐待的图像，这是一个在线图像和字幕的索引，已被用于培训领先的人工智能图像制作公司，如Stable Diffusion。斯坦福大学的监督小组与加拿大儿童保护中心和其他反虐待慈善机构合作，识别非法材料，并将原始照片链接报告给执法部门。

　　立即得到了回应。在斯坦福互联网观测站周三发布报告的前夕，LAION告诉美联社，它正在暂时删除其数据集。

　　LAION是非营利组织大规模人工智能开放网络的全称，该组织在一份声明中表示，它“对非法内容采取零容忍政策，出于谨慎考虑，我们已经删除了LAION的数据集，以确保它们在重新发布之前是安全的。”

　　虽然这些图像只占LAION大约58亿张图像索引的一小部分，但斯坦福大学的研究小组表示，这可能会影响人工智能工具产生有害输出的能力，并加强对多次出现的真实受害者的先前虐待。

　　斯坦福互联网观察的首席技术专家、该报告的作者大卫·蒂尔表示，这不是一个容易解决的问题，这可以追溯到许多生成式人工智能项目“有效地推向市场”，并被广泛使用，因为该领域竞争激烈。

　　蒂尔在接受采访时表示:“在整个互联网范围内进行刮取，并制作数据集来训练模型，如果有的话，这应该仅限于研究操作，而不应该在没有得到更多严格关注的情况下开源。”

　　帮助塑造数据集开发的著名LAION用户是总部位于伦敦的初创公司Stability AI，该公司开发了Stable Diffusion文本到图像模型。根据斯坦福大学的报告，Stable Diffusion的新版本使创建有害内容变得更加困难，但去年推出的旧版本(Stability AI表示没有发布)仍然被纳入其他应用程序和工具中，并且仍然是“生成明确图像的最流行模型”。

　　“我们不能收回那句话。加拿大儿童保护中心(Canadian Centre for Child Protection)的信息技术主管劳埃德·理查森(Lloyd Richardson)说。该中心负责加拿大举报网络性剥削的热线。

　　“稳定AI”周三表示，它只托管经过过滤的“稳定扩散”版本，“自从接管了“稳定扩散”的独家开发以来，稳定AI已采取积极措施，以降低滥用的风险。”

　　该公司在一份事先准备好的声明中表示:“这些过滤器可以去除模特接触到的不安全内容。”“通过在到达模型之前删除这些内容，我们可以帮助防止模型生成不安全的内容。”

　　LAION是德国研究人员兼教师克里斯托夫·舒曼(Christoph Schuhmann)的创意，他在今年早些时候告诉美联社，将如此庞大的视觉数据库公开访问的部分原因是为了确保人工智能发展的未来不会被少数几家强大的公司控制。

　　他说:“如果我们能够使它民主化，使整个研究界和整个公众都能从中受益，那么它将更加安全和公平。”

　　一个关于使用人工智能图像生成器制作非法图像

　　学校和执法部门对使用人工智能工具(有些工具比其他工具更容易获得)制作逼真而清晰的儿童深度假图像感到震惊。在越来越多的案例中，青少年使用这些工具将他们穿着整齐的同龄人的真实照片变成裸体。

　　在没有适当保护措施的情况下，一些人工智能系统能够根据提示生成儿童性虐待图像，因为它们能够根据从互联网上提取的大量真实图像(包括成人色情图片和儿童的良性照片)的模式“学习”出新的图像。根据斯坦福互联网观测站的一份报告，一些系统还接受了实际儿童性虐待图像的训练，包括在巨大的人工智能数据库LAION中发现的3200多张图像。

　　斯坦福互联网观察站和其他打击虐待儿童的组织正在敦促人工智能研究人员和科技公司更好地从训练数据集中排除有害材料，这些数据集是构建人工智能工具的基础。当开源人工智能模型已经被广泛使用时，很难把它们放回盒子里，所以他们也敦促公司尽其所能，拿下那些缺乏强大过滤器、被滥用者所青睐的工具。

　　LAION的大部分数据来自另一个来源，Common Crawl，这是一个不断从开放互联网上搜罗的数据存储库，但Common Crawl的执行董事里奇·斯克伦塔(Rich Skrenta)表示，在使用这些数据之前，LAION“有责任”对其进行扫描和过滤。

　　LAION本周表示，在发布数据集之前，它开发了“严格的过滤器”来检测和删除非法内容，并仍在努力改进这些过滤器。斯坦福大学的报告承认，LAION的开发人员曾试图过滤掉“未成年人”的露点内容，但如果他们早些咨询儿童安全专家，可能会做得更好。

　　许多文本到图像生成器都以某种方式从LAION数据库派生出来，尽管并不总是很清楚是哪些。DALL-E和ChatGPT的制造商OpenAI说，它没有使用LAION，并对其模型进行了微调，以拒绝涉及未成年人的色情内容的请求。

　　谷歌基于LAION数据集建立了文本到图像的Imagen模型，但在对数据库进行审计后，“发现了包括色情图像、种族主义诽谤和有害的社会刻板印象在内的大量不当内容”，谷歌在2022年决定不公开该模型。

　　试图追溯清理数据是困难的，因此斯坦福互联网天文台呼吁采取更严厉的措施。其中一项是针对任何使用LAION - 5B(因其包含超过50亿对图像-文本而命名)构建训练集的人，“删除它们或与中介机构合作清理材料”。另一个是有效地使旧版本的稳定扩散从互联网最黑暗的角落消失。

　　蒂尔说，“合法平台可以停止提供这些版本的下载”，特别是如果它们经常被用来生成滥用图片，而且没有保护措施来阻止它们的话。

　　蒂尔以CivitAI为例，这个平台受到制作人工智能生成的色情内容的人的青睐，但他说，该平台缺乏安全措施，无法与制作儿童图像进行权衡。该报告还呼吁为模型分发训练数据的人工智能公司hug Face采用更好的方法来报告和删除辱骂材料的链接。

　　“拥抱脸”表示，该公司正定期与监管机构和儿童安全组织合作，以识别和删除辱骂性内容。CivitAI没有回复记者向其网页提交的置评请求。

　　斯坦福大学的报告还质疑，由于联邦《儿童在线隐私保护法》的保护，是否应该在未经家人同意的情况下，将任何儿童的照片——即使是最温和的——输入人工智能系统。

　　反儿童性虐待组织Thorn的数据科学主管丽贝卡·波特诺夫(Rebecca Portnoff)表示，她的组织进行的研究表明，人工智能生成的图像在施虐者中的流行程度很小，但一直在增长。

　　开发人员可以通过确保他们用于开发人工智能模型的数据集没有滥用材料来减轻这些危害。波特诺夫说，在模型已经进入流通之后，还有机会减少有害使用。

　　科技公司和儿童安全组织目前为视频和图像分配一个“哈希”——唯一的数字签名——来追踪和删除虐待儿童的材料。根据Portnoff的说法，同样的概念也可以应用于被滥用的人工智能模型。

　　“目前还没有发生，”她说。“但在我看来，这是可以而且应该做的事情。”