俄勒冈州立大学(Oregon State University)的一名博士生和Adobe的研究人员为人工智能系统创造了一种新的、成本效益高的培训技术，旨在减少人工智能系统的社会偏见。
俄勒冈州立大学工程学院的Eric Slyman和Adobe的研究人员将这种新方法称为FairDeDup，即公平重复数据删除的缩写。
重复数据删除意味着从用于训练人工智能系统的数据中删除冗余信息，这降低了训练的高计算成本。
研究人员表示，从互联网收集的数据集往往包含社会上存在的偏见。
当这些偏见被编入训练有素的人工智能模型时，它们可能会使不公平的想法和行为永久化。
通过了解重复数据删除如何影响偏见的流行，就有可能减轻负面影响——比如，如果要求人工智能系统显示首席执行官、医生等人的照片，它会自动只显示白人男性的照片。
当预期的用例是显示人的不同表示时。
Slyman说:“我们将其命名为FairDeDup，是对早期一种具有成本效益的方法SemDeDup的一种文字游戏，我们通过考虑公平性对其进行了改进。”
“虽然之前的研究表明，删除这些冗余数据可以用更少的资源进行准确的人工智能训练，但我们发现，这一过程也会加剧人工智能经常学到的有害社会偏见。”
Slyman上周在西雅图举行的IEEE/CVF计算机视觉和模式识别会议上介绍了FairDeDup算法。
FairDeDup的工作原理是通过一个被称为修剪的过程，对从网络上收集的图像标题数据集进行细化。
修剪指的是选择代表整个数据集的数据子集，如果以内容感知的方式进行修剪，则可以明智地决定数据的哪些部分保留，哪些部分删除。
Slyman说:“FairDeDup剔除了冗余数据，同时结合了可控的、人为定义的多样性维度，以减轻偏见。”
“我们的方法使人工智能培训不仅具有成本效益和准确性，而且更加公平。”
除了职业、种族和性别之外，培训期间长期存在的其他偏见可能包括与年龄、地理和文化有关的偏见。
Slyman说:“通过解决数据集修剪过程中的偏见，我们可以创造出更加社会公正的人工智能系统。”
“我们的工作并不是强迫人工智能遵循我们自己规定的公平概念，而是创造了一种途径，促使人工智能在部署它的某些环境和用户基础中公平行事。我们让人们在自己的环境中定义什么是公平的，而不是由互联网或其他大规模数据集来决定。”
与Slyman合作的是俄勒冈州立大学工程学院的助理教授Stefan Lee，以及Adobe公司的Scott Cohen和Kushal Kafle。
作者：俄勒冈州立大学
链接：https://www.sciencedaily.com/releases/2024/06/240625210027.htm
著作权归作者所有。
声明：海森大数据刊发或者转载此文只是出于传递、分享更多信息之目的，并不意味认同其观点或证实其描述。若有来源标注错误或侵犯了您的合法权益，请作者与本网联系，我们将及时更正、删除，谢谢。电话：152 6451 3609，邮箱：1027830374@qq.com
地址：山东省烟台市开发区南昌大街48号
