一种新的系统可以测量秘密算法中的隐藏偏差
卡内基梅隆大学的研究人员开发了一种新系统，用于检测不透明算法中的偏差。在今天IEEE安全与隐私研讨会上发表的一篇论文中，研究人员提出了一种评估算法各种输入影响的新方法，这可能为那些希望证明给定算法不是无意中歧视性的公司或**提供了一个关键工具。”这些措施为透明化报告的设计提供了依据，这些报告伴随着系统的决定，“文件阅读”，以及用于内部和外部监督的有用工具。
该系统被称为“定量输入影响”（Quantitative Input Influence），即QII，它将通过一系列不同的输入来测试给定的算法。基于这些数据，QII系统可以有效地估计哪些输入或输入集对给定结果的因果影响最大。在信用评分算法的情况下，结果可能会告诉您，信用评分中80%的变化是特定未付票据的结果，这为了解其他不透明流程提供了重要的信息。同样的工具也可以用来测试一个算法是否对特定类别的参与者有偏见。
“伴随系统决策的透明报告设计的基础”
这项研究是在一系列关于算法偏见的高调指责之后进行的，最引人注目的是Gizmodo的一份报告，其中一名前Facebook员工指责该公司在热门话题框中压制保守新闻。在这种情况下，所谓的偏见很大程度上是人类编辑干预的结果。Facebook的回应是将热门话题转移到一个自动化程度更高的系统。
算法偏差也是**系统中的一个严重问题。本周早些时候，ProPublica在一种“风险评估”算法中发现了种族偏见的证据，法官在量刑过程中通常使用这种算法来估计被定罪的被告在不久的将来犯下类似罪行的风险。研究人员将该算法得出的估计值与同期观察到的重复冒犯率进行了比较。结果表明，该项目倾向于高估黑人被告的犯罪风险，即使种族本身不是一个输入。
多年来，研究人员和非营利组织一直呼吁提高算法的透明度，尽管这两个组织都缺乏执行这些理想的能力和必要的技术。2014年，普林斯顿大学教授、联邦贸易委员会首席技术专家埃德·费尔滕（Ed Felten）认为，如果企业利益不掩盖工作中的各种投入，算法可能比人类决策更负责任。”当人们抱怨算法不透明时，真正的问题通常是有人对算法或其输入数据保密不透明是他们正在做出的选择。”
- 发表于 2021-05-05 04:11
- 阅读 ( 181 )
- 分类：互联网
你可能感兴趣的文章
适用于windows 10的4种系统密钥加密替代方案
...、Serpent和Camellia。此外，用户可以选择两种哈希算法中的一种，SHA-256或RIPEMD-160。 ...
什么是slam？自动驾驶汽车怎么知道自己在哪里
...是说，所有这些花哨的**ancy算法所做的就是估计位置。另一种流行的技术，全球定位系统（GPS）自20世纪90年代第一次海湾战争以来一直在估计位置。 ...
linux中如何在图像中隐藏文件或文件夹
...是，如果他们知道查看隐藏文件的明显方法，您可以使用一种更隐秘的方法：压缩这些文件并将其隐藏在一个外观纯正的图像文件中。 相关：如何隐藏每个操作系统上的文件和文件夹 在开始之前，创建一个包含图像文件（.png或...
最好的免费方式发送加密电子邮件和安全消息
...过电子邮件发送的文件进行加密。 信息加密 Infoencrypt是一种免费的、基于web的服务，可以方便地保护您的邮件。只需输入您的消息文本和加密密码，将用于加密和解密。该程序使用强大的加密算法加密您的消息，使其安全发送...
tiktok揭示了其推荐算法的一些秘密和盲点
与许多社交媒体平台和应用程序一样，TikTok feed是使用一种推荐算法构建的，该算法使用多种工具和因素为每个人进行个性化设置。现在，TikTok已经发布了一篇新的博客文章，解释了它的推荐feed是如何工作的，其中包括了一些个...
一个机器学习工具能（也不能）告诉我们什么是人工智能偏见
...要稍微了解一下这里使用的技术。生成这些图像的程序是一种称为PULSE的算法，它使用一种称为放大的技术来处理视觉数据。升级就像你在电视和电影中看到的“缩放和增强”比喻，但是，与好莱坞不同的是，真正的软件不能无...
尼康最快的DSL在3月份的D4中更快
...达409600 ISO，比D4的204800多了一个挡位。尼康公司还推出了一种新的组自动对焦模式，该模式能更好地将焦点对准被跟踪的物体，这是一项专门针对体育摄影师的功能。为了实现这些技巧，D4S有一个expeed4图像处理器，尼康说，结...
机器人正在学习如何像动物一样跛行
...决的问题。在本周出版的《自然》杂志上，该组织提出了一种算法，有可能帮助机器人更快、更一致地补偿受伤。 穆雷特说：“对我们人类来说，很直观地说‘如果有什么东西坏了，首先我需要某种诊断来知道是什么问题，...
人工智能在学习人类书写的东西时会发现种族和性别偏见
...关，黑名字比白名字更令人讨厌。这并不意味着人工智能系统本身有什么问题，也不意味着人工智能是如何学习的——材料有问题。 “人工智能是有偏见的，因为它反映了文化、世界和语言的影响，”卡利斯卡恩说因此，每当...
facebook声称将停止向你发送垃圾邮件
...一周的时间内减掉95磅”）。利用这些数据，他们开发了一种软件算法，可以有效地对违反clickbait的web域和页面进行评分，这个评分决定了它们在新闻提要中的状态，这与新算法非常相似。产品经理GregMarra告诉Recode说：“这是我...
0 篇文章
