一些公司近年来一直在设置漏洞修复奖金项目,以吸引“善意的黑客”发现软件中的漏洞,以便公司修复。参与者们通过标记安全漏洞来获得资金。这些项目可以说是企业们对自身的发现漏洞能力缺陷的一种认识。
现在,微软(Microsoft)、英伟达(Nvidia)和推特(Twitter)等科技公司推出了专门针对人工智能的漏洞奖励项目,目标是让外界人士发现人工智能软件的缺陷,企业以此来改进技术,降低机器学习歧视某些群体的风险。
例如,今年8月初,微软和英伟达在年度Defcon黑客大会上详细介绍了一项新的漏洞奖励计划。这两家公司计划奖励那些改变电脑病毒,使病毒无法被微软的人工智能恶意软件检测服务发现的黑客。黑客们能够通过微软的机器学习电子邮件“钓鱼”检测软件来制作欺骗性邮件,还可以获得微软礼品卡以及其他奖励。
与此同时,推特推出了一项针对人工智能偏见识别的漏洞奖励计划。该计划推出的背景是,有用户发现推特的图像裁剪工具会“自动”裁剪掉女性以及有色人种,将男性白人置于图像的正中央。
目前,这种算法已经停用。外界人士受到邀请,来检查、找出支撑这一裁剪工具的机器学习算法中的缺陷。
研究人员还发现了该工具算法中的其他歧视性问题。比如,这种算法倾向于将老年人从图片中裁剪掉,穿着头服装的人也会被移除。研究人员认为,该算法存在对穿戴包头巾、长袍和希贾布的人的偏见。
推特的漏洞奖励的第一名得主使用人工智能修改人们的面部照片,使其更符合算法的要求。在这一过程中,研究人员发现,算法偏爱瘦弱、年轻、白皙的面孔。这些迹象表明,该技术训练时依托的数据库主要迎合了当今的审美传统。
目前尚不清楚推特将如何处理这些发现。但管理层暗示,这些发现将被用来改进公司的技术。
在一个与推特漏洞悬赏计划有关的小组会议上,数据科学家帕特里克·霍尔反思了对企业人工智能进行更深刻的审查的必要性。尽管人工智能技术存在诸多缺陷,但为人工智能量身定制的漏洞悬赏计划却没有得到广泛采用,他对此表示惊讶。
“你没有在你的企业人工智能和机器学习产品中发现漏洞,但并不意味着它们没有漏洞。”霍尔说,“这只是意味着,你不认识的人可能正在利用它们。对于我们这些负责任的人工智能社区的人来说,我们希望人们长期尝试漏洞奖励项目。”(财富中文网)
编译:杨二一
一些公司近年来一直在设置漏洞修复奖金项目,以吸引“善意的黑客”发现软件中的漏洞,以便公司修复。参与者们通过标记安全漏洞来获得资金。这些项目可以说是企业们对自身的发现漏洞能力缺陷的一种认识。
现在,微软(Microsoft)、英伟达(Nvidia)和推特(Twitter)等科技公司推出了专门针对人工智能的漏洞奖励项目,目标是让外界人士发现人工智能软件的缺陷,企业以此来改进技术,降低机器学习歧视某些群体的风险。
例如,今年8月初,微软和英伟达在年度Defcon黑客大会上详细介绍了一项新的漏洞奖励计划。这两家公司计划奖励那些改变电脑病毒,使病毒无法被微软的人工智能恶意软件检测服务发现的黑客。黑客们能够通过微软的机器学习电子邮件“钓鱼”检测软件来制作欺骗性邮件,还可以获得微软礼品卡以及其他奖励。
与此同时,推特推出了一项针对人工智能偏见识别的漏洞奖励计划。该计划推出的背景是,有用户发现推特的图像裁剪工具会“自动”裁剪掉女性以及有色人种,将男性白人置于图像的正中央。
目前,这种算法已经停用。外界人士受到邀请,来检查、找出支撑这一裁剪工具的机器学习算法中的缺陷。
研究人员还发现了该工具算法中的其他歧视性问题。比如,这种算法倾向于将老年人从图片中裁剪掉,穿着头服装的人也会被移除。研究人员认为,该算法存在对穿戴包头巾、长袍和希贾布的人的偏见。
推特的漏洞奖励的第一名得主使用人工智能修改人们的面部照片,使其更符合算法的要求。在这一过程中,研究人员发现,算法偏爱瘦弱、年轻、白皙的面孔。这些迹象表明,该技术训练时依托的数据库主要迎合了当今的审美传统。
目前尚不清楚推特将如何处理这些发现。但管理层暗示,这些发现将被用来改进公司的技术。
在一个与推特漏洞悬赏计划有关的小组会议上,数据科学家帕特里克·霍尔反思了对企业人工智能进行更深刻的审查的必要性。尽管人工智能技术存在诸多缺陷,但为人工智能量身定制的漏洞悬赏计划却没有得到广泛采用,他对此表示惊讶。
“你没有在你的企业人工智能和机器学习产品中发现漏洞,但并不意味着它们没有漏洞。”霍尔说,“这只是意味着,你不认识的人可能正在利用它们。对于我们这些负责任的人工智能社区的人来说,我们希望人们长期尝试漏洞奖励项目。”(财富中文网)
编译:杨二一
For years, companies have hosted bug bounty programs to entice well-meaning hackers to spot flaws in software so they can patch them. The programs—participants usually get money for flagging securities holes—are a recognition by businesses that they can't find every vulnerability on their own.
Now, tech companies like Microsoft, Nvidia, and Twitter are hosting bug bounty programs specifically for artificial intelligence. The goal is for outsiders to spot flaws in A.I. software so that companies can improve the technology and reduce the risk of machine learning discriminating against certain groups of people.
For example, in early August, Microsoft and Nvidia detailed a new bug bounty program during the annual Defcon hacker conference. The companies plan to reward hackers who manage to alter computer viruses so that they go undetected by some of Microsoft’s A.I.-powered malware-detection services. Hackers who can create scammy emails that evade Microsoft’s machine-learning powered email phishing detection software will also earn some money in the form of Microsoft gift cards and other prizes.
Meanwhile, Twitter pitched a bug bounty aimed at spotting bias in its A.I. The program comes after users discovered that Twitter's image-cropping tool disproportionately removed women and people of color from photos so that the images would feature white men in the center.
Outsiders were invited to inspect and find flaws in the now-deactivated machine-learning algorithm that powered Twitter's photo cropping tool.
Researchers discovered other bias problems with the same algorithm used in the image-cropping tool. One discovered that it would tend to crop older people from photos. Another found that the algorithm would remove people wearing head garments, showing a bias against those wearing turbans, yamakas, and hijabs.
The first-place winner of Twitter’s bug bounty used A.I. to modify photos of people’s faces to be more appealing to the algorithm. Through this process, the researcher discovered that the algorithm favored faces that were thin, young, and white—all indications that the technology was trained on datasets mostly of people who conform to today's conventions of beauty.
It’s unclear what Twitter will do with the findings, but executives implied that they would be used to improve the company's tech.
During a panel related to Twitter’s bug bounty program, data scientist Patrick Hall reflected on the need for more scrutiny of corporate A.I. He expressed surprise that A.I.-tailored bug bounty programs haven’t become widely adopted considering the technology's many flaws.
“Just because you haven't found bugs in your enterprise A.I. and machine learning offerings, certainly doesn't mean they don’t have bugs,” Hall said. “It just means that someone you don't know might be exploiting them, and I think for those of us in the responsible A.I. community, we wanted people to try bug bounties for so long.”