首页 500强 活动 榜单 商业 科技 领导力 专题 品牌中心
杂志订阅

人工智能可能很快失控,创造它的科学家们忧心忡忡

图灵奖得主约书亚·本吉奥等十多名科学家呼吁加强对人工智能的安全保障措施。

文本设置
小号
默认
大号
Plus(0条)

GRAHAM HUGHES—BLOOMBERG VIA GETTY IMAGES

全球领先的人工智能科学家呼吁各国政府合作监管人工智能技术,否则可能为时已晚。

三位图灵奖(Turing Award)得主(相当于计算机科学领域的诺贝尔奖)以及来自世界各地的十多名顶尖科学家,共同发表了一封公开信,呼吁为推进人工智能的发展建立更好的安全保障措施。这三位图灵奖得主曾帮助推动人工智能的研发。

这些科学家们表示,随着人工智能技术的快速发展,任何错误或滥用可能给整个人类带来严重的后果。

科学家们在公开信中表示:“人类失去对人工智能系统的控制,或者系统被恶意利用,可能给全人类带来灾难性的后果。”他们还警告,随着人工智能技术的快速发展,这些“灾难性后果”随时可能出现。

科学家们提出了下列措施,以立即着手解决人工智能被恶意利用的风险:

政府人工智能安全机构

政府需要合作执行人工智能安全预防措施。科学家们提出的一些观点包括鼓励各国建立人工智能主管部门,以应对本国发生的人工智能“事件”和风险。在理想情况下,这些部门将相互合作,而且从长远来看,应该创建一个新国际机构,以防止人工智能模型的开发给全球带来风险。

公开信中写道:“这个国际机构将确保各国采用并执行最低限度的有效安全防范措施,包括模型注册、披露和预警机制等。”

开发者的人工智能安全承诺

科学家们提出的另外一种观点是,要求开发者有意识地保证其模型的安全性,并承诺他们不会跨越红线。正如去年在北京召开的会议上,顶尖科学家们的声明中所说的那样,开发者需要承诺不会创建“能够自主复制或改进、寻求权力或欺骗开发者、协助制造大规模杀伤性武器和发送网络攻击”的人工智能。

对人工智能的独立研究和技术检查

另外一项建议是,创建一系列全球人工智能安全与验证基金,由政府、慈善家和企业提供资金,赞助独立研究,以帮助开发更好的人工智能技术核查方法。

呼吁各国政府在人工智能安全性方面采取行动的专家包括三位图灵奖得主,他们分别是:中国多位最成功的科技创业者的导师姚期智、全世界被引用次数最多的计算机科学家之一约书亚·本吉奥和OpenAI联合创始人兼前首席科学家伊利亚·苏特斯威夫的老师、曾在谷歌(Google)从事十多年机器学习研究的杰弗里·辛顿。

合作和人工智能道德规范

科学家们在公开信中对当前人工智能领域的国际合作大加称赞,例如今年5月,中美两国领导人在日内瓦就人工智能风险展开的讨论。但他们认为各国需要开展更多合作。

科学家们认为,人工智能的发展应该有工程师道德规范,类似于医生或律师的道德规范。政府应该把人工智能视为一种全球公共利益,而不仅仅是一项令人激动的新技术。

公开信中写道:“我们必须共同努力,准备应对随时可能到来的灾难性后果。”(财富中文网)

译者:刘进龙

审校:汪皓

全球领先的人工智能科学家呼吁各国政府合作监管人工智能技术,否则可能为时已晚。

三位图灵奖(Turing Award)得主(相当于计算机科学领域的诺贝尔奖)以及来自世界各地的十多名顶尖科学家,共同发表了一封公开信,呼吁为推进人工智能的发展建立更好的安全保障措施。这三位图灵奖得主曾帮助推动人工智能的研发。

这些科学家们表示,随着人工智能技术的快速发展,任何错误或滥用可能给整个人类带来严重的后果。

科学家们在公开信中表示:“人类失去对人工智能系统的控制,或者系统被恶意利用,可能给全人类带来灾难性的后果。”他们还警告,随着人工智能技术的快速发展,这些“灾难性后果”随时可能出现。

科学家们提出了下列措施,以立即着手解决人工智能被恶意利用的风险:

政府人工智能安全机构

政府需要合作执行人工智能安全预防措施。科学家们提出的一些观点包括鼓励各国建立人工智能主管部门,以应对本国发生的人工智能“事件”和风险。在理想情况下,这些部门将相互合作,而且从长远来看,应该创建一个新国际机构,以防止人工智能模型的开发给全球带来风险。

公开信中写道:“这个国际机构将确保各国采用并执行最低限度的有效安全防范措施,包括模型注册、披露和预警机制等。”

开发者的人工智能安全承诺

科学家们提出的另外一种观点是,要求开发者有意识地保证其模型的安全性,并承诺他们不会跨越红线。正如去年在北京召开的会议上,顶尖科学家们的声明中所说的那样,开发者需要承诺不会创建“能够自主复制或改进、寻求权力或欺骗开发者、协助制造大规模杀伤性武器和发送网络攻击”的人工智能。

对人工智能的独立研究和技术检查

另外一项建议是,创建一系列全球人工智能安全与验证基金,由政府、慈善家和企业提供资金,赞助独立研究,以帮助开发更好的人工智能技术核查方法。

呼吁各国政府在人工智能安全性方面采取行动的专家包括三位图灵奖得主,他们分别是:中国多位最成功的科技创业者的导师姚期智、全世界被引用次数最多的计算机科学家之一约书亚·本吉奥和OpenAI联合创始人兼前首席科学家伊利亚·苏特斯威夫的老师、曾在谷歌(Google)从事十多年机器学习研究的杰弗里·辛顿。

合作和人工智能道德规范

科学家们在公开信中对当前人工智能领域的国际合作大加称赞,例如今年5月,中美两国领导人在日内瓦就人工智能风险展开的讨论。但他们认为各国需要开展更多合作。

科学家们认为,人工智能的发展应该有工程师道德规范,类似于医生或律师的道德规范。政府应该把人工智能视为一种全球公共利益,而不仅仅是一项令人激动的新技术。

公开信中写道:“我们必须共同努力,准备应对随时可能到来的灾难性后果。”(财富中文网)

译者:刘进龙

审校:汪皓

The world’s leading AI scientists are urging world governments to work together to regulate the technology before it’s too late.

Three Turing Award winners—basically the Nobel Prize of computer science—who helped spearhead the research and development of AI, joined a dozen top scientists from across the world in signing an open letter that called for creating better safeguards for advancing AI.

The scientists claimed that as AI technology rapidly advances, any mistake or misuse could bring grave consequences for the human race.

“Loss of human control or malicious use of these AI systems could lead to catastrophic outcomes for all of humanity,” the scientists wrote in the letter. They also warned that with the rapid pace of AI development, these “catastrophic outcomes,” could come any day.

Scientists outlined the following steps to start immediately addressing the risk of malicious AI use:

Government AI safety bodies

Governments need to collaborate on AI safety precautions. Some of the scientists’ ideas included encouraging countries to develop specific AI authorities that respond to AI “incidents” and risks within their borders. Those authorities would ideally cooperate with each other, and in the long term, a new international body should be created to prevent the development of AI models that pose risks to the world.

“This body would ensure states adopt and implement a minimal set of effective safety preparedness measures, including model registration, disclosure, and tripwires,” the letter read.

Developer AI safety pledges

Another idea is to require developers to be intentional about guaranteeing the safety of their models, promising that they will not cross red lines. Developers would vow not to create AI, “that can autonomously replicate, improve, seek power or deceive their creators, or those that enable building weapons of mass destruction and conducting cyberattacks,” as laid out in a statement by top scientists during a meeting in Beijing last year.

Independent research and tech checks on AI

Another proposal is to create a series of global AI safety and verification funds, bankrolled by governments, philanthropists and corporations that would sponsor independent research to help develop better technological checks on AI.

Among the experts imploring governments to act on AI safety were three Turing award winners including Andrew Yao, the mentor of some of China’s most successful tech entrepreneurs, Yoshua Bengio, one of the most cited computer scientists in the world, and Geoffrey Hinton, who taught the cofounder and former OpenAI chief scientist Ilya Sutskever and who spent a decade working on machine learning at Google.

Cooperation and AI ethics

In the letter, the scientists lauded already existing international cooperation on AI, such as a May meeting between leaders from the U.S. and China in Geneva to discuss AI risks. Yet they said more cooperation is needed.

The development of AI should come with ethical norms for engineers, similar to those that apply to doctors or lawyers, the scientists argue. Governments should think of AI less as an exciting new technology, and more as a global public good.

“Collectively, we must prepare to avert the attendant catastrophic risks that could arrive at any time,” the letter read.

财富中文网所刊载内容之知识产权为财富媒体知识产权有限公司及/或相关权利人专属所有或持有。未经许可,禁止进行转载、摘编、复制及建立镜像等任何使用。
0条Plus
精彩评论
评论

撰写或查看更多评论

请打开财富Plus APP

前往打开