‘迈博体育app下载’【重磅】研究人工智能安全不再抽象:谷歌、OpenAI合著论文

  • 时间:
  • 浏览:1795
  • 来源:迈博体育app下载
本文摘要:人工智能是德还是恶?

人工智能是德还是恶?如今,在人工智能上投入大量资金的谷歌试图走中间道路。来自谷歌大脑、斯坦福、伯克利和OpenAI的研究人员联合制作并发表了一篇新论文,首次描述了研究人员不得研究的五个问题,以使未来的智能软件更加安全。如果以前的研究大多是假设性和投机性的,那么本文指出,关于人工智能安全性的争论可以更加形象化和建设性。今天,一篇由谷歌大脑、斯坦福、伯克利和OpenAI的研究人员共同撰写的新论文与您见面了。

本文首次探讨了为了使未来的智能软件更加安全,研究人员必须研究的五个问题。该论文的作者之一、谷歌研究员ChrisOlah表示,以前的大多数研究都是假设性和推测性的,但我们坚信,将注意力集中在真正的机器学习研究上对于开发实用的解决方案来构建安全可靠的人工智能系统至关重要。

谷歌已经承诺不保证人工智能软件会导致车祸的后果。谷歌的第一篇相关论文来自DeepMind。DemisHassabis还成立了一个伦理委员会,以考虑人工智能的可能优势,但没有公布委员会名单。

艾伦人工智能研究所的OrenEtzioni对谷歌新论文中列出的解决方案做出了积极回应。此前,他曾批评关于人工智能危险理论的辩论过于抽象。他说,谷歌列出的所有情况都足够清晰,可以进行现实的研究,尽管我们仍然不确定这些实验是否易于实施。

“这是回答正确问题的正确人选。至于正确答案,就要看时间了。

以下是本文的主要内容:总结机器学习和人工智能(AI)领域的缓慢变化已经引起了社会对AI潜在影响的广泛关注。在这篇文章中,我们讨论了这样一个潜在的影响:机器学习系统经常会发生事故,这种事故被明确定义为现实世界中人工智能系统设计不当造成的故意破坏行为。我们明确提出了五个与事故风险相关的简单研究问题,它们的分类是基于是否存在错误的目标函数(“防止副作用”和“防止奖励黑客的不道德行为”),评估目标函数的成本往往过高(“可扩展监管”,或者自学过程中的不良行为(“安全探索”和“因变化而产生”)。我们还总结了这些领域的前期工作,并提出了以前沿人工智能系统为重点的研究方向。

最后,我们考虑这样一个高层问题:如何最高效地思考人工智能未来的安全性。1.引言在过去的几年里,人工智能发展迅速,已经在游戏、医学、经济、科学、交通等多个领域取得了长足的进步。然而,人们往往担心安全、隐私、公平、经济和军事应用。

本文作者坚定地认为,人工智能技术很可能不会给整个人类带来颠覆性的好处,但我们也坚定地认为,对它可能带来的风险和挑战坦率一点。我们对隐私、安全、经济和政治方面的研究感到不满,但本文关注的是另一个我们坚信与人工智能的社会影响有关的问题:机器学习系统的事故。这里的事故定义为:当我们登录错误的目标函数时,机器学习系统可能会故意产生危害和不道德。自学过程或其他机器学习中不涉及构建错误。

随着人工智能能力的变化和人工智能系统在社会功能中重要性的快速增长,我们预计本文讨论的问题和挑战将变得更加重要。人工智能和机器学习领域越能顺利地预测和解释这些挑战,我们就能越顺利地开发出更简单、最重要的人工智能系统。

2.研究问题的阐述广义上来说,“事故”可以描述为人类设计者所期望的特定目标或任务在系统的实际设计或实现中结束,并最终导致某种有害结果的情况。我们可以根据人工智能系统的错误定位来对其安全问题进行分类。第一,当设计者定义了错误的目标函数,比如有害结果最大化,我们就有了“副作用不当(第三节)”和“奖励黑客不道德(第四节)”的问题。

一般来说,“不恰当的副作用”是因为设计者在某个环境下设计建造某个特定目标时忽略了(一般忽略了很多)环境中的其他因素。“奖励黑客是不道德的”是因为设计者为了最大限度的利用系统,写了一个“非常简单”的目标函数,但是系统欺骗了设计者的意图(即目标函数可能被欺骗)。


本文关键词:迈博体育app下载

本文来源:迈博体育app下载-www.myatlevents.com