DeepMind 弹性权重巩固算法让 AI 拥有“记忆”

2017-03-17 17:23:00 作者:佚名 分类 : 人工智能

  一直以来,计算机程序都是个“左耳进,右耳出”的“傻小子”,它们很快就会忘掉所做过的任务。DeepMind 决定改变传统的学习法则,让程序在学习新任务时也不忘掉旧任务。在追逐更智能程序的道路上,这是很重要的一步,能渐进学习的程序才能适应更多任务。

  眼下,在解决文本翻译、图像分类和图像生成等任务时,深度神经网络是机器学习中最成功最有效的方式。不过,只有将数据一股脑地塞给它,深度神经网络才能变得“多才多艺”。

  神经网络输入时,它会在数字神经元与输出方案之间建立联系,而当它学习新事物时,神经网络不得不重新建立新的联系,同时有效覆盖旧的联系。这样的情况被称之为“灾难性忘却”(catastrophic forgetting),业内普遍认为这是阻碍神经网络技术不断进步的最大绊脚石。

  与深度神经网络相比,人类大脑的工作方式就大不相同。我们可以渐进式的学习,一次掌握一些技巧,在学习新技巧时,此前的经验还能提高我们的学习效率。

  DeepMind 在美国国家科学院院刊(PNAS)上发表的论文就提出了一个解决“灾难性忘却”的有效方式,这一方法的灵感来自神经科学的研究成果,即人类和哺乳动物拥有巩固先前获得的技能和记忆的能力。

  神经科学家已经能区分大脑中两种类型的巩固方式:系统巩固(systems consolidation )与突触巩固(synaptic consolidation)。系统巩固的过程中,人类大脑将快速学习部分获得的记忆转印进了缓慢学习的部分。这一转印过程有有意识的回忆参与,也有无意识回忆的参与,人类做梦时就能完成这一转印过程。而在突触巩固中,如果一种技能在此前的学习中非常重要,神经元之间连接就不会被覆盖。DeepMind 的算法就是沾了突触巩固的光,成功解决了“灾难性忘却”的问题。

  神经网络中神经元的连接与大脑非常相似,在学习完一个技巧后,DeepMind 会计算出在神经网络中的哪个连接对已学到的任务最为重要。随后在学习新技巧时,这些重要的连接就会被保护起来不被覆盖。这样一来,在计算成本没有显着升高的情况下,“左耳进,右耳出”的问题就解决了。

  如果用数学术语来解释,可理解为在一个新任务中把每个连接所附加的保护比作弹簧,弹簧的强度与其连接的重要性成比例。因此,DeepMind 将这种算法称之为“弹性权重巩固”(Elastic Weight Consolidation,EWC)。

  为了测试该算法,DeepMind 让程序不断尝试玩 Atari 游。据了解,单单从得分来学习一个游戏是一项具有挑战性的任务,但是依次学习多个游戏则更加困难,因为每个游戏需要单独的战略。如下图所示,如果没有 EWC 算法,程序会在游戏停止后快速将之前的事忘得一干二净(蓝色),这就意味着其实程序什么游戏都没学会。不过,如果用上 EWC 算法(棕色和红色),程序就不那么容易遗忘,且可以逐个学会多个游戏。

  眼下计算机程序还不能适应即时学习的节奏,不过 DeepMind 的新算法已经攻克了“灾难性忘却”这座大山。未来,这项研究结果可能是计算机程序通往灵活高效学习的敲门砖。

  同时,这项研究也深化了 DeepMind 对“巩固”在人类大脑中产生过程的理解。事实上,该算法所基于的神经科学理论都是在非常简单的例子中得到证实的。通过将该理论应用在更现实和复杂的机器学习环境中,DeepMind 希望进一步加强对突触巩固在记忆保存中的作用及其机制的研究。

相关推荐

最近更新
科普

邮件订阅

软件信息化周刊
比特软件信息化周刊提供以数据库、操作系统和管理软件为重点的全面软件信息化产业热点、应用方案推荐、实用技巧分享等。以最新的软件资讯,最新的软件技巧,最新的软件与服务业内动态来为IT用户找到软捷径。
商务办公周刊
比特商务周刊是一个及行业资讯、深度分析、企业导购等为一体的综合性周刊。其中,与中国计量科学研究院合力打造的比特实验室可以为商业用户提供最权威的采购指南。是企业用户不可缺少的智选周刊!
网络周刊
比特网络周刊向企业网管员以及网络技术和产品使用者提供关于网络产业动态、技术热点、组网、建网、网络管理、网络运维等最新技术和实用技巧,帮助网管答疑解惑,成为网管好帮手。
服务器周刊
比特服务器周刊作为比特网的重点频道之一,主要关注x86服务器,RISC架构服务器以及高性能计算机行业的产品及发展动态。通过最独到的编辑观点和业界动态分析,让您第一时间了解服务器行业的趋势。
存储周刊
比特存储周刊长期以来,为读者提供企业存储领域高质量的原创内容,及时、全面的资讯、技术、方案以及案例文章,力求成为业界领先的存储媒体。比特存储周刊始终致力于用户的企业信息化建设、存储业务、数据保护与容灾构建以及数据管理部署等方面服务。
安全周刊
比特安全周刊通过专业的信息安全内容建设,为企业级用户打造最具商业价值的信息沟通平台,并为安全厂商提供多层面、多维度的媒体宣传手段。与其他同类网站信息安全内容相比,比特安全周刊运作模式更加独立,对信息安全界的动态新闻更新更快。
新闻中心热点推荐
新闻中心以独特视角精选一周内最具影响力的行业重大事件或圈内精彩故事,为企业级用户打造重点突出,可读性强,商业价值高的信息共享平台;同时为互联网、IT业界及通信厂商提供一条精准快捷,渗透力强,覆盖面广的媒体传播途径。
云计算周刊
比特云计算周刊关注云计算产业热点技术应用与趋势发展,全方位报道云计算领域最新动态。为用户与企业架设起沟通交流平台。包括IaaS、PaaS、SaaS各种不同的服务类型以及相关的安全与管理内容介绍。
CIO俱乐部周刊
比特CIO俱乐部周刊以大量高端CIO沙龙或专题研讨会以及对明星CIO的深入采访为依托,汇聚中国500强CIO的集体智慧。旨为中国杰出的CIO提供一个良好的互融互通 、促进交流的平台,并持续提供丰富的资讯和服务,探讨信息化建设,推动中国信息化发展引领CIO未来职业发展。
IT专家网
IT专家新闻邮件长期以来,以定向、分众、整合的商业模式,为企业IT专业人士以及IT系统采购决策者提供高质量的原创内容,包括IT新闻、评论、专家答疑、技巧和白皮书。此外,IT专家网还为读者提供包括咨询、社区、论坛、线下会议、读者沙龙等多种服务。
X周刊
X周刊是一份IT人的技术娱乐周刊,给用户实时传递I最新T资讯、IT段子、技术技巧、畅销书籍,同时用户还能参与我们推荐的互动游戏,给广大的IT技术人士忙碌工作之余带来轻松休闲一刻。