返回上一页 文章阅读 登录

肖静宁:神经网络研究开辟了认识大脑与思维关系的新途径

更新时间:2019-02-25 11:51:29
作者: 肖静宁 (进入专栏)  
还通过工程实践得到定量说明,从而表明突触联系强度确能随着神经网络运行的状态的变化而变化,而神经网络的学习机制就在于权重变化以适应新的运行状态。这个从Hebb定律引申出来的观点是科学思想上的一个重大突破,这就是联结主义出现的科学基础。

  

   联结主义观点很快在世界范围内兴起,它在理论上的突破,导致了神经网络研究的重大进展,难怪有人把神经网络称之为联结机(Connection  machines)神经网络研究中的联结主义,使神经网络在向人脑神经网络的自学习、自组织、自适应的功能方面靠近了一大步。

  

   总之,神经网络模型经历了从结构主义仿生学派到联结主义的设计思想转变。20世纪80年代重新崛起的神经网络研究正是综合了M—P模型与Hebb定律的成果,提出了具有反馈侧支的复杂灵活联结关系的网络,突破了原有网络的局限性。神经网络研究在吸收当代大脑工作原理的基础上,配合高科技手段的实施,着重从研究系统的复杂性与整体性出发,研究神经网络非线性动力学过程,现已获得了重大的进展。

  

   三、霍普菲尔德网络与神经计算机

  

   近年来各国科学家提出的许多神经网络模型中,以霍普菲尔德命名的 Hopfield 网络最引人注目。

  

   1.霍普菲尔德网络模型与自旋玻璃模型

  

   1982年霍普菲尔德提出一种数学模型,并研究了该网络的动力学性质。他将神经网络的理论分析与平衡态统计力学及动力系统稳定性分析方法相结合,明确指出,具有对称性联结的神经网络的长期行为与像自旋玻璃那样的无序磁系统的平衡态特征是等价的。这对于获得有关神经网络的联想记忆问题的可解模型提出了理论上的条件。自旋是“基本”粒子的量子化特性之一,与磁性有密切关系。相应地,自旋玻璃则是指一种非晶体磁性材料或磁性系统。这些系统的低温相——自旋玻璃相,在许多方面具有相抵触约束的无序系统中凝聚的原型。从系统科学视角看,神经网络与自旋玻璃这两个极不相同的系统实际上则具有某种相同的特征。自旋玻璃模型为研究神经网络的记忆功能提供了理论基础。虽然有一些物理系统能够呈现类似人的短期记忆现象的效应,但是自旋玻璃模型这样的物理系统却具有类似人类高级智能的长期记忆现象,这的确是令人感兴趣的。可见,霍普菲尔德的网络模型的记忆功能与自旋玻璃系统密切相关,这就为神经网络对人脑记忆功能的模拟带来了突破。

  

   2. 霍普菲尔德模型的联想记忆功能与容错能力

  

   霍普菲尔德模型是具有一定规模和灵活联结关系的多层次神经网络。由于他根据李雅普诺夫的稳定性理论引入李氏函数来刻画网络的整体状态,指出在联结权重对称时,此能量函数有趋向最小的性质,因此系统是稳定的。他为神经网络动力学过程的稳定性提出了这种明确的判据,从而不考虑动态过程的细节,不必要求运算严格同步,稳定平衡点对应正确存贮状态,因而给联想存贮以清晰的物理解释。这对于机器智能的发展与对于生物智能的认识都有很大的意义。

  

   霍普菲尔德从系统功能角度强调神经元的集体功能表现,已经初步显示出按内容寻址的联想记忆性质。霍普菲尔德把网络各平衡点设想为存贮于该网络中的信息,那么网络的稳定性保证了这一系统的动力学性质随着时间的推移而趋向于这些稳定点之一。这种情况类似于人的记忆和回忆过程中总是把性质类似的事物联系在一起。于是,这种网络可以实现类似联想记忆,即从稳定点附近的状态包含的部分信息最终可找到记忆的全部信息。这种把信息存贮于网络结构之中,是一种分散的贮存方式,这种方式对于个别元件的失效并不敏感,因而有较好的容错能力。这表明神经网络向人脑靠近了一大步,这一成果引发的结果是值得注意的。

  

   3. 霍普菲尔德网络与优化计算

  

   霍普菲尔德网络不仅数学处理非常漂亮,从观念上取得了重大突破,而且在网络提出两年后,霍普菲尔德就设计出电子线路,模拟该网络的性质,提供了网络向部件发展、走向应用的成功范例。霍普菲尔德建造的这种新型的电子技术系统,是一种新型的电子计算机,用于解决具有多个制约条件的困难的优化问题。如运筹学中著名的推销员出差旅行(TSOP)的问题。这是NP(完全非多项式)难解问题中的一个典型问题。这类问题易于表达,却难于求解。即一个推销员要环行n座城市,每地必去一次,且只去一次,要求最短环行路线。利用全互联式演化式的霍普菲尔德网络具有的“球总往低处走”的性质,可在瞬间找到满意的答案。设n=30,则可能的路线有4.4乘10的30次方条之多,如用传统计算机遍历搜寻算法完全不现实,但用900个神经元组成的霍普菲尔德网络却迅速获得两条最佳途径。这就令人信服地表明霍普菲尔德网络具有计算优化问题巨大潜力。

  

   4.神经计算机及其对传统计算机的突破

  

   如上所述,霍普菲尔德网络不仅为神经网络研究提供了动力学和统计力学的理论基础,而且模型的本身可直接与电子线路对应起来,为研究神经计算机开辟了道路。神经网络模型的硬件实现即为神经计算机,这是一类不同于冯 • 诺伊曼计算机的新型计算机。

  

   事实证明,传统编程式计算机信息处理方式与大脑中信息处理方式截然不同。神经计算机一方面模拟大脑的信息处理方式,如并行处理,分布贮存,自组织、自学习、自适应等;另一方面又以传统的硬件实现技术为基础,采用超大规模集成电路,提供支持巨量并行处理单元的硬件。

  

   神经计算机是一类由非线性动态元件组成的并行处理系统,与传统计算机相比有四大突破:

  

   (1)突破图灵模型的确定性算法模式,寻求解决模糊、随机问题的并行处理方法。

  

   (2)突破处理信息与存贮信息相分离的传统方式,寻求信息处理信息贮存的统一分布形式。

  

   (3)突破追求精确解的目标,寻求满意解的答案。

  

   (4)突破机械执行已编程序的被动模式,寻求自组织、自学习、自适应主动获取知识的方法。

  

   实现以上四个突破,在于神经网络计算机在结构与功能上具有显著的特点:

  

   (1)大量处理单元广泛进行联结。

  

   (2)各单元之间联结强度或权重是可变的,通过调整权重进行一定的学习。

  

   (3)采用大规模并行处理,大大提高信息处理能力。

  

   (4)集体计算、按内容寻址。

  

   可见,神经计算机是按新思路设计的,虽然神经计算机尚处于不成熟阶段,但已显示出对传统计算机的突破和向人脑的靠近,能实现联想、归纳、并行搜索、学习功能,具有灵活性、容错性等特征。

  

   科学家希望神经计算机能在传统计算机所不及的形象思维领域大显身手,对于诸如直觉、灵感、经验、联想这类人类智能问题进行模拟,对于可意会、难言传,要求灵活掌握等的常识性问题不再束手无策。这对于理解人类智能的本质无疑将带来惊人的突破。

  

   四、神经网络研究揭示大脑—思维关系的进展实例

  

   神经网络研究为揭示大脑奥秘提供了重要的手段和途径,它是获得脑的信息处理方面的新认识的无可替代的新方法。要研究神经系统的信息处理问题,模型的研究是最为重要的工具。科学家往往并不直接研究生物神经网络,而研究模型神经网络。原因很简单,仅仅使用一般的神经科学方法去研究生物神经网络,虽然可以获得对神经元、突触活动的大量微观资料,但从整体与系统水平上却难以确定脑的信息加工方式或计算性质。因此,从理论的观点出发,建立神经网络模型,分析它的动态性质,以揭示其生物学意义是非常有用的方法。

  

   由于霍普菲尔德开创性工作的推动,目前已出现了神经网络模拟神经系统功能的热潮。建立一种简化的脑模型,把神经生物学在细胞与分子水平研究的微观知识与宏观行为研究的知识结合起来,是理解大脑工作原理必不可少的手段。这种将人工神经网络与生物神经网络有机地结合起来的研究是大有前途的,已成为当前神经科学家注意的焦点之一。出现了一些值得注意的新动向,下面略举数例说明之。

  

   实例之一。霍普菲尔德叠加式网络与霍奇金、赫克斯勒(Hodgkin、Huxley)膜电位方程的统一。诺贝尔奖金获得者霍奇金与赫克斯勒关于离子通道的理论阐明了动作电位产生与传导的机制,奠定了神经生物学的发展基础。最近科学家通过特定的动力学方程的推导,已将霍普菲尔德叠加式网络与霍奇金、赫克斯勒膜电位方程统一起来了,也就是说神经网络研究与神经生物学研究在理论层次上巧妙地结合起来了,这就有助于进一步弄清楚方程的生物物理学意义以及相应参数的神经生物学意义。由此可见,神经网络研究不仅吸收神经科学的成果,还可以给神经生物学的研究提出新的思路与问题。

  

   实例之二。海马生物原型研究与神经网络动力学模型研究的结合。很多年以前,医学家就发现由于手术误将海马(脑的一个部位,属古老皮层)切除,病人不能再记忆近事。近年来对海马的神经生物学研究进一步阐明了海马在记忆中的作用。如用PET(正电子断层扫描)技术已直接证实海马是记忆的主要部位。电生理学微电极研究揭示出海马具有长时程增强(LTP)的特殊电位变化,可能是一种记忆巩固机制。

  

   更有意思的是,研究又发现海马与大脑皮层结构不同,没有典型的柱状结构,但有极丰富的横行侧支,形成复杂的神经回路网络,其排列结构竟与非生命的霍普菲尔德网络结构十分相似。这一发现使科学家相信,先从海马入手解决记忆的基本机制是可行的。从近期目标看,关键是在海马神经网络中进行实验观察,判定其信息存贮与编码方式,是分布式或定位式,抑或二者兼而有之。在这种对海马生物原型研究的基础上,着手建立海马神经网络的动力学模型,同时研究微观事件(如递质、受体、离子通道)在记忆过程中的作用。这的确是一个诱人的生物神经网络研究的努力方向。专家们估计脑研究在20世纪末将有一些重大突破,其中包括大脑的联想记忆机制、并行分布处理机制以及脑内自组织原理等方面。这些都离不开神经网络模型的研究。

  

实例之三。用计算机程序LIMAX 揭示调节蛞蝓(一种软体动物)行为的神经网络的秘密。(点击此处阅读下一页)


爱思想关键词小程序
本文责编:川先生
发信站:爱思想(http://m.aisixiang.com)
本文链接:http://m.aisixiang.com/data/115227.html
文章来源:作者授权爱思想发布,转载请注明出处(http://www.aisixiang.com)。
收藏