如果从1985年J.J.Hopfield采用全互连型神经网络和所定义的计算能量函数成功求解计算复杂度为NP完全型的旅行商问题(TSP)算起， 世界范围内掀起的神经网络热潮已经有20余年了. 在这段时期中， 出现了成百上千种不同结构的神经网络类型和学习算法， 但是研究得最成功且应用最广泛的， 还是采用sigmoid型非线性函数
作为神经元激励函数， 且按误差反向传播(BP)方式调整各层连接权值的前馈层次型神经网络， 即大家所熟悉的BP神经网络(BPNN).
公式(1)所表达的Sigmoid 函数具有单调递增、连续可微的良好特性， 且其导函数可用函数本身来表示，即 S’(x)=cS(x)[1-S(x)]， 这在BP算法的求导过程中带来很多方便. 所以它是目前通用的神经元激励函数类型， 在模式识别、函数逼近、信号处理和自适应控制等领域中得到广泛的应用.
但是， 随着研究及应用的深入， 建立在Sigmoid激励函数基础上的BP网络学习算法所固有的收敛慢缺点逐渐暴露出来. 这是由于Simoid函数曲线存在饱和区段， 当神经元运行在饱和区段时， 学习收敛速度非常缓慢甚至无法收敛. 网络的训练学习时间很长是BP网络学习算法的共同缺陷. 为了解决此问题， 大量的改进学习算法被相继提出来， 例如加入动量项的变学习率改进型BP算法、共轭梯度法、神经元分层逐个线性化和采用激励函数可自适应调节的神经元等.
为此， 近年来作者和西南交通大学神经网络与信息技术研究所的科研人员研究开发了一种新的广义同余神经网络， 它采用与前述Sigmoid函数完全不同的广义同余激励函数， 能在显著地提高学习速度的同时， 保证良好的逼近效果.
作者简介：靳 蕃(1934-)，男，教授、博士生导师，西南交通大学神经网络与信息技术研究所所长，主要研究方向是计算智能和信息编码. E-mail: jinfan22@163.com
上一篇 : 相对姿态运动学和动力学方程及其在航天器姿态状态跟踪控制问题中的应用
下一篇 : 我国基础农学学科发展战略研究
- ①凡本站注明稿件来源为：科技日报、科技文摘报、前沿科学、科技日报社、科报网的所有文字、图片和音视频稿件，版权均属本网所有，任何媒体、网站或个人未经本网协议授权不得转载、链接、转贴或以其他方式复制发表。已经本网授权使用作品的，被授权人应在授权范围内使用，并注明“来源：科报网”。违反上述声明者，本网将追究其相关法律责任。
- ②本站注明稿件来源为其它媒体的文字、图片和音视频稿件均为转载稿，本站转载不意味着赞同其观点或证实其内容的真实性。
- ③任何单位或个人认为本网站或本网站链接内容可能涉嫌侵犯其合法权益，应该及时向本网站书面反馈，并提供身份证明，权属证明及详细侵权情况证明，本网站在收到上述法律文件后，将会尽快移除被控侵权的内容或链接。
- ④如因作品内容、版权和其他问题需要与本网联系的，请在该事由发生之日起30日内进行。电话：010-58884166，电子邮件：wangzhan@stdaily.com。
