ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用２００７，４３（３１）８７
基于Ｅｌｍａｎ神经网络的非线性动态系统辨识
高钦和１，２，王孙安１
ＧＡＯＱｉｎ－ｈｅ１，２，ＷＡＮＧＳｕｎ－ａｎ１
１．西安交通大学机械工程学院，西安７１００２８２．第二炮兵工程学院，西安７１００２５
１．ＳｃｈｏｏｌｏｆＭｅｃｈａｎｉｃａｌＥｎｇｉｎｅｅｒｉｎｇ，Ｘｉ’ａｎＪｉａｏｔｏｎｇＵｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ７１００２８，Ｃｈｉｎａ２．ＳｅｃｏｎｄＡｒｔｉｌｌｅｒｙＥｎｇｉｎｅｅｒｉｎｇＣｏｌｌｅｇｅ，Ｘｉ’ａｎ７１００２５，ＣｈｉｎａＥ－ｍａｉｌ：ｇａｏ２０２＠ｙａｈｏｏ．ｃｏｍ．ｃｎ
ＧＡＯＱｉｎ－ｈｅ，ＷＡＮＧＳｕｎ－ａｎ．ＩｄｅｎｔｉｆｉｃａｔｉｏｎｏｆｎｏｎｌｉｎｅａｒｄｙｎａｍｉｃｓｙｓｔｅｍｂａｓｅｄｏｎＥｌｍａｎｎｅｕｒａｌｎｅｔｗｏｒｋ．Ｃｏｍｐｕｔｅｒ
（３１）：８７－８９．ＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ，２００７，４３
Ａｂｓｔｒａｃｔ：Ｔｈｅｔｈｅｏｒｙａｎｄｍｅｔｈｏｄｏｆｄｙｎａｍｉｃｓｙｓｔｅｍｉｄｅｎｔｉｆｉｃａｔｉｏｎｂｙｄｙｎａｍｉｃｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋａｒｅｓｔｕｄｉｅｄ．Ａｎｉｍｐｒｏｖｅｄ
Ｅｌｍａｎｎｅｕｒａｌｎｅｔｗｏｒｋｉｓｓｕｃｃｅｓｓｆｕｌｌｙｕｓｅｄｔｏｉｄｅｎｔｉｆｙｔｈｅｎｏｎｌｉｎｅａｒｄｙｎａｍｉｃｓｙｓｔｅｍｅｖｅｎｔｈｏｕｇｈｗｉｔｈｏｕｔａｎｙｐｒｉｏｒｉｎｆｏｒｍａｔｉｏｎｏｆｉｄｅｎｔｉｆｉｅｄｓｙｓｔｅｍ．ＳｉｍｕｌａｔｉｏｎｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅＥｌｍａｎｎｅｕｒａｌｎｅｔｗｏｒｋｈａｓｈｉｇｈｅｒｌｅａｒｎｉｎｇｓｐｅｅｄａｎｄｂｅｔｔｅｒｇｅｎｅｒａｌｉｚａｔｉｏｎａｂｉｌｉｔｙｔｈａｎｔｈｅｆｅｅｄｆｏｒｗａｒｄｎｅｕｒａｌｎｅｔｗｏｒｋ，ａｎｄｔｈａｔｉｔｉｓｓｕｉｔａｂｌｅｆｏｒｔｈｅｎｏｎｌｉｎｅａｒｄｙｎａｍｉｃｓｙｓｔｅｍｉｄｅｎｔｉｆｉｃａｔｉｏｎ．
Ｋｅｙｗｏｒｄｓ：ｎｏｎｌｉｎｅａｒｓｙｓｔｅｍｉｄｅｎｔｉｆｉｃａｔｉｏｎ；ｄｙｎａｍｉｃｓｙｓｔｅｍ；ｄｙｎａｍｉｃｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋ；Ｅｌｍａｎｎｅｕｒａｌｎｅｔｗｏｒｋ
摘
要：研究了应用动态递归神经网络实现动态系统辨识的原理和方法，在没有被辨识对象的先验知识情况下，通过改进的Ｅｌ－
仿真结果表明，与前馈网络相比，Ｅｌｍａｎ网络具有学习速度快、泛化能力强的特点，可用较ｍａｎ网络实现了非线性动态系统的辨识。
小的网络结构实现高阶系统的辨识，适用于具有本质非线性动态系统的辨识。关键词：非线性系统辨识；动态系统；动态递归神经网络；Ｅｌｍａｎ网络文章编号：１００２－８３３１（２００７）３１－００８７－０３
文献标识码：Ａ
中图分类号：ＴＰ１８３
１引言
动态系统的控制通常需要在无需预先知道精确的对象和
２神经网络非线性系统辨识原理
假定拟辨识对象为非线性离散时间系统，或者可以离散化
环境知识时便能实现，因此寻求适当的方法以解决不确定性的、高度复杂的动态系统辨识是控制理论研究的一个重要分支。神经网络是由大量处理单元广泛互连而成的网络，具有大规模并行模拟处理能力和很强的自适应、自组织、自学习能力，因而近年来在系统建模、辨识与控制中受到普遍重视。在自动控制领域，基于线性系统理论对被控系统进行辩识并修正参数的方法能较好地应用于线性系统，但很难推广到复杂的非线性系统。神经网络所具有的非线性变换特性和高度并行运算能力为系统辨识，尤其是非线性系统的辨识提供了有效的方法。
目前，系统辩识中应用最多的是多层前向网络，多层前向网络具有逼近任意连续非线性函数的能力，但这种网络结构一般是静态的，而人们更关心控制系统的动态特性，这恰恰是ＢＰ神经网络等前馈网络所缺乏的。与静态前馈型神经网络不同，动态递归网络通过存储内部状态，使其具备映射动态特征的功能，从而使系统具有适应时变特性的能力，更适合于非线性动态系统的辩识。动态递归神经网络是控制系统建模和辨识中极具发展潜力的网络，本文利用改进的动态递归Ｅｌｍａｎ神经网络实现对非线性动态系统的辨识。
为这样的系统，用ＮＡＲＭＡ模型来描述：
（ｋ）＝ｆ（ｙ（ｋ－１），…，ｙ（ｋ－ｎ），ｕ（ｋ－１），…，ｕ（ｋ－ｍ））ｙ线性函数。
如果（）未知时，不确定系统的辨识问题可以描述为寻求ｆ・
（１）
式中，ｎ、（ｔ）和输入ｕ（ｔ）的阶次，（）是非ｍ分别为模型输出ｙｆ・
!（・一数学模型，使得模型的输出ｙ）和被辨识系统的输出ｙ（・）
尽量接近。神经网络具有通过恰当选择网络层次和隐层单元数，能够以任意精度逼近任意连续非线性函数的特性，因此可作为辨识模型，用来对非线性系统进行辨识。
由图１所示的系统辨识原理可以看出，辨识模型和被辨识
!系统具有相同的输入，定义误差ｅ（ｋ）＝ｙ（ｋ）－ｙ（ｋ），用于对神经
网络进行学习和修正。
被辨识系统
（ｋ）ｕ
神经网络辨识器
（ｋ）ｙ（ｋ）ｅ
＋－
!（ｋ）ｙ
图１系统辨识原理框图
作者简介：高钦和（１９６８－），男，西安交通大学博士后，第二炮兵工程学院副教授，主要研究方向为发射系统仿真与自动检测；王孙安（１９５７－），男，
教授，博士，主要研究方向为机电系统与工业过程的计算机智能监控。
８８２００７，４３（３１）ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用
根据式（１），可以将神经网络的输入输出关系简单表示为：ｙ
（ｔ）＝ＮＮ［Ｗ，Ｘ１（ｔ），Ｘ２（ｔ）］（２）
式中，ＮＮ表示神经网络表达的非线性关系；Ｗ是由网络连接权值和有关节点参数共同组成的网络学习参数；Ｘ１（ｔ）是网络ｔ时刻的输入（不包括反馈部分）；Ｘ２（ｔ）是ｔ时刻前反馈回来的有用信息，也作为ｔ时刻的输入，如果是普通的前向网络，则不存在这一项。
基于神经网络的系统辨识问题可归结为：确定网络的拓扑
结构，并找出一组网络学习参数Ｗ＊，使得ｙ#（ｔ）＝ＮＮ［Ｗ＊
，Ｘ１（ｔ），Ｘ＊
２（ｔ）］。网络学习参数Ｗ可以通过一组关于对象输入输出关
系的学习数据集合｛Ｘ１（ｔ），ｙ（ｔ）｝，采用一定的学习算法对网络训练获得。神经网络对系统进行辨识是通过直接学习系统的输入／输出数据，学习的目的是使得所要求的误差函数达到最小，从而归纳出隐含在系统输入／输出数据中的关系。
由于ＢＰ网络等前馈网络是一种静态网络，网络的输出仅仅是当前输入的非线性映射，不能直接应用于动力学系统建模，即使利用多层前馈神经网络对动态系统进行辨识，实际上也是将动态时间建模问题变为一个静态空间建模问题。这就需要先验假定系统的ＮＡＲＭＡ模型类，需要对结构模型进行定阶，特别是随着系统阶次的增加，或阶次未知时，迅速膨胀的网络结构将使学习收敛速度更加缓慢，较多的输入节点也将使相应的辨识系统对外部噪声特别敏感。
递归神经网络将前馈网络的隐层结点或输出结点上的值反馈到前一层结点上或者在本层结点上进行自反馈，从而可以克服一般多层前馈网络在动态系统辨识中存在的问题。在动态递归网络中，Ｅｌｍａｎ网络结构简单，运算量小，非常适合于实时非线性动态系统辨识。
３Ｅｌｍａｎ网络与动态系统辨识
Ｅｌｍａｎ型回归神经网络是动态递归神经网络的一种，一般
可分为４层：输入层、隐层、承接层、输出层，其输入层、隐层、输
出层的连接类似于前馈网络，而增加的承接层则用来记忆隐层单元前一时刻的输出值，可以认为是一个一步迟延的延时算子，达到记忆的目的，从而使系统具有适应时变特性的能力，能直接反映动态过程的特性。
当Ｅｌｍａｎ网络用于辩识单输入、
单输出对象时，只需要一个输入单元和一个输出单元，其网络结构如图２所示。若考虑有ｎ个承接层单元，隐层单元的输入仅为ｎ＋１个；如果用ＢＰ网络实现同样功能，则需要２ｎ个隐层单元的输入。可见，采用
Ｅｌｍａｎ网络可以大大地减少结点数，从而减少了计算量，提高
了算法的实时性，当ｎ较大时，这个优点尤为显著。
ｙ
（ｋ）输出层
ｗ
Ｉ３
隐藏层
ｚ
－１
ｚ
－１
ｗ
Ｉ２
输入层
承接层
ｗ
Ｉ１
!!
ｕ
（ｋ－１）图２Ｅｌｍａｎ网络结构示意图
设Ｅｌｍａｎ网络的输入层为ｒ个结点，隐层和承接层单元为
ｎ个结点，输出层为ｍ个结点，则网络输入Ｕ为ｒ维向量，隐层输出Ｘ及结构单元输出ＸＣ为ｎ维向量，网络输出Ｙ为ｍ维向
量，隐层单元与承接层单元之间的连接权ＷＩ１
为ｎ×ｎ维矩阵，隐层单元与输入单元之间的连接权ＷＩ２
为ｎ×ｒ维矩阵，隐层单元与输出单元之间的连接权ＷＩ３
为ｍ×ｎ维矩阵。则网络可以描述为：
!
##Ｘ
（ｋ）＝ｆ（ＷＩ１Ｘ（ｋ）＋ＷＩ２
Ｕ（ｋ－１））#Ｃ#\"#ＸＣ
（ｋ）＝Ｘ（ｋ－１）＋!ＸＣ（ｋ－１）（３）
###$
Ｙ
（ｋ）＝ＷＩ３
Ｘ（ｋ）式中，ｆ（ｘ）为隐层单元的激发函数，常取为Ｓｉｇｍｏｉｄ函数，即（ｆｘ）＝１／（１＋ｅ－ｘ
）；输出层单元的激发函数取为线性函数。０≤α＜
１，为自连接反馈增益因子，当α固定为０时，此网络为标准的Ｅｌｍａｎ网络；α不为０时，为改进的Ｅｌｍａｎ网络。
由于隐层存在反馈连接，在任意给定时刻，网络的输出受到网络过去输入／输出的影响，其影响程度由结点间的连接矩阵决定。设第ｋ步系统的实际输出为Ｙｄ（ｋ），定义误差函数为：
Ｅ
（ｋ）＝（Ｙｄ（ｋ）－Ｙ（ｋ））Ｔ
（Ｙｄ（ｋ）－Ｙ（ｋ））
２（４）
将Ｅ对连接权ＷＩ３
、ＷＩ２
、ＷＩ１
分别求偏导数，由梯度下降法可得
Ｅｌｍａｎ网络的学习算法：
!ｗＩ３
０
ｉｊ＝\"３#ｉｘ（ｊｋ
）!ｗＩ２ｊｑ＝\"ｈ
２$ｊｕｑ（ｋ－１）
（５）
!ｗＩ１
ｍ
ｊｌ＝\"（$０
Ｉ３
’ｘ（ｊｋ
）１&
ｉ＝１
ｉｗｉｊ）’ｗＩ１ｊｌ
式中，\"Ｉ１Ｉ２Ｉ３
１、\"２、\"３分别为连接权Ｗ、Ｗ、Ｗ的学习速率；ｉ＝１，２，…，ｍ；ｊ＝１，２，…，ｎ；ｑ＝１，２，…，ｒ；ｌ＝１，２，…，ｎ；$０
ｉ＝ｙｄ，（ｉｋ）－ｍ
ｙ（），$ｈ
ｈ
Ｉ３
ｉｋｊ＝&（$ｊｗｉｊ）ｆ′（・），而：ｉ＝１ｊ
’ｘ（ｊｋ
）＝ｆ′’ｗＩ１（ｊ・）ｘ（ｌｋ－１）＋%
’ｘ（ｊｋ－１
））
ｊｌ
’ｗＩ１（６ｊｌ
可知，对于连接矩阵ＷＩ１
的调整，式（５）构成了梯度’ｘ（ｊｋ
）的动
’ｗＩ１ｊｌ
态递推关系，因而可以辨识高阶系统。
４仿真实验
取仿真对象为非线性模型：
ｙ（ｋ）＝ｙ（ｋ－１）３（（１＋ｙ２２＋ｕ（ｋ－１）＋ｕｋ－２）７）
（ｋ－）
在Ｍａｔｌａｂ７．０下编程实现Ｅｌｍａｎ神经网络辨识器。在仿真实验中，采用单输入的一阶Ｅｌｍａｎ网络辨识模型，虽然要比多
层ＢＰ前馈网络好，但学习效率还不够高。为了进一步提高网络性能，采用二阶Ｅｌｍａｎ模型，将系统实际输出值的变化趋势，
即在ｔ－１时刻系统的一阶导数输入到网络的输入层。
取系统输入ｕ（ｋ）、系统输出变化ｄｙ（ｋ－１）＝ｙ（ｋ－１）－ｙ（ｋ－２）为网络输入，隐层单元数为２０，神经网络结构为２－２０－１。产生１００个训练数据点｛ｕ
（ｋ），ｙ（ｋ），ｄｙ（ｋ－１）｝，定义输入信号为ｕ（ｋ）＝ａｓｉｎ
（４\"ｋ／２６），ｋ＝１，２，…，１００，其中当ｋ≤３０时取系数ａ＝０．８，３０＜高钦和，王孙安：基于Ｅｌｍａｎ神经网络的非线性动态系统辨识２００７，４３（３１）８９
ｋ≤６０时取ａ＝０．９，ｋ＞６０时取ａ＝１。采用上述学习样本，对二阶ｙ，ｙｅ５０ － ５０
Ｅｌｍａｎ网络进行训练，经过３６步训练后，目标误差达到要求；而在相同条件下，采用一阶Ｅｌｍａｎ网络，需要训练２６５步。图３所示是二阶Ｅｌｍａｎ网络的训练结果，图中ｙ为系统输出，ｙｅ为神经网络输出，误差ｅ＝ｙｅ－ｙ。图４给出了相同条件下采用ＢＰ网络的训练结果，在取ＢＰ网络隐层单元数为４０的情况下，经过１９００步训练后，目标误差才达到要求。
５ ｙ，ｙｅｙ ｙｅ ２０４０６０８０１００
ｅ０．０１ ｔ／ｓ
０．００ ２０
４０
－０．０１０ ｔ／ｓ
６０
８０
１００
０ ２０－４图５
ｙ ｙｅy Ｅｌｍａｎ网络测试结果
－ ５０
１０ ５ ０ － ５０×１０ ｔ／ｓ
ｙ，ｙｅ４０６０８０ye １００ ５ ０－ ５０
２０ ４０６０
８０ｙ ｙｅ １００ｅ２０４０图３Ｅｌｍａｎ网络训练结果ｅｔ／ｓ
６０８０１００ ５ ０－ ５ ０
２０
４０
ｔ／ｓ
ｙ，ｙｅ５ ０ t(s)ｔ／ｓ
６０８０１００
图６
ｙ ｙｅ １００
ＢＰ网络测试结果
t(s)
特性的能力，更适合于非线性动态系统的辩识。与ＢＰ网络等
－ ５０
２０ ４０
０．０ ｅ－０．１０
０．１ ｔ／ｓ
６０ ８０
逼近前馈网络相比，动态递归的Ｅｌｍａｎ网络具有学习效率高、速度快、泛化能力强的特点。仿真结果表明，在不需要被辨识对象的先验知识情况下，改进的Ｅｌｍａｎ网络可以很好地实现高阶非线性动态系统的辨识，可用较小的网络结构实现系统辨识，
２０
４０
t(s)ｔ／ｓ
６０
８０
１００
在具有本质非线性动态系统的实时在线辨识中有良好的应用前景。（收稿日期：２００７年４月）
图４ＢＰ网络训练结果
为了进一步测试非线性系统神经网络辨识器的性能，在对神经网络进行训练的基础上，定义系统输入信号为ｕ（ｋ）＝（４!ｋ／２６）＋ｂｓｉｎ（!ｋ／１５），取系数ａ＝０．９，ｂ＝０．１时，分别对二ａｓｉｎ
阶Ｅｌｍａｎ网络和ＢＰ网络进行测试，仿真结果如图５和图６所示，表明二阶Ｅｌｍａｎ网络对非线性系统的辨识结果良好，网络泛化能力明显优于ＢＰ网络。
参考文献：
［１］王秀峰，卢桂章．系统辨建模于辨识［Ｍ］．北京：电子工业出版社，
２００４．
［２］葛宏伟，梁艳春．进化Ｅｌｍａｎ神经网络模型与非线性系统辨识［Ｊ］．吉
林大学学报，２００５（５）：５１１－５１９．
［３］时小虎，梁艳春，徐旭．改进的Ｅｌｍａｎ模型与递归反传控制神经网
络［Ｊ］．软件学报，２００３，１４（６）：１１１０－１１１８．
５结论
与静态前馈型神经网络不同，动态递归网络通过存储内部
［４］谢庆国，沈轶，万淑芸．Ｅｌｍａｎ人工神经网络的收敛性分析［Ｊ］．计算机
工程与应用，２００２，３８（６）：６５－６６．
［５］李国勇．智能控制及其ＭＡＴＬＡＢ实现［Ｍ］．北京：电子工业出版社，
２００５．
状态使其具备映射动态特征的功能，从而使系统具有适应时变
（上接８３页）［２］董长虹，高志，于啸海．Ｍａｔｌａｂ小波分析工具箱原理和应用［Ｍ］．北京：
国防工业出版社，２００４．
６结论
提出将迭代学习方法用于小波阈值去噪中，对小波高频系
［３］于少娟，齐向东，吴聚华．迭代学习控制理论与应用［Ｍ］．北京：机械
工业出版社，２００５．
数经过几次循环，使错误分割的图像像素点降到最少，然后用小波逆变换恢复图像。实验结果表明，与普通的小波阈值去噪方法相比，该方法很好地保留了图像的边缘信息，视觉效果良好，去噪后图像的误差大大减小。（收稿日期：２００７年３月）
［４］ＲａｎｔａＲ，ＨｅｉｎｒｉｃｈＣ，ＶａｌｅｒｉｅＬｏｕｉｓ－Ｄｏｒｒ，ｅｔａｌ．Ｉｎｔｅｒｐｒｅｔａｔｉｏｎａｎｄ
ｉｍｐｒｏｖｅｍｅｎｔｏｆａｎｉｔｅｒａｔｉｖｅｗａｖｅｌｅｔ－ｂａｓｅｄｄｅｎｏｉｎｇｍｅｔｈｏｄ［Ｊ］．ＩＥＥＥ（８）：２３９－２４１．ＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇＬｅｔｔｅｒｓ，２００３，１０
［５］胡小锋，赵辉．ＶｉｓｕａｌＣ＋＋／ＭＡＴＬＡＢ图像处理与识别实用案例精
选［Ｍ］．北京：人民邮电出版社，２００４．
［６］任获荣，张平，王家礼．一种新的小波图像去噪方法［Ｊ］．红外与激光
参考文献：
［１］罗忠亮，王修信，胡维平．小波图像去噪研究方法概述［Ｊ］．广西科学，
（３）：２０７－２１１．２００４，１１
工程，２００３，３２（６）：６４３－６４６．
［７］潘显兵．一种改进的小波阈值降噪方法性能分析［Ｊ］．微计算机信息，
（７）：１１２－１１３．２００６，２２
