bp神经网络适用范围 bp神经网络适用于

bp算法在人工神经网络中的作用是什么？

BP算法是由学习过程由信号的正向传播与误的反向传播两个过程组成。由于多层前馈网络的训练经常采用误反向传播算法，人们也常把将多层前馈网络直接称为BP网络。

bp神经网络适用范围 bp神经网络适用于

虽然BP算法得到广泛的应用，但它也存在不足，其主要表现在训练过程不确定上，具体如下。

1，训练时间较长。对于某些特殊的问题，运行时间可能需要几个小时甚至更长，这主要是因为学习率太小所致，可以采用自适应的学习率加以改进。

2，完全不能训练。训练时由于权值调整过大使激活函数达到饱和，从而使网络权值的调节几乎停滞。为避免这种情况，一是选取较小的初始权值，二是采用较小的学习率。

3，易陷入局部极小值。BP算法可以使网络权值收敛到一个终解，但它并不能保证所求为误超平面的全局解，也可能是一个局部极小值。

这主要是因为BP算法所采用的是梯度下降法，训练是从某一起始点开始沿误函数的斜面逐渐达到误的小值，故不同的起始点可能导致不同的极小值产生，即得到不同的解。如果训练结果未达到预定精度，常常采用多层网络和较多的神经元，以使训练结果的精度进一步提高，但与此同时也增加了网络的复杂性与训练时间。

4，“喜新厌旧”。训练过程中，学习新样本时有遗忘旧样本的趋势。

扩展资料：

BP算法早由Werbos于1974年提出，1985年Rumelhart等人发展了该理论。BP网络采用有指导的学习方式，其学习包括以下4个过程。

1，组成输入模式由输入层经过隐含层向输出层的“模式顺传播”过程。

2，网络的期望输出与实际输出之的误信号由输出层经过隐含层逐层休整连接权的“误逆传播”过程。

3，由“模式顺传播”与“误逆传播”的反复进行的网络“记忆训练”过程。

4，网络趋向收敛即网络的总体误趋向极小值的“学习收敛”过程。

参考资料来源：

BP神经网络方法

人工神经网络是近几年来发展起来的新兴学科，它是一种大规模并行分布处理的非线性系统，适用解决难以用数学模型描述的系统，逼近任何非线性的特性，具有很强的自适应、自学习、联想记忆、高度容错和并行处理能力，使得神经网络理论的应用已经渗透到了各个领域。近年来，人工神经网络在水质分析和评价中的应用越来越广泛，并取得良好效果。在这些应用中，纵观应用于模式识别的神经网络，BP网络是有效、活跃的方法之一。

BP网络是多层前向网络的权值学习采用误逆传播学习的一种算法（Error Back Propagation，简称BP）。在具体应用该网络时分为网络训练及两个阶段。在网络训练阶段，根据给定的训练模式，按照“模式的顺传播”→“误逆传播”→“记忆训练”→“学习收敛”4个过程进行网络权值的训练。在网络的工作阶段，根据训练好的网络权值及给定的输入向量，按照“模式顺传播”方式求得与输入向量相对应的输出向量的解答（阎平凡，2000）。

BP算法是一种比较成熟的有指导的训练方法，是一个单向传播的多层前馈网络。它包含输入层、隐含层、输出层，如图4-4所示。

图4-4 地下水质量评价的BP神经网络模型

图4-4给出了4层地下水水质评价的BP神经网络模型。同层节点之间不连接。输入信号从输入层节点，依次传过各隐含层节点，然后传到输出层节点，如果在输出层得不到期望输出，则转入反向传播，将误信号沿原来通路返回，通过学习来修改各层神经元的权值，使误信号小。每一层节点的输出只影响下一层节点的输入。每个节点都对应着一个作用函数（f）和阈值（a），BP网络的基本处理单元量为非线性输入-输出的关系，输入层节点阈值为0，且f（x）=x；而隐含层和输出层的作用函数为非线性的Sigmoid型（它是连续可微的）函数，其表达式为

f（x）=1/（1+e-x） （4-55）

设有L个学习样本（Xk，Ok）（k=1，2，…，l），其中Xk为输入，Ok为期望输出，Xk经网络传播后得到的实际输出为Yk，则Yk与要求的期望输出Ok之间的均方误为

区域地下水功能可持续性评价理论与方法研究

式中：M为输出层单元数；Yk，p为第k样本对第p特性分量的实际输出；Ok，p为第k样本对第p特性分量的期望输出。

样本的总误为

区域地下水功能可持续性评价理论与方法研究

由梯度下降法修改网络的权值，使得E取得小值，学习样本对Wij的修正为

区域地下水功能可持续性评价理论与方法研究

式中：η为学习速率，可取0到1间的数值。

所有学习样本对权值Wij的修正为

区域地下水功能可持续性评价理论与方法研究

通常为增加学习过程的稳定性，用下式对Wij再进行修正：

区域地下水功能可持续性评价理论与方法研究

式中：β为充量常量；Wij（t）为BP网络第t次迭代循环训练后的连接权值；Wij（t-1）为BP网络第t-1次迭代循环训练后的连接权值。

在BP网络学习的过程中，先调整输出层与隐含层之间的连接权值，然后调整中间隐含层间的连接权值，后调整隐含层与输入层之间的连接权值。实现BP网络训练学习程序流程，如图4-5所示（倪深海等，2000）。

图4-5 BP神经网络模型程序框图

若将水质评价中的评价标准作为样本输入，评价级别作为网络输出，BP网络通过不断学习，归纳出评价标准与评价级别间复杂的内在对应关系，即可进行水质综合评价。

BP网络对地下水质量综合评价，其评价方法不需要过多的数理统计知识，也不需要对水质量监测数据进行复杂的预处理，操作简便易行，评价结果切合实际。由于人工神经网络方法具有高度的非线性函数映射功能，使得地下水水质评价结果较准确（袁曾任，1999）。

BP网络可以任意逼近任何连续函数，但是它主要存在如下缺点：①从数学上看，它可归结为一非线性的梯度优化问题，因此不可避免地存在局部极小问题；②学习算法的收敛速度慢，通常需要上千次或更多。

神经网络具有学习、联想和容错功能，是地下水水质评价工作方法的改进，如何在现行的神经网络中进一步吸取模糊和灰色理论的某些优点，建立更适合水质评价的神经网络模型，使该模型既具有方法的先进性又具有现实的可行性，将是我们今后研究和探讨的问题。

CPN+神经网络与BP+网络有何联系和不同?

CPN+神经网络和BP神经网络都属于监督学习的神经网络模型，但是它们在网络结构、训练方法以及适用领域方面有所不同。

首先讲一下CPN+神经网络。CPN+（Competitive learning networks with a product unit）神经网络是一种竞争式学习的神经网络模型，其特殊的网络结构包括一个输入层、输出层和一个隐层，其中输出层通常被称为竞争层，在该层中，每个节点之间存在竞争关系，根据输入信息进行竞争和抑制，终选出一个获胜节点作为输出结果。而隐层由多个位置敏感单元组成，用于捕捉数据在空间上的连续性和统计相关性，这也使得CPN+神经网络在图像分类、语音识别等问题上具有优异的表现。

在训练方式上，CPN+神经网络使用无监督的学习方法进行初步的训练，之后再使用有监督的学习方法进行微调。通过这种方式，CPN+神经网络可以克服BP神经网络在处理高维、非线性数据时容易陷入局部极值的问题。

相比之下，BP神经网络采用的是反向传播算法进行训练，通常包含一个或多个隐藏层，在训练过程中通过不断地调整网络权重和阈值来使损失函数小化。BP神经网络适用于处理非线性问题，可广泛应用于分类、回归等任务。

总的来说，CPN+神经网络相对于BP神经网络具有更加复杂的网络结构和竞争机制，而其训练方法也具有独到之处，需要结合无监督和有监督学习。因此，CPN+神经网络在一些特定领域上表现出色，但对于大多数问题，BP神经网络仍然是一种有效的解决方案。

bp神经网络

BP（Back Propagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误逆传播算法训练的多层前馈网络，是目前应用广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误平方和小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。

人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。

人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。

所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。

如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。

如图所示拓扑结构的单隐层前馈网络，一般称为三层前馈网或三层感知器，即：输入层、中间层（也称隐层）和输出层。它的特点是：各层神经元仅与相邻层神经元之间相互全连接，同层内神经元之间无连接，各层神经元之间无反馈连接，构成具有层次结构的前馈型神经网络系统。单计算层前馈神经网络只能求解线性可分问题，能够求解非线性问题的网络必须是具有隐层的多层神经网络。

神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。主要的研究工作集中在以下几个方面：

（1）生物原型研究。从生理学、心理学、解剖学、脑科学、病理学等生物科学方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。

（2）建立理论模型。根据生物原型的研究，建立神经元、神经网络的理论模型。其中包括概念模型、知识模型、物理化学模型、数学模型等。

（3）网络模型与算法研究。在理论模型研究的基础上构作具体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研究。

（4）人工神经网络应用系统。在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用系统，例如，完成某种信号处理或模式识别的功能、构作专家系统、制成机器人等等。

纵观当代新兴科学技术的发展历史，人类在征服宇宙空间、基本粒子，生命起源等科学技术领域的进程中历经了崎岖不平的道路。我们也会看到，探索人脑功能和神经网络的研究将伴随着重重困难的克服而日新月异。

神经网络可以用作分类、聚类、预测等。神经网络需要有一定量的历史数据，通过历史数据的训练，网络可以学习到数据中隐含的知识。在你的问题中，首先要找到某些问题的一些特征，以及对应的评价数据，用这些数据来训练神经网络。

虽然BP网络得到了广泛的应用，但自身也存在一些缺陷和不足，主要包括以下几个方面的问题。

首先，由于学习速率是固定的，因此网络的收敛速度慢，需要较长的训练时间。对于一些复杂问题，BP算法需要的训练时间可能非常长，这主要是由于学习速率太小造成的，可采用变化的学习速率或自适应的学习速率加以改进。

其次，BP算法可以使权值收敛到某个值，但并不保证其为误平面的全局小值，这是因为采用梯度下降法可能产生一个局部小值。对于这个问题，可以采用附加动量法来解决。

再次，网络隐含层的层数和单元数的选择尚无理论上的指导，一般是根据经验或者通过反复实验确定。因此，网络往往存在很大的冗余性，在一定程度上也增加了网络学习的负担。

后，网络的学习和记忆具有不稳定性。也就是说，如果增加了学习样本，训练好的网络就需要从头开始训练，对于以前的权值和阈值是没有记忆的。但是可以将预测、分类或聚类做的比较好的权值保存。

请采纳。

BP神经网络在地面沉降预测中的应用

地面沉降是多种自然和人为因素共同作用的结果。各种要素发生作用的时空序列、影响强度和方向以及它们之间的关系处于不断变化之中，同时各因素的变化及其影响并不是单方面的，各变量之间相互形成制约关系，这使得地面沉降过程极具复杂性。因此，要求预测模型能以在现有资料、信息基础，准确反映研究区的自然背景条件、地下水开采行为与地面沉降过程之间的复杂联系，并能识别和适应不同影响因素随时间发生的改变。BP神经网络作为一个非线性系统，可用于逼近非线性映射关系，也可用于逼近一个极为复杂的函数关系，是解释和模拟地面沉降等高度复杂的非线性动力学系统问题的一种较好的方法。

8.4.1.1 训练样本的确定

根据第4章的分析，影响研究区域地面沉降过程的变量包含着复杂的自然和人为因素，超采深层地下水是造成研究区1986年以后地面沉降的主要原因，深层地下水的开采量和沉降监测点附近的各含水层组水位均与地面沉降有着很好的相关性。

本区第四系浅层地下水系统(第Ⅰ含水层组)除河漫滩地段，一般为TDS都高于2g/L的咸水，因此工农业用途较少，水位一般保持天然状态，在本次模型研究中不予考虑。由于区内各地面沉降监测点的地面高程每年测量一次，为了保持与地面沉降数据的一致性，使神经网络模型能准确识别地下水开采与地面沉降之间的关系，所有数据均整理成年平均的形式。

本章选择了控沉点处深层地下水系统的年均水位和区域地下水开采量作为模型的输入变量，考虑到水位和开采量的变化与沉降变形并不同步，有明显的滞后性存在，本章将前一年的开采量和年均水位也作为输入，故模型的输入变量为四个。以收集到的区内每个地面沉降监测点的年沉降量作为模型的输出变量，通过选择适合的隐含层数和隐层神经单元数构建BP模型，对地面沉降的趋势进行预测。

本次收集到的地面沉降监测点处并未有常观孔的水位数据，如果根据历年实测等水位线推算，会产生很大的误，导致预测结果的不稳定性。基于已经建立好的Modflow数值模型，利用Processing Modflow软件里的水井子程序包，在控沉点处设置虚拟的水位观测井，通过软件模拟出的不同时期的水位，作为地面沉降神经网络模型的输入层，从而避免了以往的将各含水层组平均水位作为模型输入所带来的误[55]。考虑到深层地下水系统各含水层组的水力联系较为密切，本次在每个地面沉降监测点处只设置一个水位观测井，来模拟深层地下水系统的水位。水井滤水管的起始位置与该点含水层的位置相对应，即滤水管的长度即为含水层的厚度。

观测井在模型中的位置如8.31所示，绿色的点即为虚拟水位观测井。从图中可以看出6个沉降点在研究区内分布均匀，处于不同的沉降区域，有一定的代表性，通过对这6个点的地面沉降进行预测，可以反映出不同区域的沉降趋势。数值模型模拟得到的各沉降点年均水位如图8.32所示。

图8.31 控沉点虚拟水井在Modflow数值模型中的分布示意图 图8.32 模拟得到的各沉降点处虚拟水井年均水位动态

8.4.1.2 样本数据的预处理

由于BP网络的输入层物理量及数值相甚远(不属于一个数量级)，为了加快网络收敛的速度，在训练之前须将各输入物理量进行预处理。数据的预处理方法主要有标准化法、重新定标法、变换法和比例放缩法等等。本章所选用的是一种常用的比例压缩法，公式为[56]

变环境条件下的水资源保护与可持续利用研究

式中:X为原始数据;Xmax、Xmin为原始数据的值和小值;T为变换后的数据，也称之为目标数据;Tmax、Tmin为目标数据的值和小值。

由于Sigmoid函数在值域[0，0.1]和[0.9，1.0]区域内曲线变化极为平坦，因此合适的数据处理是将各输入物理量归至[0.1，0.9]之间。本章用式(8.7)将每个样本输入层的4个物理量进行归一化处理

变环境条件下的水资源保护与可持续利用研究

处理后的数据见表8.14。

表8.14 BP神经网络模型数据归一化表 续表

8.4.1.3 网络结构的确定

BP神经网络的建立，其重点在于网络结构的设计，只要隐层中有足够多的神经元，多层前向网络可以用来逼近几乎任何一个函数。一般地，网络结构(隐层数和隐层神经元数)和参数(权值和偏置值)共同决定着神经网络所能实现的函数的复杂程度的上限。结构简单的网络所能实现的函数类型是非常有限的，参数过多的网络可能会对数据拟合过度。本章将输入样本的个数定为4个，输出样本为1个。但是对于隐含层数及隐含层所含神经元个数的选择，到目前为止还没有明确的方法可以计算出实际需要多少层或多少神经元就可以满足预测精度的要求，在选择时通常是采用试算的方法[56，57]。

为了保证模型的预测精度和范化能力，根据收集到的资料的连续性，本次研究利用1988～2002年15组地面沉降历史观测数据和对应的当年及前一年的开采量、年均水位组织训练，以2003年和2004年的实测地面沉降数据校验模型的预测能力，尝试多种试验性网络结构，其他模型参数的选择采取保守方式，以牺牲训练速度换取模型稳定性。以2003年和2004年的平均相对误均小于20%作为筛选标准，终选择三层BP网络作为模型结构，隐层神经元的个数设置为3。网络结构如图8.33所示，参数见表8.15。

表8.15 BP网络模型参数一览表 图8.33 神经网络模型结构图

8.4.1.4 网络的训练与预测

采用图8.33确定的网络结构对数据进行训练，各个沉降点的训练过程和拟合效果如图8.34、图8.35所示。

从图8.35可以看出，训练后的BP网络能很好地逼近给定的目标函数。说明该模型的泛化能力较好，模拟的结果比较可靠。通过该模型模拟了6个沉降点在2003和2004年的沉降量(表8.16)，可以看出2003年和2004年模拟值和实际拟合较好，两年的平均相对误均小于20%，说明BP神经网络可以用来预测地面沉降的趋势。

表8.16 监测点年沉降量模拟误表 图8.34 各沉降点训练过程图

8.4.1.5 模型物理意义探讨

虽然现今的BP神经网络还是一个黑箱模型，其参数没有水文物理意义[58]。但从结构上分析，本章认为地面沉降与ANN是同构的。对于每个控沉点来说，深层地下水系统的开采量和含水层组的水位变化，都会引起地层应力的响应，从而导致整体的地面标高发生变化，这一过程可以与BP神经网络结构进行类比。其中，深层地下水系统的3个含水层组相当于隐含层中的3个神经元，各含水层组对地面沉降的奉献值相当于隐含层中人工神经元的阈值，整体上来说，本次用来模拟地面沉降的BP神经网络结构已经灰箱化(表8.17)。

图8.35 各监测点年沉降量神经网络模型拟合图 表8.17 BP神经网络构件物理意义一览表

BP网的功能及导高预测适用性

采用BP算法的前馈神经网是神经网络在各个领域中应用广泛的一种,已经成功解决了大量实际问题。BP网的广泛应用,归因于其主要能力：具有非线性映射能力、泛化能力与容错能力。

多层前馈网能学习和存储大量输入-输出模式映射关系,即使不了解描述这种映射关系的数学方程,只要能提供足够多的样本模式对以供BP网络进行学习训练,它便可以完成由n维输入空间到m维输出空间的非线性映射,即非线性映射能力。在工程上及许多技术领域中,对某一输入 输出系统常常积累了大量相关的输入 输出数据,但仍未掌握其内部蕴涵的规律,无法用数学方法来描述该规律。对难以得到解析解、缺乏专家经验,但能够表示和转化为模式识别或非线性映射的这类问题,多层前馈网络具有无可比拟的优势。通过训练的多层前馈网络,将所提取的样本对中的非线性映射关系存储在权值矩阵中,当向网络输入训练时未曾见的非样本数据时,网络也能完成由输入空间向输出空间的正确映射,即泛化能力,是衡量多层前馈网性能优劣的一个重要方面。由于权矩阵的调整是从大量的样本中提取统计特性的过程,反映正确规律的知识来自全体样本,个别样本中的误不能左右对矩阵的调整。所以多层前馈网允许输入样本中带有较大的误甚至个别错误,即容错能力。

标准算法在应用中具有训练次数多,学习效率低,收敛速度慢,隐节点的选取缺乏理论指导,训练时学习新样本有遗忘旧样本的趋势,容易形成局部极小而得到局部全优等缺点,通过要权值调整公式中增加动量项α、自适应调节学习率η、在转移函数中引入陡度因子λ等方法,有效改进了BP算法,进一步提高其适用性。

因此,采用BP人工神经网络建立导水裂隙带高度与其影响因子之间的非线性映射关系,并发挥BP网的泛化能力,输入影响因子,对导水裂隙带高度进行预测,具有无可比拟的优越性。