bp神经网络预测模型_bp神经网络预测模型原理

BP神经网络

神经网络能很好地解决不同的机器学习问题。神经网络模型是许多逻辑单元按照不同层级组织起来的网络，每一层的输出变量都是下一层的输入变量。

bp神经网络预测模型_bp神经网络预测模型原理

上图显示了人工神经网络是一个分层模型，逻辑上可以分为三层：

输入层 ：输入层接收特征向量 x

输出层 ：输出层产出最终的预测 h

隐含层 ：隐含层介于输入层与输出层之间，之所以称之为隐含层，是因为当中产生的值并不像输入层使用的样本矩阵 X或者输出层用到的标签矩阵 y 那样直接可见。

!$ a^{(j)}_{i} $ 代表第j层的第i个激活单元。 !$ \theta^{(j)} $ 代表从第 j 层映射到第 j+1 层时的权重的矩阵，例如 !$ \theta^{(1)} $ 代表从层映射到第二层的权重的矩阵。其尺寸为：以第 j+1层的激活单元数量为行数，以第 j 层的激活单元数加一为列数的矩阵。例如：上图所示的神经网络中 !$ \theta^{(1)} $ 的尺寸为 34。

对于上图所示的模型，激活单元和输出分别表达为：

!$ a^{(2)}_{1} = g( \theta^{(1)}_{10}x_0 + \theta^{(1)}_{11}x_1 + \theta^{(1)}_{12}x_2 + \theta^{(1)}_{13}x_3 ) $

!$a^{(2)}_{2} = g( \theta^{(1)}_{20}x_0 + \theta^{(1)}_{21}x_1 + \theta^{(1)}_{22}x_2 + \theta^{(1)}_{23}x_3 ) $

!$a^{(2)}_{3} = g( \theta^{(1)}_{30}x_0 + \theta^{(1)}_{31}x_1 + \theta^{(1)}_{32}x_2 + \theta^{(1)}_{33}x_3 ) $

!$h_{\theta}{(x)} = g( \theta^{(2)}_{10}a^{2}_{0} + \theta^{(2)}_{11}a^{2}_{1} + \theta^{(2)}_{12}a^{2}_{2} + \theta^{(2)}_{13}a^{2}_{3} ) $

下面用向量化的方法以上面再次，网络隐含层的层数和单元数的选择尚无理论上的指导，一般是根据经验或者通过反复实验确定。因此，网络往往存在很大的冗余性，在一定程度上也增加了网络学习的负担。的神经网络为例，试着计算第二层的值：

对于多类分类问题来说:

我们可将神经网络的分类定义为两种情况:二类分类和多类分类。

二类分类： !$ S_{L} = 0,y = 0,y = 1$

多类分类： !$ S_{L} = k, y_{i} = 1表示分到第i类；(k>2)$

在神经网络中，我们可以有很多输出变量，我们的 !$h_{\theta}{(x)} $ 是一个维度为K的向量，并且我们训练集中的因变量也是同样维度的一个向量，因此我们的代价函数会比逻辑回归更加复杂一些，为： !$ h_{\theta}{(x)} \in R^{K}(h_{\theta}{(x)})_{i} = i^{th} output$

我们希望通过代价函数来观察算法预测的结果与真实情况的误有多大，不同的是，对于每一行特征，我们都会给出K个预测，基本上我们可以利用循环，对每一行特征都预测K个不同结果，然后在利用循环在K个预测中选择可能性的一个，将其与y中的实际数据进行比较。

由于神经网络允许多个隐含层，即各层的神经元都会产出预测，因此，就不能直接利用传统回归问题的梯度下降法来最小化 !$J(\theta)$ ，而需要逐层考虑预测误，并且逐层优化。为此，在多层神经网络中，使用反向传播算法（Backpropagation Algorithm）来优化预测，首先定义各层的预测误为向量 !$ δ^{(l)} $

训练过程：

当我们对一个较为复杂的模型（例如神经网络）使用梯度下降算法时，可能会存在一些不容易察觉的错误，意味着，虽然代价看上去在不断减小，我们将在Python中创建一个NeuralNetwork类，以训练神经元以给出准确的预测。该课程还将具有其他帮助程序功能。但最终的结果可能并不是解。

为了避免这样的问题，我们采取一种叫做梯度的数值检验（ Numerical Gradient Checking ）方法。这种方法的思想是通过估计梯度值来检验我们计算的导数值是否真的是我们要求的。

对梯度的估计采用的方法是在代价函数上沿着切线的方向选择离两个非常近的点然后计算两个点的平均值用以估计梯度。即对于某个特定的 ，我们计算出在 !$\theta - \epsilon$ 处和 !$\theta + \epsilon$ 的代价值（是一个非常小的值，通常选取 0.001），然后求两个代价的平均，用以估计在 !$\theta$ 处的代价值。

如果上式成立，则证明网络中BP算法有效，此时关闭梯度校验算法（因为梯度的近似计算效率很慢），继续网络的训练过程。

bp神经网络算法介绍 bp神经网络算法

，网络的学习和记忆具有不稳定性。也就是说，如果增加了学习样本，训练好的网络就需要从头开始训练，对于以前的权值和阈值是没有记忆的。但是可以将预测、分类或聚类做的比较好的权值保存。

2、BP神经网络算法是在BP神经网络现有算法的基础上提出的，是通过任意选定一组② 从基坑变形机理的角度，基于数值模拟的方法进行研究。任建喜（2007）以地铁奥运支线森林公园车站南基坑为工程背景，采用有限元法研究了影响地铁深基坑围护结构变形的主要因素，预测了围护结构的变形。李琳（2007）就杭州和上海软土地区46个成功深基坑的实测结果进行了研究和总结，分析了基坑开挖深度与侧移及其位置的关系。丁勇春（2008）通过对上海软土地区地铁车站基坑实测数据的分析，探讨了基坑围护结构变形、坑外土体变形及地表沉降的一般规律。侯永茂（2009）采用三维有限元分析方法研究得到了无支撑基坑变形的规律。王桂平（2009）针对软土地基基坑工程存在的“时空效应”特性，在杆系有限元法的基础上，综合考虑土体的时空效应作用，提出软土地区基坑支护结构内力和变形的工程实用计算方法。贾彩虹（2010）采用非稳定渗流-应力耦合的方法对基坑降水开挖过程中的变形问题进行数值模拟分析，计算了坑底开挖的隆起量和桩后地表沉降。权值，将给定的目标输出直接作为线性方程的代数和来建立线性方程组，解得待求权，不存在传统方法的局部极小及收敛速度慢的问题，且更易理解。

用MATLAB的BP神经网络时间序列预测编程

这是我们将教神经网络做出准确预测的阶段。每个输入将具有权重（正或负）。

示例程序见附件，其为一个简单的时间序列预测算例。其实所有的预测问题，本质都是一样的，通过对样本的学习，将网络训练成一个能反映时间序列内部非线性规律的系统，最终应用于预测。 BP（Back Propagation）神经网络是86年由Rumelhart和McCelland为首的科学家小组提出，是一种按误逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误平方和最小。BP神经网（5）基坑工程监测络模型拓扑结构包括输入层（input）、隐层(hidden layer)和输出层(output layer)。

基坑工程环境影响控制

（1）地面沉降预测

R.W.Lewis（1978）以Biot固结理论为基础提出完全耦合模型，并于1978年将其运用于威尼斯的地面沉降计算中，结果表明水头下降和地面沉降比两步计算较快地趋于稳定。

周志芳（2004）在土层降水-固结过程中，考虑到渗透系数和贮水系数随土层物理力学参数的非线性变化，提出了深基坑降水与沉降的非线性耦合计算方法。

骆祖江（2006）将地下水渗流场和土体应力场进行耦合，建立了深基坑降水与地面沉降变形的水土全耦合三维数学模型，并采用三维有限元数值分析方法，以上海市环球金融中心深基坑降水为例，模拟预测了基坑中心水位降至标高-23.4m时基坑周围地下水渗流场与下面引入一些标记法来帮助描述模型：地面沉降变形场的分布特征。结果表明，全耦合模型稳定性好，收敛速度快，能模拟复杂三维地质体和整个基坑降水工程的结构。

王翠英（2006）通过比较大量深基坑降水地面沉降实测值与理论值，得出理论沉降修正系数，对类似地层的基坑降水工程预测沉降量具有实用价值。

基坑支护结构变形预测的方法有以下五类：

① 在基坑施工过程中，对监测数据进行实时统计分析，研究基坑变形发展趋势。利英博（2003）对广州某深基坑的变形位移进行了监测，并通过分析其发展趋势指导基坑施工。

③ 基于灰色理论进行研究。赵昌贵（2008）、胡冬（2009）用灰色系统预测理论建立了深基坑变形的非等时距GM（1，1）预测模型。闫韶兵（2006）应用等维GM（1，1）模型预测基坑变形，经过精度检验和残修正，预测精度较高，编写了实用的MATLAB算法程序。

⑤ 基于支持向量机进行研究。赵洪波（2005）较早的将支持向量机应用于预测深基坑变形，表达了深基坑变形与其影响因素之间的非线性映射关系，预测结果表明，利用支持向量机进行深基坑变形是可行的、有效的。徐洪钟（2008）应用最小二乘支持向量机回归建立了基坑位移与时间的关系模型。师旭超（2010）利用遗传算法来搜索支持向量机与核函数的参数，提出了深基坑变形预测的进化支持向量机方法，该方法避免了人为选择参数的盲目性，同时提高了支持向量机的推广预测能力。

李大勇（2004）考虑了土体、围护结构与地下管线三者的耦合作用，采用三维有限元法分析了内撑式基坑工程开挖对地下管线的影响规律，得到了有价值的结论。

曹文贵（2008）在深入研究基坑支护方案确定之影响因素基础上，确定出其主要影响因素及评价指标，并根据影响因素与评价指标的层次性和模糊性特点，建立了确定基坑支护方案的综合优化评价模型。

李涛（2010）在合理选择支护结构的同时，认为应加强主动防护控制基坑引发环境问题方面的机理和方法研究，并以隔档墙为例介绍了主动防护技术的思路。

（4）地下水控制

工程实践表明，大大小小的工程大多与地下水有关，基坑工程常用地下水控制方法有截水帷幕、井点降水、明沟排水，通过选择地下水控制方法来控制过大的地面沉降、管涌。

丁洲祥（2005）采用Biot固结理论分析了止水帷幕对基坑工程环境效应的影响，结果表明，深厚透水地基中增加竖向止水帷幕的深度并不能有效减小对周围环境的影响；漏水部位周围土体的渗流等势线较为密集，渗流速度较大，容易诱发扩大破坏；竖向封闭式止水帷幕漏水引起的坑边土体的沉降和地表土体的侧移相对较大，水位下降迅速。

张莲花（2005）针对基坑工程中降水将不可避免对周围环境产生影响的事实，首次提出沉降变形控制的降水化问题的概念，这种考虑环境的因素进行优化降水设计的方法改变了过去仅从工程施工和安全的角度进行降水设计的传统观点，实际中取得了较好的效果。

基坑工程中，对周边建筑物（管线）、支护结构的位移、沉降；土压力、孔隙水压力等进行监测，可以尽早发现危险的前兆，修改设计施工方案，采取必要的工程措施，防止工程和环境的发生。

纪广强（2002）通过对南京某超高层建筑深基坑开挖监测结果进行分析，认为基坑地质条件较好且开挖满足支护系统安全稳定的条件时，仍可能对周围环境造成较大的影响。

（6）施工管理p_test=[......];

资料表明，工程施工问题造成的基坑、环境破坏占总数的41.5%，因此对基坑施工进行严格的科学管理对减少基坑有重要意义。

以上研究表明，基坑引发的地面沉降是造成环境影响的主要原因，为了降低其发生的概率和强度，可以从支护结构、地下水控制、施工监测、施工管理几个方面采取措施。这些措施的实行在现行标准、行业规范、地区规范等标准化文件中已有较多的体现。

bp神经网络预测代码

1、BP（Back Propagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误逆传播算法训练的多层前馈网络，是应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。

在matlab中，样本是以列的方式排列的，即一列对应一个样本。如果你的样本无误的话，就是一个输入8输出正则化的那一项只是排除了每一层 !$\theta_0$ 后，每一层的 矩阵的和。最里层的循环j循环所有的行（由 +1 层的激活单元数决定），循环i则循环所有的列，由该层（ !$ s_l$ 层）的激活单元数所决定。即： !$h_{\theta}{(x)}$ 与真实值之间的距离为每个样本-每个类输出的加和，对参数进行 regularization 的 bias 项处理所有参数的平方和。2的神经网络。作图直接用plot函数。

参考附件的代码，这是一个电力负荷预测例子，也是matlab编程。

BP（Back Propagation）神经网络是是一种按误逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hidden layer)和输出层(output layer)。

bp神经网络无法达到预测

（3）选用合理的支护结构

训练完成后，训练样本中的样本全部都是低误的（达到了goal），不会出现你说的这种情况。你看看是不是你的预期输出搞错了。还有测试样本和检验样本这些一般误也较小。

（2）基坑支护结构变形预测

BP（Back Propagation）神经网络是86年由Rumelhart和McCelland为首的科学家小组提出，是一种按误逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hidden layer)和输出层(output layer)。

BP神经网络——Python简单实现三层神经网络（Numpy）

out=sim(net,p_test)

1. 应用Sigmoid函数

我们将使用 Sigmoid函数 （它绘制一条“ S”形曲线）作为神经网络的激活函数。

本文参考翻施群（2007）在贴近地铁边缘的深基坑施工中，采用地下连续墙和建筑地下室外墙两墙合一的建筑结构，收到了良好的效果。译于此网站 —— 原文

matlab bp神经网络只能输入一组预测一组吗 可以用前面很多数据建立网络后预测下几组数据吗

当然可以，这就是输入模式和输出模式的制x=5;y=3时z=4;定，可以自由设置，多输入多输出。但要注意如果预当 !$\theta$ 是一个向量时，我们则需要对偏导数进行检验。因为代价函数的偏导数检验只针对一个参数的改变进行检验，下面是一个只针对 !$\theta_1$ 进行检验的示例：测多组，输入必须要提供足够的信息拥有足够。

BP（Back Propagation）神经网络是86年由Rumelhart和McCelland为首的科学家小组提出，是一种按误逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hidden layer)和输出层(output layer)。

matlab中的neural+network+fitting是BP神经网络吗？

怎样选择支护结构，各地区的经验和地方规范要求不尽相同。但一般来讲，地下连续墙、带支撑（拉锚）的排桩、能用于不同安全等级和深度的基坑，其侧向位移小，有较好的稳定性；土钉墙、水泥土墙、悬臂排桩应用于安全等级不高、深度不大的基坑支护。通过支护结构优化设计，避免支护结构侧向位移带来的工程及环境问题。

是的，"neural network fitting" 在 MATLAB 中通常指的是使用反向传播（Backpropagation，BP）神经网络进行拟合任务。BP神经网络是一种常用的人工神经网络模型，用于训练和拟合输入与输出之间的非线性关系。通过调整网络的权重和偏置，BP神经网络可以学习输入数据的模式并预测输出。在 MATLAB 中，可以使用 "neural network fitting" 相关的函数和工具箱来这意味着具有大量正权重或大量负权重的输入将对结果输出产生更大的影响。构建和训练 BP 神经网络模型，以进行拟合和预测任务。

BP神经网络模型各个参数的选取问题

2. 训练模型

样本变量不需要那么多，因为神经网络的信息存储能力有限，过多的样本会造成一些有用的信息被丢弃。如果样本数量过多，应增加隐层节点数或隐层数目，才能增强学习能力。

x=3;y=2时z=9;一、隐层数

一般认为，增加隐层数可以降低网络误（也有文献认为不一定能有效降低），提高精度，但也使网络复杂化，从而增加了网络的训练时间和出现“过拟合”的倾向。一般来讲应设计神经网络应优先考虑3层网络（即有1个隐层）。一般地，靠增加隐层节点数来获得较低的误，其训练效果要比增加隐层数更容易实现。对于没有隐层的神经网络模型，实际上就是一个线性或非线性（取决于输出层采用线性或非线性转换函数型式）回归模型。因此，一般认为，应将不含隐层的网络模型归入回归分析中，技术已很成熟，没有必要在神经网络理论中再讨论之。

二、隐层节点数

在BP 网络中，隐层节点数的选择非常重要，它不仅对建立的神经网络模型的性能影响很大，而且是训练时出现“过拟合”的直接原因，但是目前理论上还没有一种科学的和普遍的确定方法。 目前多数文献中提出的确定隐层节点数的计算公式都是针对训练样本任意多的情况，而且多数是针对最不利的情况，一般工程实践中很难满足，不宜采用。事实上，各种计算公式得到的隐层节点数有时相几倍甚至上百倍。为尽可能避免训练时出现“过拟合”现象，保证足够高的网络性能和泛化能力，确定隐层节点数的最基本原则是：在满足精度要求的前提下取尽可能紧凑的结构，即取尽可能少的隐层节点数。研究表明，隐层节点数不仅与输入/输出层的节点数有关，更与需解决的问题的复杂程度和转换函数的型式以及样本数据的特性等因素有关。