高斯混合模型原理 高斯混合模型生成数据的方式

关于输入几个植物特征的智能识别系统的贝叶斯网络公式

贝叶斯 Thomas Bayes，英国数学家.1702年出生于伦敦，做过神甫。1742年成为英国皇家学会会员。1763年4月7日逝世。贝叶斯在数学方面主要研究概率论。他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于统计决策函数、统计推断、统计的估算等做出了贡献.1763年发表了这方面的论著，对于现代概率论和数理统计都有很重要的作用。贝叶斯的另一著作《机会的学说概论》发表于1758年。贝叶斯所采用的许多术语被沿用至今。

高斯混合模型原理 高斯混合模型生成数据的方式

贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分。

贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，后再利用期望值和修正概率做出决策。

贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是：

1、已知类条件概率密度参数表达式和先验概率。

2、利用贝叶斯公式转换成后验概率。

3、根据后验概率大小进行决策分类。

他对统计推理的主要贡献是使用了"逆概率"这个概念，并把它作为一种普遍的推理方法提出来。贝叶斯定理原本是概率论中的一个定理，这一定理可用一个数学公式来表达，这个公式就是的贝叶斯公式。 贝叶斯公式是他在1763年提出来的：

假定B1,B2,……是某个过程的若干可能的前提，则P(Bi)是人们事先对各前提条件出现可能性大小的估计，称之为先验概率。如果这个过程得到了一个结果A，那么贝叶斯公式提供了我们根据A的出现而对前提条件做出新评价的方法。P(Bi∣A)既是对以A为前提下Bi的出现概率的重新认识，称 P(Bi∣A)为后验概率。经过多年的发展与完善，贝叶斯公式以及由此发展起来的一整套理论与方法，已经成为概率统计中的一个冠以“贝叶斯”名字的学派，在自然科学及国民经济的许多领域中有着广泛应用。

[编辑本段]【贝叶斯公式】

设D1，D2，……，Dn为样本空间S的一个划分，如果以P(Di)表示事件Di发生的概率，且P(Di)>0(i=1，2，…，n)。对于任一事件x，P(x)>0，则有：

nP(Dj/x)=p(x/Dj)P(Dj)/∑P(X/Di)P(Di)

i=1

贝叶斯公式

[编辑本段]【贝叶斯决策理论分析】

（1）如果我们已知被分类类别概率分布的形式和已经标记类别的训练样本，那我们就需要从训练样本中来估计概率分布的参数。在现实世界中有时会出现这种情况。（如已知为正态分布了，根据标记好类别的样本来估计参数，常见的是极大似然率和贝叶斯参数估计方法）

（2）如果我们不知道任何有关被分类类别概率分布的知识，已知已经标记类别的训练样本和判别式函数的形式，那我们就需要从训练样本中来估计判别式函数的参数。在现实世界中有时会出现这种情况。（如已知判别式函数为线性或二次的，那么就要根据训练样本来估计判别式的参数，常见的是线性判别式和神经网络）

（3）如果我们既不知道任何有关被分类类别概率分布的知识，也不知道判别式函数的形式，只有已经标记类别的训练样本。那我们就需要从训练样本中来估计概率分布函数的参数。在现实世界中经常出现这种情况。（如首先要估计是什么分布，再估计参数。常见的是非参数估计）

（4）只有没有标记类别的训练样本。这是经常发生的情形。我们需要对训练样本进行聚类，从而估计它们概率分布的参数。（这是无监督的学习）

（5）如果我们已知被分类类别的概率分布，那么，我们不需要训练样本，利用贝叶斯决策理论就可以设计分类器。但是，在现实世界中从没有出现过这种情况。这里是贝叶斯决策理论常用的地方。

问题：假设我们将根据特征矢量x 提供的证据来分类某个物体，那么我们进行分类的标准是什么？decide wj， if（p(wj|x)>p(wi|x)）(i不等于j)应用贝叶斯展开后可以得到p(x|wj)p(wj)>p(x|wi)p(wi)即或然率p(x|wj)/p(x|wi)>p(wi)/p(wj)，决策规则就是似然率测试规则。

结论：对于任何给定问题，可以通过似然率测试决策规则得到小的错误概率。这个错误概率称为贝叶斯错误率，且是所有分类器中可以得到的结果。小化错误概率的决策规则就是化后验概率判据。

[编辑本段]【贝叶斯决策判据】

贝叶斯决策理论方法是统计模式识别中的一个基本方法。贝叶斯决策判据既考虑了各类参考总体出现的概率大小，又考虑了因误判造成的损失大小，判别能力强。贝叶斯方法更适用于下列场合：

(1) 样本(子样)的数量(容量)不充分大，因而大子样统计理论不适宜的场合。

(2) 试验具有继承性，反映在统计学上就是要具有在试验之前已有先验信息的场合。用这种方法进行分类时要求两点： 第一，要决策分类的参考总体的类别数是一定的。例如两类参考总体(正常状态Dl和异常状态D2)，或L类参考总体D1，D2，…，DL(如良好、满意、可以、不满意、不允许、……)。

第二，各类参考总体的概率分布是已知的，即每一类参考总体出现的先验概率P(Di)以及各类概率密度函数P(x／Di)是已知的。显然，0≤P(Di)≤1，(i=l，2，…，L)，∑P(Di)=1。

对于两类故障诊断问题，就相当于在识别前已知正常状态D1的概率户(D1)和异常状态0：的概率P(D2)，它们是由先验知识确定的状态先验概率。如果不做进一步的仔细观测，仅依靠先验概率去作决策，那么就应给出下列的决策规则：若P(D1)>P(D2)，则做出状态属于D1类的决策；反之，则做出状态属于D2类的决策。例如，某设备在365天中，有故障是少见的，无故障是经常的，有故障的概率远小于无故障的概率。因此，若无特B，j明显的异常状况，就应判断为无故障。显然，这样做对某一实际的待检状态根本达不到诊断的目的，这是由于只利用先验概率提供的分类信息太少了。为此，我们还要对系统状态进行状态检测，分析所观测到的信息。

贝叶斯 Thomas Bayes，英国数学家.1702年出生于伦敦，做过神甫。1742年成为英国皇家学会会员。1763年4月7日逝世。贝叶斯在数学方面主要研究概率论。他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于统计决策函数、统计推断、统计的估算等做出了贡献.1763年发表了这方面的论著，对于现代概率论和数理统计都有很重要的作用。贝叶斯的另一著作《机会的学说概论》发表于1758年。贝叶斯所采用的许多术语被沿用至今。

贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分。

贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，后再利用期望值和修正概率做出决策。

贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是：

1、已知类条件概率密度参数表达式和先验概率。

2、利用贝叶斯公式转换成后验概率。

3、根据后验概率大小进行决策分类。

他对统计推理的主要贡献是使用了"逆概率"这个概念，并把它作为一种普遍的推理方法提出来。贝叶斯定理原本是概率论中的一个定理，这一定理可用一个数学公式来表达，这个公式就是的贝叶斯公式。 贝叶斯公式是他在1763年提出来的：

假定B1,B2,……是某个过程的若干可能的前提，则P(Bi)是人们事先对各前提条件出现可能性大小的估计，称之为先验概率。如果这个过程得到了一个结果A，那么贝叶斯公式提供了我们根据A的出现而对前提条件做出新评价的方法。P(Bi∣A)既是对以A为前提下Bi的出现概率的重新认识，称 P(Bi∣A)为后验概率。经过多年的发展与完善，贝叶斯公式以及由此发展起来的一整套理论与方法，已经成为概率统计中的一个冠以“贝叶斯”名字的学派，在自然科学及国民经济的许多领域中有着广泛应用。

[编辑本段]【贝叶斯公式】

设D1，D2，……，Dn为样本空间S的一个划分，如果以P(Di)表示事件Di发生的概率，且P(Di)>0(i=1，2，…，n)。对于任一事件x，P(x)>0，则有：

nP(Dj/x)=p(x/Dj)P(Dj)/∑P(X/Di)P(Di)

i=1

贝叶斯公式

[编辑本段]【贝叶斯决策理论分析】

（1）如果我们已知被分类类别概率分布的形式和已经标记类别的训练样本，那我们就需要从训练样本中来估计概率分布的参数。在现实世界中有时会出现这种情况。（如已知为正态分布了，根据标记好类别的样本来估计参数，常见的是极大似然率和贝叶斯参数估计方法）

（2）如果我们不知道任何有关被分类类别概率分布的知识，已知已经标记类别的训练样本和判别式函数的形式，那我们就需要从训练样本中来估计判别式函数的参数。在现实世界中有时会出现这种情况。（如已知判别式函数为线性或二次的，那么就要根据训练样本来估计判别式的参数，常见的是线性判别式和神经网络）

（3）如果我们既不知道任何有关被分类类别概率分布的知识，也不知道判别式函数的形式，只有已经标记类别的训练样本。那我们就需要从训练样本中来估计概率分布函数的参数。在现实世界中经常出现这种情况。（如首先要估计是什么分布，再估计参数。常见的是非参数估计）

（4）只有没有标记类别的训练样本。这是经常发生的情形。我们需要对训练样本进行聚类，从而估计它们概率分布的参数。（这是无监督的学习）

（5）如果我们已知被分类类别的概率分布，那么，我们不需要训练样本，利用贝叶斯决策理论就可以设计分类器。但是，在现实世界中从没有出现过这种情况。这里是贝叶斯决策理论常用的地方。

问题：假设我们将根据特征矢量x 提供的证据来分类某个物体，那么我们进行分类的标准是什么？decide wj， if（p(wj|x)>p(wi|x)）(i不等于j)应用贝叶斯展开后可以得到p(x|wj)p(wj)>p(x|wi)p(wi)即或然率p(x|wj)/p(x|wi)>p(wi)/p(wj)，决策规则就是似然率测试规则。

结论：对于任何给定问题，可以通过似然率测试决策规则得到小的错误概率。这个错误概率称为贝叶斯错误率，且是所有分类器中可以得到的结果。小化错误概率的决策规则就是化后验概率判据。

[编辑本段]【贝叶斯决策判据】

贝叶斯决策理论方法是统计模式识别中的一个基本方法。贝叶斯决策判据既考虑了各类参考总体出现的概率大小，又考虑了因误判造成的损失大小，判别能力强。贝叶斯方法更适用于下列场合：

(1) 样本(子样)的数量(容量)不充分大，因而大子样统计理论不适宜的场合。

(2) 试验具有继承性，反映在统计学上就是要具有在试验之前已有先验信息的场合。用这种方法进行分类时要求两点： 第一，要决策分类的参考总体的类别数是一定的。例如两类参考总体(正常状态Dl和异常状态D2)，或L类参考总体D1，D2，…，DL(如良好、满意、可以、不满意、不允许、……)。

第二，各类参考总体的概率分布是已知的，即每一类参考总体出现的先验概率P(Di)以及各类概率密度函数P(x／Di)是已知的。显然，0≤P(Di)≤1，(i=l，2，…，L)，∑P(Di)=1。

对于两类故障诊断问题，就相当于在识别前已知正常状态D1的概率户(D1)和异常状态0：的概率P(D2)，它们是由先验知识确定的状态先验概率。如果不做进一步的仔细观测，仅依靠先验概率去作决策，那么就应给出下列的决策规则：若P(D1)>P(D2)，则做出状态属于D1类的决策；反之，则做出状态属于D2类的决策。例如，某设备在365天中，有故障是少见的，无故障是经常的，有故障的概率远小于无故障的概率。因此，若无特B，j明显的异常状况，就应判断为无故障。显然，这样做对某一实际的待检状态根本达不到诊断的目的，这是由于只利用先验概率提供的分类信息太少了。为此，我们还要对系统状态进行状态检测，分析所观测到的信息。

he

高人，鸟闪了

小波变换出现负数怎么办？？是取还是设为零？？

小h波变换和去噪通俗的讲就是剥大a蒜的过程，也y就是不e断的分6层，使得信号拆分6成各种频段（根据采用频率而定），而这一e过程要用到低通滤波器和高通滤波器，而小m波去噪就是在高频部分5（因为2通常白噪声出现在高频部分8）改变数字量，运用一w些算法去除一w些混有噪声的数字，然后再运用重构低通滤波器和高通滤波器把刚刚分5层的频段加起来，不u多就是拼凑大a蒜的过程吧。 如何改变高频系数（也r就是去除噪声）具体算法如下m： 2。软门u限和硬门t限所谓门d限法,就是选择一p个j门n限,然后利用这个i门z限对小l波变换后的离散细节信号和离散逼近信号进行处理。硬门n限可以3描述为8：当数据的小t于x给定的门e限时,令其为4零,而数据为5其他值时不t变。软门i限可以1描述为2:当数据的小x于u给定的门d限时,令其为1零,然后把其他数据点向零收缩。 3。门e限选择的准则及q其算法根据现有的文7献,对于m被高斯白噪声污染的信号基本噪声模型, 一k般地, 选择门i限的准则如下p: 5． 无b偏风5险估计7准则。对应于f每一q个y门p限值, 求出与g其对应的风4险值, 使风2险小m的门b限就是我们所要选取的门c限，其具体算法为7: (a) 把待估计2的矢量中5的元g素取, 由小i到大s排序, 然后将各个z元t素平方5, 得到新的待估计0矢量N V ,其长7度为6原待估计4矢量的长0度n。 (b) 对应每一v个t元l素下p标(即元o素的序号) k ,若取门l限为0待估计3矢量的第k 个c元h素的平方6根,则风5险算法为1: (1) 固定门s限准则。 利用固定形式的门u限,可取得较好的去噪特性。设n 为1待估计5矢量的长6度,取长0度3 倍的常用对数的平方8根为0门n限。 (7) 极小p极大w准则。本准则采用固定门f限获得理想过程的极小z极大e特性。 极小j极大o原理是在统计7学中8为4设计2估计8量而采用的,由于s去噪信号可以6假设为7未知回归函数的估计4量,则极小y极大m估计7量是实现在坏条件下fc均方4误小q的任选量。 (3) 混合准则。 它是无j偏风7险估计8和固定门h限准则的混合2011-10-27 7:09:53

高斯混合模型（GMM）及EM算法的初步理解

高斯混合模型（Gaussian Mixed Model）指的是多个高斯分布函数的线性组合，理论上GMM可以拟合出任意类型的分布，通常用于解决同一下的数据包含多个不同的分布的情况（或者是同一类分布但参数不一样，或者是不同类型的分布，比如正态分布和伯努利分布）。

GMM模型是什么

GMM模型即高斯混合模型。

GMM（Gaussian Mixture Model），高斯混合模型（或者混合高斯模型），也可以简写为MOG（Mixture of Gaussian）。

高斯模型就是用高斯概率密度函数（正态分布曲线）精确地量化事物，将一个事物分解为若干的基于高斯概率密度函数（正态分布曲线）形成的模型。

混合高斯模型使用K（基本为3到5个）个高斯模型来表征图像中各个像素点的特征,在新一帧图像获得后更新混合高斯模型, 用当前图像中的每个像素点与混合高斯模型匹配,如果成功则判定该点为背景点, 否则为前景点。 通观整个高斯模型，主要是有方和均值两个参数决定，对均值和方的学习，采取不同的学习机制,将直接影响到模型的稳定性、精确性和收敛性 。由于我们是对运动目标的背景提取建模，因此需要对高斯模型中方和均值两个参数实时更新。为提高模型的学习能力,改进方法对均值和方的更新采用不同的学习率;为提高在繁忙的场景下,大而慢的运动目标的检测效果,引入权值均值的概念,建立背景图像并实时更新,然后结合权值、权值均值和背景图像对像素点进行前景和背景的分类。

应用在动态面板数据的一种模型,由分广义矩模型和系统广义矩模型。

混合高斯模型。相当于几个高斯模型的加权和，高斯模型可以理解为正态分布模型。

混合高斯模型

蜡烛的烟为什么是螺旋上升而不是直线上升？

1,烟和气流。 其实我们看到的是浓度比较高的pm？？的颗粒随着气流的运动，没有气流烟不动，没有烟，气流也看不见。流体工程师根据这个原理制造了颗粒追踪测速仪。

在层流中，每个流层中的流体流动平行，层间交换少，而湍流正相反。因此需要流体搅混的时候湍流就有优势，例如热量交换的时候。而不需要的气候就有劣势例如用管道输送流体，层间的交换会拖慢管道中心快速流动的流体导致输送效率降低。

火焰，我们都清楚是可以分为外焰、内焰、和焰心的，三焰的划分，决定了火焰不同位置的不同温度，也充分的证明了初三化学当中，关于化学变化当中，伴随着物理变化的论述，由于温度的不同，蜡烛燃烧并不是非常充分的，不但能看到白烟，甚至还可以看到黑烟，其中，石蜡是一种熔点较低，在燃烧的过程当中，很容易受热而转变为石蜡蒸汽，蒸汽吗，当然可以分散在空气中，而黑烟是由于蜡烛的不充分燃烧而形成了细小的碳黑颗粒，这样，在燃烧的过程当中，蜡烛的燃烧在空气当中形成对流，就会在空气当中看到徐徐而上的白烟，但是这些蒸汽很快就会凝固成石蜡小颗粒，分散在空气当中，如果质量稍大，就会落下来，

单高斯模型SGM & 高斯混合模型GMM

在了解高斯混合模型之前，我们先来看看什么是高斯分布，高斯分布大家应该都比较熟悉了，就是我们平时所说的正态分布，也叫高斯分布。正态分布是一个在数学、物理及工程等领域都非常重要的概率分布，在统计学的许多方面有着重大的影响力。

正态分布的特点

集中性：正态曲线的高峰位于正，即均数所在的位置。

对称性：正态曲线以均数为中心，左右对称，曲线两端永远不与横轴相交。

均匀变动性：正态曲线由均数所在处开始，分别向左右两侧逐渐均匀下降。

若随机变量 服从一个数学期望为 、方为 的正态分布，记为 。其中期望值 决定了其位置，标准 决定了分布的幅度。当 = 0， = 1时，正态分布是标准正态分布。

正态分布有极其广泛的实际背景， 生产与科学实验中很多随机变量的概率分布都可以近似地用正态分布来描述 。例如，在生产条件不变的情况下，产品的强力、抗压强度、口径、长度等指标；同一种生物体的身长、体重等指标；同一种种子的重量；测量同一物体的误；弹着点沿某一方向的偏；某个地区的年降水量；以及理想气体分子的速度分量，等等。一般来说，如果一个量是由许多微小的独立随机因素影响的结果，那么就可以认为这个量具有正态分布（见中心极限定理）。从理论上看，正态分布具有很多良好的性质 ，许多概率分布可以用它来近似；还有一些常用的概率分布是由它直接导出的，例如对数正态分布、t分布、F分布等。

高斯模型有单高斯模型（SGM）和混合高斯模型（GMM）两种。

概率密度函数服从上面的正态分布的模型叫做单高斯模型，具体形式如下：

当样本数据 是一维数据（Univariate）时，高斯模型的概率密度函数为：

其中： 为数据的均值， 为数据的标准。

当样本数据 是数据（Univariate）时，高斯模型的概率密度函数为：

其中： 为数据的均值， 为协方，d为数据维度。

高斯混合模型（GMM）是单高斯概率密度函数的延伸，就是用多个高斯概率密度函数（正态分布曲线）精确地量化变量分布，是将变量分布分解为若干基于高斯概率密度函数（正态分布曲线）分布的统计模型。

用通俗一点的语言解释就是， 个单高斯模型混合在一起，生成的模型，就是高斯混合模型。这 个子模型是混合模型的隐变量（Hidden variable）。一般来说，一个混合模型可以使用任何概率分布，这里使用高斯混合模型是因为高斯分布具备很好的数学性质以及良好的计算性能。

GMM是工业界使用多的一种聚类算法。它本身是一种概率式的聚类方法，假定所有的样本数据X由K个混合多元高斯分布组合成的混合分布生成。

高斯混合模型的概率密度函数可以表示为：

其中：

是观察数据属于第 个子模型的概率， ；

是第 个的单高斯子模型的概率密度函数， 或

，具体函数见上方单高斯模型的概率密度函数。

参数估计有多种方法，有矩估计、极大似然法、一致小方无偏估计、小风险估计、同变估计、小二乘法、贝叶斯估计、极大验后法、小风险法和极小化极大熵法等。基本的方法是小二乘法和极大似然法。

极大似然估计的思想是 ：随机试验有多个可能的结果，但在一次试验中，有且只有一个结果会出现，如果在某次试验中，结果w出现了，则认为该结果发生的概率。

1）写出似然函数：

假设单个样本的概率函数为 ,对每个样本的概率函数连乘，就可以得到样本的似然函数

2）对似然函数取对数：

目的是为了让乘积变成加法，方便后续运算

3）求导数，令导数为0，得到似然方程：

和 在同一点取到值，所以可以通过对 求导，令导数为零，实现同个目的

4）解似然方程，得到的参数即为所求

对于单高斯模型，可以使用极大似然估计（MLE）来求解出参数的值。

单高斯模型的对数似然函数为：

上式分别对 和 求偏导数，然后令其等于0，可以得到对应的参数估计值：

如果依然按照上面的极大似然估计方法求参数

GMM的对数似然函数为：

对上式求各个参数的偏导数，然后令其等于0，并且还需要附件一个条件： 。

我们会发现，直接求导无法计算出参数。所以我们需要用其它方式去解决参数估计问题，一般情况下我们使用的是迭代的方法，用期望算法（Expectation Maximization，EM）进行估计。

EM算法的具体原理以及示例见我的另外一篇文章。