![enter image description here][1]![enter image description here][2]对于绝大多数的模式识别的应用中我们对于结果的预测是不变的，无论对于输入值采取的是怎样复杂的变化，考虑对于一个二维图像的分类（例如手写体），某一…...

赫斯矩阵(Hessian Matrix)： 我们显示了错误回溯可以被用于错误函数的二次导数，由以下的式子显示： ![enter image description here][1] 赫斯矩阵在神经网络计算中扮演这一个非常具有重要的位置： 1、一些非线性优化算法使用训练神经…...

参数最优化 我们现在要做的的一个工作就是如何使用神经网络的方法确定w，其中我们对于w的修正思路为![enter image description here][1]，其中最后一项为▽E(w)指的是错误函数增加的最快的频率的方向，由于E(w)是一个在w上连续的光滑的函数，它的最…...

之前我们讨论的模型是对于分类的回归模型，包含了线性组合的多个基础函数。但是他的应用范围有一定的限制。另外一个方法在于事先限定基础函数的个数并且使得他可自适应的，也就是说使得他的参数值在训练当中是可以发生变化的，其中最成功的模型是前向神经网络(feed-forward netwo…...

1、认知算法(Perceptron Algorithm) 我们这里介绍另外一个判别函数，是由Rosenblatt提出的，在模式识别的领域中占有很重要的地位，他在二类模型分类中使用，我们给出这个线性模型的形式： ![enter image description here][…...