1、认知算法(Perceptron Algorithm)

我们这里介绍另外一个判别函数,是由Rosenblatt提出的,在模式识别的领域中占有很重要的地位,他在二类模型分类中使用,我们给出这个线性模型的形式:

enter image description here

其中, f(a)=+1(a≥0),-1(a<0)

enter image description here

enter image description here

2、概率生成模型

我们紧接着从概率的角度来进行分类,我们引入一个生成过程,考虑一下的式子:

enter image description here

enter image description here

enter image description here

对于两个类的分类,我们可以知道 enter image description here

enter image description here

enter image description here

最大化概率解決方案:

enter image description hereenter image description here

因此:enter image description here

enter image description here

取对数可得:

enter image description here

因此,要最大化这个值:

enter image description here

enter image description here

μ1进行取导可得:

enter image description here

紧接着,我们考虑最大化共享协方差矩阵:

enter image description here

enter image description here

因此当enter image description here时,最大

离散模型

在离散模型中我们考虑对于离散值的应用:xi,为了简单期间,我们取值为enter image description here,如果有D个输入值,那么对于每一个类,总的分布对应于2^D数值的表,包含2^D-1个独立的变量 enter image description here

因此我们可得:

enter image description here