几种统计模式识别方案的比较

摘 要：模式识别是对表征事物或现象的各种形式的（数值的，文字的和逻辑关系的）信息进行处理和分析，以达到对事物或现象进行描述、辨认、分类和解释的目的，是信息科学和人工智能的重要组成部分。而统计决策理论是处理模式分类问题的基本理论之一，它对模式分析和分类器的设计有着实际的指导意义。本文归纳总结了统计模式识别的不同方案的详细性能，比较了它们的原理、算法、属性、应用场合、错误率等。 关键词：统计模式识别 贝叶斯决策方法 几何分类法 监督参数统计法 非监督参数统计法 聚类分析法

parison of Several Kinds of Statistical Pattern Recognition Schemes

Abstract: Pattern recognition deals with and analyses the information which signify all kinds of things and phenomena (number values, Characters and logic relation), in order to describe, recognize, classify and interpret them. It is one of the important parts of information science and artificial intelligence. While statistical pattern recognition is one of the basics theory of classifying and is real directive significance in analyzing and classifying of pattern. We

第 1 页 共 5 页

sum up the detailed performance of summarizing different schemes which counts the pattern recognition in this text, pare their principle, algorithm, attribute, using occasion, etc. 1引 言

模式识别诞生于20世纪20年代，随着40年代计算机的出现，50年代人工智能的兴起，模式识别在60年代初迅速发展成为一门学科。它所研究的理论和方法在很多科学和技术领域中得到了广泛的重视，推动了人工智能系统的发展，扩大了计算机应用的可能性。 模式识别方法大致可以分为四类，即统计决策法、句法结构法、模糊判决法和人工智能法。

其中，统计决策论发展较早，理论也较成熟。其要点是提取待识别模式的一组统计特征，然后按照一定准则所确定的决策函数进行分类判决。统计模式识别方法是建立在概率论与数理统计的基础上，它用特征向量来描述模式。不同的模式用不同条件概率分布表示，然后判别未知模式属于哪一种分布。分类方法主要有贝叶斯决策方法、线性可分的几何分类法、非线性可分的几何分类法、监督参数统计法、非监督参数统计法及聚类分析法。下文将对它们的性能进行详细地介绍。

2 几点统计识别方法介绍及比较 2.1 贝叶斯决策方法 运用统计决策理论设计的分类系统又称为分类器。贝叶斯决策是一种统计模式识别决策法，它有如下基本假定： 1.各类别总体的概率分布是已知的 2.被决策的分类数是一定的

第 2 页 共 5 页

3.被识别的事物或对象有多个特征观测值

当被识对象用n随机向量X表示，二我们已知分类的先验概率的条件概率密度函数，便可根据贝叶斯公式，求解后验概率，并按后验概率的大小来判别分类，这就是贝叶斯决策方法。下面介绍三种判别准则。

（1）最小错误概率贝叶斯判别准则

设有R类样本，分别为w1,w2,?wR, 已知每类的先验概率为P(wi), 其中i=1,2, ?,R。对于待识别的随机向量X,已知每类的条件概率密度为P(X|wi),则根据贝叶斯公式有后验概率：

P(wi|X)=(P(X| wi)*P(wi))/(∑P(X∣wi)*P(wi)) （1） 根据计算得出得后验概率，取最大得后验概率P(wi|X)所属的wi类，判决X属于wi类。表示为： P(wi|X)>P(wj|X)则X属于wi

其中i,j=1,2, ?,R,且存在j≠i，这就是贝叶斯判别准则。 若按统计理论定义“似然比”为： l(X) = P(X| wi)/ P(x| wi)

取判别阀值： θji= P(wj)/ P(wi)

则有贝叶斯判别准则的似然比表示形式： l(X) > P(wj)/ P(wi) 则X属于wi

对于两类模式集（w1,w2）的分类，贝叶斯判别准则简单表示为： 若 P(w1|X)>P(w2|X)则X属于w1 若 P(w2|X)>P(w1|X)则X属于w2

贝叶斯判别准则实质上是最小错误概率的贝叶斯判别准则。

第 3 页 共 5 页

（2）最小风险贝叶斯判别准则

在决策理论中，称所采取的决定为决策或行动。每个决策或行动都会带来一定的损失。该损失用λ表示，它是与本该属于wi但采取的决策为αj所造成的损失有关。由此定义损失函数为λ（αj| wi）=λij(i,j=1,2, ?,R)。对样本X属于wi,有贝叶斯公式已知后验概率为P(wi|X)，而采取决策αj时，它的条件损失为：

（2） i=1,2,?,R

在决策论中,把采取决策αj的条件损失称为条件风险。对随机向量X取不同观察值时，同样采取αj时，其条件风险是不同的。因此α又是X的函数，写成α(X)。由此，总的风险为：

（3）

总的风险反应对整个特征空间上所有X采取决策α(X)所带来的平均风险，而条件风险只反映对某一X值采取决策αj所带来的风险。若

每个条件风险都是最小，则总风险也最小。由此得到最小风险贝叶斯决策准则为：

（4）

于是,αk就是最小风险贝叶斯决策。

对于两类模式集( )来说，由判别区域R1和R2。则总风险为 其中: 为 X ，且被分为 R1的“损失”； 为 X ，且被分为 R1

第 4 页 共 5 页

的“损失”； 为 X ，且被分为 R2的“损失”； 为 X ，且被分为 R2的“损失”。

有全概率等于1可推出： 代入上式，经整理，得 若要总风险R最小，必须是积分号内有 便可判别 X 或 X 若用似然比表示 则有准则

（3）聂曼－皮尔逊判别准则

由最小风险贝叶斯准则可见，设计该分类器时，必须预知先验概率P(ωi) ，并预先给定λij，特别是要有足够的经验，以给定λij，因为该准则和损失函数λij有很大关系，需要足够的先验知识。

第 5 页 共 5 页