注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

易拉罐的博客

心静自然凉

 
 
 

日志

 
 

转 马氏距离 (Mahalanobis distance)  

2014-11-25 21:16:59|  分类: 数学 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

       马氏距离(Mahalanobis distance)是由印度统计学家马哈拉诺比斯(P. C. Mahalanobis)提出的,表示数据的协方差距离是一种有效的计算两个未知样本集的相似度的方法。与欧氏距离不同的是它考虑到各种特性之间的联系(例如:一条关于身高的信息会带来一条关于体重的信息,因为两者是有关联的)并且是尺度无关的(scale-invariant),即独立于测量尺度。对于一个均值为μ,协方差矩阵为Σ的多变量向量,其马氏距离为(x-μ)'Σ^(-1)(x-μ)。

 对于一个均值为

mu=(mu_1, mu_2, mu_3,...,mu_p_)  协方差矩阵为Σ的多变量向量

x=(x_1,x2_2,x3_3,...,x_p) , 其马氏距离为

D_M(x)]=sqrt(x-mu)^T Sigma^(-1)(x-mu)).

 

定义:

马氏距离也可以定义为两个服从同一分布并且其协方差矩阵为Σ的随机变量vec{x}与vec{y}的差异程度:

D_M(x)]=sqrt((vec{x}-vec{y})^T Sigma^(-1)(vec{x}-vec{y})).

如果协方差矩阵为单位矩阵,那么马氏距离就简化为欧氏距离,如果协方差矩阵为对角阵,则其也可称为正规化的欧氏距离'.

 

定义:p维空间的两点(两个p维向量x,y)的距离定义为:

转 马氏距离 (Mahalanobis distance) - 易拉罐bb - 易拉罐的博客并且点x欧氏模数为:
 
转 马氏距离 (Mahalanobis distance) - 易拉罐bb - 易拉罐的博客
 这里很快可以得出,所有到原点距离相等的点满足 
转 马氏距离 (Mahalanobis distance) - 易拉罐bb - 易拉罐的博客

      这是某个正球体的方程。这就是说观测数据x的各个分量对x至中心的欧式距离贡献是相等的。然而在统计学中我们希望寻求这样一种距离,它的各个分量的作用程度是不同的。差别较大的分量应该接受较小的权重。

转 马氏距离 (Mahalanobis distance) - 易拉罐bb - 易拉罐的博客

 然后定义x,y之间的距离

转 马氏距离 (Mahalanobis distance) - 易拉罐bb - 易拉罐的博客

 这里

转 马氏距离 (Mahalanobis distance) - 易拉罐bb - 易拉罐的博客

 现在x的模数等于

转 马氏距离 (Mahalanobis distance) - 易拉罐bb - 易拉罐的博客

 所有到原点等距离的点满足

转 马氏距离 (Mahalanobis distance) - 易拉罐bb - 易拉罐的博客

 这是以原点为中心的某个椭球体的方程。

转 马氏距离 (Mahalanobis distance) - 易拉罐bb - 易拉罐的博客

 欧氏距离的缺点

我们熟悉的欧氏距离虽然很有用,但也有明显的缺点。它将样品的不同属性(即各指标或各变量)之间的差别等同看待,这一点有时不能满足实际要求。例如,在教育研究中,经常遇到对人的分析和判别,个体的不同属性对于区分个体有着不同的重要性。因此,有时需要采用不同的距离函数。

 

马氏优缺点:

1.马氏距离的计算是建立在总体样本的基础上的,这一点可以从上述协方差矩阵的解释中可以得出,也就是说,如果拿同样的两个样本,放入两个不同的总体中,最后计算得出的两个样本间的马氏距离通常是不相同的,除非这两个总体的协方差矩阵碰巧相同。
 
2.在计算马氏距离过程中,要求总体样本数大于样本的维数,否则得到的总体样本协方差矩阵逆矩阵不存在,这种情况下,用欧式距离计算即可。
 
3.还有一种情况,满足了条件总体样本数大于样本的维数,但是协方差矩阵的逆矩阵仍然不存在,比如三个样本点(3,4),(5,6)和(7,8)这种情况是因为这三个样本在其所处的二维空间平面内共线。这种情况下,也采用欧式距离计算。
 
4.在实际应用中“总体样本数大于样本的维数”这个条件是很容易满足的,而所有样本点出现3)中所描述的情况是很少出现的,所以在绝大多数情况下,马氏距离是可以顺利计算的,但是马氏距离的计算是不稳定的,不稳定的来源是协方差矩阵,这也是马氏距离与欧式距离的最大差异之处。
   
优点:它不受量纲的影响,两点之间的马氏距离与原始数据的测量单位无关;由标准化数据和中心化数据(即原始数据与均值之差)计算出的二点之间的马氏距离相同。马氏距离还可以排除变量之间的相关性的干扰。
  评论这张
 
阅读(145)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017