注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

易拉罐的博客

心静自然凉

 
 
 

日志

 
 

转 为什么朴素贝叶斯分类器本质上是线性分类器  

2013-11-18 23:16:16|  分类: 自动化 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
  一开始介绍朴素贝叶斯分类器和线性分类器的定义,然后介绍两种是线性分类器的朴素贝叶斯分类器。这里需要指出的是,只有在特定条件下,朴素贝叶斯分类器才是线性分类器。最后给出一种不是线性分类器的朴素贝叶斯分类器。
    由于二分类问题在分类问题中的基础地位,本文将以二分类问题为例。本文中出现的分类器没有特别说明,都认为是二元分类器。

朴素贝叶斯分类器和线性分类器
    朴素贝叶斯分类器是建立在属性变量相互独立的基础上,以后验概率为判定准则的分类器。不等式1成立,判别输入向量x=(x1,x2,x3,...,xn)为正类,不然判别为负类。
              转 为什么朴素贝叶斯分类器本质上是线性分类器 - 易拉罐bb - 易拉罐的博客  
    线性分类器则是直观地来说,是在高维样本空间中找到一组超平面,将样本空间划分了两个区域。每个区域对应于不同的类别。数学上来说则是,我们能找到权值向量w,使得输入向量x和该权值向量w的点积成为分类器的准则。
              转 为什么朴素贝叶斯分类器本质上是线性分类器 - 易拉罐bb - 易拉罐的博客
 
 即,公式2成立,则属于正类;反之,则是负类。
 
属性值为布尔变量的朴素贝叶斯分类器
      令属性值的取值为"1"或者"-1"。不等式3成立判别输入向量x=(x1,x2,x3,...,xn)为正类。   
 转 为什么朴素贝叶斯分类器本质上是线性分类器 - 易拉罐bb - 易拉罐的博客
 
       
      将不等式3推导成不等式5之后,令  
              转 为什么朴素贝叶斯分类器本质上是线性分类器 - 易拉罐bb - 易拉罐的博客
 
 
      将6和7带入不等式5,得不等式8.
             转 为什么朴素贝叶斯分类器本质上是线性分类器 - 易拉罐bb - 易拉罐的博客
  
      根据不等式8,属性值为布尔变量的朴素贝叶斯分类器本质上找到了权值向量w,使得输入向量x和该权值向量w的点积成为分类器的准则。即,属性值为布尔变量的朴素贝叶斯分类器本质上是线性分类器。为什么只说本质上是线性分类器,而不说是线性分类器呢?主要原因是,朴素贝叶斯分类器并没有显式地求出权值向量w,只是其判别准则(不等式3)本质上可以看成输入向量x和权值向量w的点积(不等式8)。
 
特定的高斯朴素贝叶斯分类器
      假设条件概率满足高斯分布,则称改朴素贝叶斯分类器为高斯朴素贝叶斯分类器。
              转 为什么朴素贝叶斯分类器本质上是线性分类器 - 易拉罐bb - 易拉罐的博客 
      条件概率的方差相同的高斯朴素贝叶斯分布本质上是线性分类器。条件概率的方差相同的意思是,在不同类别的条件下某属性值成立的条件概率的方差相同,如公式10所示。
              转 为什么朴素贝叶斯分类器本质上是线性分类器 - 易拉罐bb - 易拉罐的博客
 
       不等式11成立判别输入向量x=(x1,x2,x3,...,xn)为正类。   
            转 为什么朴素贝叶斯分类器本质上是线性分类器 - 易拉罐bb - 易拉罐的博客
 
       在公式9,10成立的情况下,不等式11可以推导到不等式15.不等式15是关于输入向量x的线性运算,根据这点,我们可以看到条件概率的方差相同的高斯朴素贝叶斯分布本质上是线性分类器。
       直观上看,在条件概率的方差相同的高斯朴素贝叶斯分类器,两个类别的特征和类别的联合分布(即p(x|c)*p(c))如图左图所示。则判别准则其实就是图1右图中的粗黑直线。
            转 为什么朴素贝叶斯分类器本质上是线性分类器 - 易拉罐bb - 易拉罐的博客
 
                                                                                        图1

不是线性分类器的朴素贝叶斯分类器
     若是高斯朴素贝叶斯分类器中条件概率的方差不相同。
            转 为什么朴素贝叶斯分类器本质上是线性分类器 - 易拉罐bb - 易拉罐的博客
 
      不等式20表明普通的高斯朴素贝叶斯分类器并不是线性分类器(判别不等式与xi的二次方有关)。

总结
     只有特定的某些朴素贝叶斯分类器本质上是线性分类器。

参考资料:

  评论这张
 
阅读(399)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017