朴素贝叶斯

使用Sklearn学习朴素贝叶斯算法 上一篇文章我向大家介绍了朴素贝叶斯工作的理论部分,需要看的小伙伴请移步:贝叶斯分类器,接下来,我们基于Sklearn机器学习库来使用以下具体的贝叶斯分类器算法。 1,sklearn中的贝叶斯分类器 Sklearn基于数据分布以及这些分布上的概率估计的改进,为我们提供了四个朴素贝叶斯的分类器。 类 含义 naive_bayes.BernoulliNB 伯努利分布下的朴素贝叶斯 naive_bayes.GaussianNB 高斯分布下的朴素贝叶斯 naive_bayes.Mu 阅读详情

一个利用贝叶斯公式来进行分类的naive方法,它建立在一个很强悍的假设条件上:即特征之间都是相互独立的,且特征们是同等重要的

贝叶斯公式

P(y|x1,...,xn)=P(y)P(x1,...,xn|y)P(x1,...,xn)

xi是我们的特征,也是一个随机变量,上述式子所表明的意义:若已知y发生的概率以及y取定为某值时所有的xi取值的概率,那么为因此如果把特征独立的条件带入上面的式子,我们就可求出在xi为某值时取到y的概率。

好吧,上面这段写的自己都看不明白了。以文本分析为例,如果要给一些文本去按主题分类,这里的y就是类别集合了,xi就是文档中出现的词汇。上述的公式就可以解释为,在知道某一主题出现的概率P(y)以及该主题中出现xi这些词的概率。那么我们就可以求出当一个文档出现了某些词时属于各个主题的概率。而要把朴素贝叶斯作为一个分类器去用的话,我们就应该找到那个使P(y|x1,...,xn)最大的 y.

maxP(y|x1,...,xn)=maxP(y)P(x1,...,xn|y)P(x1,...,xn)

既然我们只想知道哪个y使P(y|x1,...,xn)最大,而不用求出具体的概率值,因此上式等号右边的分母是可以忽略的,求解麻烦且毫无用处。于是

maxP(y|x1,...,xn)→maxP(y)P(x1,...,xn|y)

然而这个条件联合概率P(x1,...,xn|y)也不是好求的啊,这时候朴素里的条件独立性假设就派上用场了,既然条件独立,那么

P(x1,...,xn|y)=∏i=1nP(xi|y)

这样,目标函数就出炉了:

y^=argmaxyP(y)∏i=1nP(xi|y)

当然,这个条件独立性假设其实是不太合理,有些时候有些词之间就是会有很强的相关性。针对这种情况,我们可以调整一下朴素贝叶斯的词典设置,不仅以单个的词汇做特征,还可以以连续的两个词等,此为ngram,在之后的sklearn naive bayes库里会提到。
另外还可以根据词汇之间的相关性绘制概率图模型,偶们称之为贝叶斯网络,较出名的即为马尔科夫模型,此为后话。

根据P(xi|y)服从的概率分布不一样,朴素贝叶斯方法也可分为以下几类

  • 高斯NB
    P(xi|y)=12πδ2y−−−−√exp(−(xi−μy)22δ2y)

其中的参数是通过极大似然估计获得的。

  • 多项式NB

将词汇出现的频率作为概率

P(xi|y)=Nyi+αNy+αn

这里Nyi=∑x∈Txi 是训练集中第y类里第i个特征出现的次数。Ny=∑|T|i=1Nyi是y中所有特征的总数。

分子分母都加上一个数主要是因为,若y里面根本没有出现这个featurei,则整个样本概率会为0。当文本分析中用的词典库是一个人为确定的预设词典库时,就有可能出现这种情况了。α=1时被称为拉普拉斯平滑。

  • 伯努利NB
    不管频率多少,只看出现或是不出现,这就是伯努利贝叶斯的方法:
    P(xi|y)=P(i|y)xi+(1−P(i|y))(1−xi)

公式不是很懂,意思就是那么个意思,留个疑问吧。这种binary的方法一般在文档较短的时候效果可能会好。因此做文本分析时可以都尝试一下。

Python机器学习 — 朴素贝叶斯算法(Naive Bayes) 一、朴素贝叶斯算法 -- 简介        朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型(Naive Bayesian Model,NBM)。       和决策树模型相比,朴素贝叶斯分类器(Naive Bayes Classifier,或 NBC)发源于古典数学理论,有着坚实的数学基础,... 阅读详情

相关推荐

Scikit-Learn朴素贝叶斯

朴素贝叶斯把类似敲击声这样的特征概率化,构成一个西瓜的品质向量以及对应的好瓜/坏瓜标签,训练出一个标准的基于统计概率的好坏瓜模型,这些模型都是各个特征概率构成的。一般来说,纹理清晰的西瓜是好瓜的概率更大,假设是75%,如果把纹理清晰当作一种结果,然后去推测好瓜的概率,那么这个概率就被称为后验概率。朴素贝叶斯算法的核心思想是通过特征考察标签概率来预测分类,即对于给定的待分类样本,求解在此样本出现的条件下各个类别出现的概率,哪个最大,就认为此待分类样本属于哪个类别。先验概率是指事件发生前的预判概率。

Java/Python大数据随笔 1383

NLP系列(5)_从朴素贝叶斯到N-gram语言模型

我们在之前文章《NLP系列(2)_用朴素贝叶斯进行文本分类(上)》探讨过,朴素贝叶斯的局限性来源于其条件独立假设,它将文本看成是词袋子模型,不考虑词语之间的顺序信息,就会把“武松打死了老虎”与“老虎打死了武松”认作是一个意思。那么有没有一种方法提高其对词语顺序的识别能力呢?有,就是本节要接到的N-gram语言模型。

龙心尘 2万+

朴素贝叶斯算法

朴素贝叶斯优缺点:优点:在数据较少的情况下仍然有效,可以处理多类别问题缺点:对于输入数据的准备方式较为敏感,由于朴素贝叶斯的“特征条件独立”特点,所以会带来一些准确率上的损失。

weixin_55773387的博客 5917

朴素贝叶斯 半朴素贝叶斯_使用朴素贝叶斯和N-Gram的Twitter情绪分析

朴素贝叶斯 半朴素贝叶斯A little surprise at the end. 最后一点惊喜。 In this article, we will be showing you how to classify a tweet into positive and negative using two famous Machine Learning algorithms Naive Bayes a...

weixin_26752765的博客 552

在linux上本地大模型部署与推理

您的Python脚本(客户端)可能在您的个人电脑上,而模型服务(服务器)在远程Linux服务器上。如果您的服务器有强大的NVIDIA GPU,并且您对性能有更高的要求(例如需要高吞吐量),vLLM是更好的选择。这种方式无需向公网暴露服务器端口,而是通过加密的SSH通道将服务器的端口“映射”到您的本地电脑上。我们将启动一个API服务器,它会加载您指定的模型,并等待您的代码前来调用。如果您直接在SSH窗口运行上面的命令,一旦您关闭窗口,服务就会停止。这是根据您的原始代码修改的版本,适配本地vLLM服务。

frostmelody 全网同名,大家多多关注呀~ 持续分享优质内容! 2066

【华为Hilink SDK Linux系统开发】目录 开源一小步

目录 【华为Hilink开发】第一章:华为hilink平台简介及开发流程 【华为Hilink开发】第二章:华为hilink SDK网络适配、网关添加删除 【华为Hilink开发】第三章:华为hilink SDK子设备添加、删除 【华为Hilink开发】第四章:华为hilink SDK子设备控制及同步 【华为Hilink开发】第五章:华为hilink SDK适配遇到的问题 ...

开源一小步 3623

三种常用的朴素贝叶斯实现算法——高斯朴素贝叶斯、伯努利朴素贝叶斯、多项式朴素贝叶斯

在sklearn中,提供了若干种朴素贝叶斯的实现算法,不同的朴素贝叶斯算法,主要是对P(xi|y)的分布假设不同,进而采用不同的参数估计方式。我们能够发现,朴素贝叶斯算法,主要就是计算P(xi|y),一旦P(xi|y)确定,最终属于每个类别的概率,自然也就迎刃而解了。 常用的三种朴素贝叶斯为: 高斯朴素贝叶斯 伯努利朴素贝叶斯 多项式朴素贝叶斯 高斯朴素贝叶斯 适用于连续变量,其假定各个特征x...

ws19920726的博客 1万+

协方差矩阵

对两个类内协方差矩阵进行对角化,可以将它们变换为对角矩阵。这个过程可以通过对每个协方差矩阵进行特征值分解来实现,从而得到它们的特征向量和特征值,进而得到它们的对角矩阵形式。这个过程的意义在于,它可以帮助我们找到一个新的坐标系,使得在这个坐标系下,每个特征之间都是独立的,从而简化了计算。具体来说,当我们使用对角协方差矩阵作为特征向量的坐标系时,它意味着每个特征之间都是相互独立的,从而方便了进一步的分析和处理。在实际应用中,对角化协方差矩阵可以用于降维、特征选择和分类等任务。

m0_55196097的博客 1万+

贝叶斯分类(轻松理解朴素贝叶斯与半朴素贝叶斯)

贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单,也是常见的一种分类方法。这篇文章我尽可能用直白的话语总结一下我们学习会上讲到的朴素贝叶斯分类算法,希望有利于他人理解。 1   分类问题综述  对于分类问题,其实谁都不会陌生,日常生活中我们每天都进行着分类过程。例如,当你看到一个人,你的脑子下意识判断他是学生还是社会上的人;你可能经常会走在路上对身旁的朋友说“这个人一看就很有钱”之类的

Jav 8031

mmdetection 实战:基于Mask R-CNN与自定义COCO数据集的目标检测全流程解析

本文详细解析了如何使用mmdetection框架和Mask R-CNN模型,基于自定义COCO数据集完成目标检测任务的全流程。内容涵盖环境搭建、数据格式转换、配置文件定制化、模型训练与评估等核心步骤,并提供了针对工业缺陷检测场景的实用调优思路与避坑指南,帮助开发者高效构建高性能检测模型。

weixin_29046611的博客 138

LS-DYNA壳单元冲击仿真中的5个关键设置:以方管碰撞为例(含沙漏控制参数)

本文以方管碰撞为例,深入解析了LS-DYNA壳单元冲击仿真中的五个关键设置。重点探讨了沙漏控制参数(如IHQ=4)的选择逻辑、自接触算法优化、能量监控方法、材料模型(MAT_24)的真实应力-应变曲线与应变率效应设置,以及单元公式的选取。这些核心设置共同决定了仿真的精度与效率,是确保方管冲击仿真结果可靠性的基石。

salt的博客 627

高斯朴素贝叶斯,多项朴素贝叶斯,伯努利朴素贝叶斯

高斯朴素贝叶斯 GaussianNB 实现了运用于分类的高斯朴素贝叶斯算法。特征的可能性(即概率)假设为高斯分布: 参数使用最大似然法估计。 高斯朴素贝叶斯实现方法代码: '''高斯朴素贝叶斯''' def MyGaussianNB(trainMat='',Classlabels='',testDoc=''): # -----sklearn GaussianNB------- # 训练数据 X = np.array(trainMat) Y = np.arr.

viviliving的专栏 2592

统计滤波器

认知有限,望大家多多包涵,有什么问题也希望能够与大家多交流,共同成长!本文先对统计滤波器做个简单的介绍,具体内容后续再更,其他模块可以参考去我其他文章提示:以下是本篇文章正文内容。

qq_35635374的博客 1645

机器学习之朴素贝叶斯算法的详解(包含高斯朴素贝特斯、多项式朴素贝叶斯、伯努利朴素贝叶斯,以及相应算法的简单实现)

机器学习18_贝叶斯算法详解(2021.06.02) 一. 朴素贝叶斯算法 为什么需要朴素贝叶斯算法? 比如说,我们想预测一个人究竟是否能够侥幸在空难中生还,那么我们就需要建立一个分类模型来学习我们的训练集。在训练集中,其中一个人的特征是30岁,男,普通舱,他最终在空难中去世了。训练完成后,当我们使用训练好的模型进行测试的时候,测试的目标的特征也是30岁,男,普通舱,那么我们的模型必然会给这个人打上去世的标签。然而事实却不一定为此,也许这个人正好坐在了离逃生口最近的位置,他得到了第一时间的救治而生存下来了

weixin_40247876的博客 7659

小梅哥Xilinx FPGA学习笔记15——基于SPI接口的ADC芯片驱动

ADC(Analog to Digital Conver),通常是指一个将转变为数字信号(二进制表示的离散信号)的转换器。先将输入模拟电压转换成时间或频率,再把中间量转换成数字量双积分型 ADC,先对输入采样电压和基准电压进行两次积分,获得与采样电压平均值成正比的时间间隔,同时用计数器对标准时钟脉冲计数。抗干扰能力强,稳定性好,但转换速度低。①并联比较型 ADC,采用各量级同时并行比较,各位输出码也是同时并行产生,转换速度快。缺点是成本高、功耗大。

m0_51430584的博客 5511

petalinux2022.2启动文件编译配置

petalinux2021之前的版本里,导入目录components/yocto/下的“environment-setup-aarch64-xilinx-linux” 和 “layers/core/oe-init-build-env”的环境,能使用Yocto的devtool工具。(加入下面内容,先petalinux-build下载完成后才能有源码)制作 BOOT.BIN 启动文件:petalinux-package --boot --fsbl --fpga --u-boot --force。

wangjie36的博客 1407

朴素贝叶斯算法_经典算法之朴素贝叶斯

本篇大纲:1、朴素贝叶斯算法简介2、朴素贝叶斯的三种类型3、朴素贝叶斯的两种平滑方式4、sklearn中相关API讲解上期回顾1、我们先列举了聚类算法的几种类型,包括原型聚类、层次聚类、密度聚类和其它聚类。并罗列出相应聚类算法中的一些典型聚类算法。2、我们阐述了聚类算法的评价指标,分为有标签(出于学习和研究目的)和无标签(出于真实应用场景)情况下的评价指标。其中,有标签时的评价指标有:混...

weixin_39637975的博客 6321

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

什么是朴素贝叶斯

人工智能

善良的小乔的博客 2646

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

朴素贝叶斯分类

机器学习的经典算法:朴素贝叶斯(naive byes)分类 贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类。而朴素贝叶斯分类是贝叶斯分类中最简单,也是常见的一种分类方法。 一:贝叶斯原理 朴素贝叶斯分类算法是一个典型的统计学习方法,主要的理论基础就是贝叶斯公式。贝叶斯公式定义如下所示: 先验概率:通过经验来判断事情发生的概率。 后验概率:后验概率就是发生结果之后,推测原因的概率。 条件概率:事件 A 在另外一个事件 B 已经发生条件下的发生概率,表示为 P(A|B),读作

onlynb的博客 8886

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

详解朴素贝叶斯

目录1.概念2.朴素贝叶斯分类2.1 朴素贝叶斯公式定理2.2 例题分析2.3 朴素贝叶斯算法的朴素一词解释3. 朴素贝叶斯分类的优缺点 1.概念 贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故称之为贝叶斯分类。而朴素贝叶斯分类是贝叶斯分类中最简单,也是最常见的一种分类法。 分类问题综述 对于分类问题,其实谁都不陌生,日常生活中我们每天都进行折分类 过程。例如,当你看到一个人,你的脑子下意识判断他是学生还是社会上的人;你可能经常走在路上对身旁的朋友说“这个人一看就很有钱”之类的化,其实也是

suotanyu1595的博客 9871

sklearn机器学习之朴素贝叶斯

????上次我们讲到了决策树算法,都是基于sklearn实现的,这次我们要学习的内容是朴素贝叶斯,何为“朴素”,朴素的含义即特征之间相互独立,没有关联关系。对以前内容感兴趣的小伙伴可以参考以下内容????: 决策树模型: sklearn之决策树. 线性回归模型: sklearn机器学习之线性回归模型. ????今天我们来学习第二个概率模型,朴素贝叶斯,概率模型是不需要做标准化的,请大家牢记! 目录1.贝叶斯公式简介2.朴素贝叶斯的应用3.朴素贝叶斯的种类3.1 贝努力朴素贝叶斯3.2 高斯朴素贝叶斯3.

柳小葱的博客 5555

朴素贝叶斯+Python3实现高斯朴素贝叶斯

1. 什么是朴素贝叶斯法 朴素贝叶斯(naive Bayes)法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入输出的联合概率分布;然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实现简单,学习与预测的效率都很高,是一种常用的方法。 先举个例子来了解贝叶斯原理 一个袋子里有10个球,其中6个黑球,4个白球;那么随机抓取一个黑球的概率是0.6 这种情况下我们是站在上帝的视角,即知道事情的全貌再做判断(有多少个黑球,白球)在

justorderman的博客 5482

朴素贝叶斯模型

会自己根据项目进行朴素贝叶斯的建模与数据处理,全部将其搞定,研究透彻都行啦的理由与打算。

kuxingseng123的博客 1329
上一篇: Sklearn用户手册(三): 文本数据的处理
下一篇: Sklearn 用户手册(四): 回归一
kapoyegou
博客等级 码龄18年 8粉丝 1原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值