Sklearn用户手册(三): 文本数据的处理

Sklearn 机器学习 文本数据 TF-IDF实现文本向量化 使用 Sklearn 中的 TfidfVectorizer 进行中文文本向量化的方法。 阅读详情

本次内容:用一堆的法子去处理二十个不同主题下的文档。(数据集:newsgroup posts)

前文为关于安装的balabala,反正我直接下了个anaconda套装。

加载数据集

数据集名称为“Twenty Newsgroups”,关于该数据集的描述:

20 Newsgroups数据集包含了近20000篇新闻文稿,被分成20个不同的主题,最早由Ken Lang为他自己的论文所收集,如今经常被拿来测试机器学习模型,如文本分类或聚类

该数据集可手动下载,然后用sklearn.datasets.load_files函数导入,不过这里我们直接加载它

from sklearn.datasets import fetch_20newsgroups

为了加快训练速度,第一个例子中,只取其中四个主题的文档

categories = ['alt.atheism', 'soc.religion.christian', 'comp.graphics', 'sci.med']
#取训练集,并随机排序,另。。时间稍长
twenty_train = fetch_20newsgroups(subset='train', categories=categories, shuffle=True, random_state=42)

之所以要重新排序,是方便你希望拿一个小样本出来快速验证一下自己的模型时,不至于从头一取大部分都是同一类里的。
返回值是一个类似于字典的objects

print twenty_train.target_names
print len(twenty_train.data),len(twenty_train.filenames)
#还可以看看第一个,全部打印就算了。。
print "\n".join(twenty_train.data[0].split("\n")[:3])
#看看第一条数据的类别
print twenty_train.target_names[twenty_train.target[0]]

提取特征

要让电脑可以去处理文本,那就得把每个文本表示成一个可计算可比较可量化的东西,也就是数值类型的特征向量。对哪一类的数据都是如此。

词袋模型

这应该是最基本的一种方式了,
初始化一个m*n维的X矩阵,就是模型输入值。m为文档的数量,n为下文中词典的长度。
1. 统计任一文档中出现的词,组合成一个词典b,其实就是这所有文档的词汇量汇总了,并且为每个词编号。
2. 对每个文档,查看词典b中的第j个词在文档中是否出现,出现了,则把出现的次数记录在X[i, j]中

由此带来的一个问题是,这个矩阵往往会非常大,如果是20000篇文档中有10000个不同的词,则所占空间为20000*10000*4bytes为8GB RAM。这个一般个人电脑玩不转的。

但是所幸这个矩阵里有很多零值,因为单就一篇文档而言,词汇量还是很有限的。于是大家们就引入了稀疏矩阵的存储方式来解决这个问题。关于此处可见scipy.sparse.

最简单的一个例子:

import numpy as np
from scipy.sparse import csr_matrix
# row记录行号,col记录列号,data为值。如都看数组的第一个元素,0行1列的值为1,以此类推
row = np.array([0, 1, 1, 2, 3, 3])
col = np.array([1, 0, 2, 3, 0, 1])
data = np.array([1, 2, 1, 1, 2, 3])
X = csr_matrix((data, (row, col)), shape=(4, 4))
print X
标记文本

首先,sklearn中有CountVectorizer函数可以直接得到上述文档的稀疏模型

from sklearn.feature_extraction.text import CountVectorizer
count_vect = CountVectorizer()
X_train_counts = count_vect.fit_transform(twenty_train.data)
#看algorithm里词汇表的长度
print count_vect.vocabulary_.get(u'algorithm')

根据词典库以及文档中词语的分布我们可以判断矩阵X的哪个位置是有值的了,不过值取多少却要视情形而定。

  1. 二值特征,即只关心有还是没有,非0即1。听着不太合理,但事实说,有时候效果还不错。
  2. 出现了几次值为几。这就牵涉到了一个问题,如果某一文档本身较长,那它啥词都会显的更多,因此改用词出现的频率,就是出现的次数除以文档总词数啦。也就是常称的tf(term frequencies).

但这也不算完,所谓能体现主题的关键词。那当然是露面次数较少的。这样的词信息量才大。什么时候都说好其实就相当于什么都没说。照如此想,似乎又跟熵的理念比较接近。好吧,回到正题,因此针对这种情况,我们还可以给tf加个权重,即总文档数量与该词出现的文档数量之比。也就是常说的idf(inverse document frequency),当然这个idf的算法又有很多改进,比如取对数约束一下,或者分母加1防止为0的情形,或者光滑一下等等。但是本质上意思还是这么个意思

from sklearn.feature_extraction.text import TfidfTransformer
tf_transformer = TfidfTransformer(use_idf=False)
X_train_tf = tf_transformer.fit_transform(X_train_counts)
#use_idf默认为True
tfidf_transformer = TfidfTransformer()
X_train_tfidf = tfidf_transformer.fit_transform(X_train_counts)

上分类器

有了特征以后,就可以用模型对数据进行分类了,这里选用的是简单高效好用的朴素贝叶斯方法。

from sklearn.naive_bayes import MultinominalNB
clf = MultinomialNB().fit(X_train_tfidf, twenty_train.target)

接下来要对测试文档用transform方法,目的是使测试文档的特征能和训练时所用的特征匹配起来。

docs_new = ['God is love', 'openGL on the GPU is fast']
X_new_counts = count_vect.transform(docs_new)
X_new_tfidf = tfidf_transformer.transform(X_new_counts)
predicted = clf.predict(X_new_tfidf)
for doc, category in zip(docs_new, predicted):
    print '%r => %s'%(doc, twenty_train.target_names[category])

#利用数据集中提供的测试集来看看准确率
twenty_test = fetch_20newsgroups(subset='test', categories=categories, shuffle=True, random_state=42)
docs_test = twenty_test.data
X_test = count_vect.transform(docs_test)
X_test_tfidf = tfidf_transformer.transform(X_test)
predicted = clf.predict(X_test_tfidf)
accuracy = np.mean(predicted == twenty_test.target)
print accuracy

当然也是可以用前一节说的Gridsearch来帮助选取参数。不过都是纯代码的东西,不想翻了,另外,困了zzz。。

Sklearn中数据预处理 数据预处理 Sklearn中的模块preprocessing:几乎包含数据预处理的所有内容 数据无量纲化 在机器学习算法实践中,我们往往有着将不同规格的数据转换到同一规格,或不同分布的数据转换到某个特定分布 的需求,这种需求统称为将数据“无量纲化”。 数据的无量纲化可以是线性的,也可以是非线性的。线性的无量纲化包括中心化(Zero-centered或者Mean subtraction)处理和缩放处理(Scale)。中心化的本质是让所有记录减去一个固定值,即让数据样本数... 阅读详情

相关推荐

Sklearn 机器学习 文本数据 计数向量化加入ngram

使用 Sklearn 的 CountVectorizer 实现文本数据向量化,通过 n-gram 增强文本特征表达能力。

Kant2048的博客 1827

机器学习1:scikit-learn简介(5)—— 文本数据处理

scikit-learn的介绍 一、机器学习的一般步骤 链接:机器学习的一般步骤 二、预处理数据 链接:预处理数据 三、交叉验证 链接:交叉验证 四、超参数优化 五、文本数据处理 将数据集拆分为数据和目标。 目标对应于类列。 对于数据,删除列fnlwgt,capitalgain和capitalloss。 在这里插入代码片 目标未编码。使用 sklearn.preprocessing.LabelEncoder 对类进行编码。 在这里插入代码片 创建一个包含分类列名称的列表。 同样,对数值数据也一

shi_jiaye的博客 2272

Sklearn 机器学习 文本数据 计数向量化加入停用词

使用 Scikit-learn 的 CountVectorizer 进行中文文本向量化与停用词处理的方法。

Kant2048的博客 1246

机器学习中,使用Scikit-Learn简单处理文本数据

更多深度文章,请关注云计算频道:https://yq.aliyun.com/cloud 机器学习中,我们总是要先将源数据处理成符合模型算法输入的形式,比如将文字、声音、图像转化成矩阵。对于文本数据首先要进行分词(tokenization),移除停止词(stop words),然后将词语转化成矩阵形式,然后再输入机器学习模型中,这个过程称为特征提取(f...

weixin_34280237的博客 638

Sklearn 机器学习 邮件文本分类 加载邮件数据

使用 Scikit-learn 加载邮件文本数据,为机器学习项目中的邮件分类任务做准备。

Kant2048的博客 683

Sklearn 机器学习 邮件文本分类 计数器数据分类模型

使用 Scikit-learn 构建邮件文本分类模型的完整流程。

Kant2048的博客 1744

如何使用 scikit-learn 为机器学习准备文本数据

欢迎大家前往云+社区,获取更多腾讯海量技术实践干货哦~ 文本数据需要特殊处理,然后才能开始将其用于预测建模。 我们需要解析文本,以删除被称为标记化的单词。然后,这些词还需要被编码为整型或浮点型,以用作机器学习算法的输入,这一过程称为特征提取(或矢量化)。 scikit-learn 库提供易于使用的工具来对文本数据进行标记和特征提取。 在本教程中,您可以学到如何使用 scikit-learn...

QcloudCommunity的博客 613

Sklearn常用数据预处理方法介绍

主要介绍了Sklearn中常用的数据预处理方法。 数据预处理 1.导入用到的库 import numpy as np import pandas as pd from sklearn.preprocessing import Imputer from sklearn.neighbors import LocalOutlierFactor from sklearn.preprocessing...

weixin_42107106的博客 2072

处理文本数据(scikit-learn 教程3)

Scikit-learn使用教程

学苑新空 978

SKlearn Twenty Newsgroups 文本分类数据下载和详细步骤

SKlearn Twenty Newsgroups 文本分类数据下载和详细步骤 # 读取数据 # 数据压缩包下载地址 https://ndownloader.figshare.com/files/5975967 # 1.将20newsbydate.tar.gz 放在/data/workspace/test/tf/data/20news_home 目录下, # 2.修改/usr/local/p...

qq_24822271的博客 2214

sklearn: 利用TruncatedSVD做文本主题分析

    本文是一个使用sklearn中的TruncatedSVD进行文本主题分析的简要demo。通过主题分析,我们可以得到一个语料中的关键主题,即各个词语在主题中的重要程度,各个文章在各个主题上的倾向程度。并且可以根据它们,得到主题对应的关键词以及代表性文本。我前面写的一篇数据分析 一文看评论里的中超风云 就用到了主题分析的一种:     下面介绍的形式是LSI(潜在语义分析),主题模型中较早也...

blmoistawinde的博客 1万+

tf-idf Sklearn文本数据的处理

#训练数据 train=[ '这不是我的问题本来就不该我负责', '这个问题解决不了,谁都搞不定', '你看,不行了吧,我就说过不行', '没有问题,我处理', '好的,马上处理', '太好了' ] target=[0,0,0,1,1,1] target_names=['负面','积极']...

James_bobo的博客 981

Sklearn 机器学习 文本数据 计数向量化

Sklearn 中的 CountVectorizer 文本计数向量化方法。

Kant2048的博客 1279

文本数据预处理:sklearn 中 CountVectorizer、TfidfTransformer 和 TfidfVectorizer

文本数据预处理的第一步通常是进行分词,分词后会进行向量化的操作。在介绍向量化之前,我们先来了解下词袋模型。1.词袋模型(Bag of words,简称 BoW ) 词袋模型假设我们不考虑文本中词与词之间的上下文关系,仅仅只考虑所有词的权重。而权重与词在文本中出现的频率有关。 词袋模型首先会进行分词,在分词之后,通过统计每个词在文本中出现的次数,我们就可以得到该...

weixin_30439031的博客 3254

sklearn文本特征提取

sklearn中一般使用CountVectorizer和TfidfVectorizer这两个类来提取文本特征,sklearn文档中对这两个类的参数并没有都解释清楚,本文的主要目的就是解释这两个类的参数的作用 (1)CountVectorizer class sklearn.feature_extraction.text.CountVectorizer(input='content'

du_qi的博客 1万+

Twenty Newsgroups 数据集

Twenty Newsgroups 数据集,顾名思义,该数据集涵盖新闻组相关信息,包含从 20 个不同新闻组获取的 20000 篇报道,信息量巨大,欢迎下载使用。

sklearn专题三:数据预处理

目录 1 概述 1.1 数据预处理与特征工程 数据挖掘的五大流程: 1.2 sklearn中的数据预处理和特征工程 2 数据预处理 Preprocessing & Impute 2.1 数据无量纲化 preprocessing.MinMaxScaler数据归一化 preprocessing.StandardScaler数据标准化 StandardScaler和MinMaxScaler选哪个? 2.2缺失值 impute.SimpleImputer BONUS:用Pan..

Colorfully_lu的博客 4186

测试工程师玩转DeepSeek之Prompt

掌握这些提示词技巧,测试工程师可提升与DeepSeek的协作效率至少3倍。建议结合具体项目上下文进行二次优化,并建立团队内部的提示词知识共享库。✅ “为电商支付接口生成包含幂等性验证的测试用例,覆盖网络中断重试场景”❌ “帮我写测试用例”

weixin_44872675的博客 2265
上一篇: Sklearn 用户手册(二):统计学的那些行话
下一篇: 朴素贝叶斯
kapoyegou
博客等级 码龄18年 8粉丝 1原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值