文本分类(情感分析)——中文数据集汇总

中文文本分类问题:THUCNews数据集 中文文本分类问题:THUCNews数据集1 THUCNews数据集与预处理1.1 数据集下载1.2 数据量1.3 数据预处理1.3.1 导入数据1.3.2 将文字型的label 转为数字label2 特征工程2.1 TF-IDF并将文件保存至本地 1 THUCNews数据集与预处理 1.1 数据集下载 本文采用了清华NLP组提供的THUCNews新闻文本分类数据集的子集 数据下载链接: THUC... 阅读详情
AI摘要

本文介绍了13个常用的中文文本分类数据集,如THUCNews、今日头条、情感标注微博等,涵盖了新闻、评论、餐饮评价等多个领域,适合情感倾向性分析。还提及了如何利用BERT进行文本分类的示例。,

文本分类数据集要点有情感/观点/评论,一般做倾向性分析,对于分类模型,在上几期中已经给出,今天小编给大家整理一下常用的一些中文分类数据集,喜欢的快来点赞收藏吧!

图片

1.THUCNews数据集

THUCNews是根据新浪新闻RSS订阅频道2005~2011年间的历史数据筛选过滤生成,包含74万篇新闻文档(2.19 GB),均为UTF-8纯文本格式。我们在原始新浪新闻分类体系的基础上,重新整合划分出14个候选分类类别:财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐。

数据集地址:http://thuctc.thunlp.org/

2.今日头条新闻数据集

数据来源:今日头条客户端 数据规模:共382688条,分布于15个分类中。可参考这个文章

数据集地址:

https://github.com/aceimnorstuvwxz/toutiao-text-classfication-dataset

3.全网新闻(SougouCA)和搜狐新闻(SougouCS)数据集

不推荐使用,处理起来比较繁琐

数据集地址:暂无

4.ChnSentiCorp_htl_all数据集

7000 多条酒店评论数据,5000 多条正向评论,2000 多条负向评论

数据集地址:

https://raw.githubusercontent.com/SophonPlus/ChineseNlpCorpus/master/datasets/ChnSentiCorp_htl_all/ChnSentiCorp_htl_all.csv

5.waimai_10k数据集

某外卖平台收集的用户评价,正向4000 条,负向约 8000 条

数据集地址:

https://github.com/SophonPlus/ChineseNlpCorpus/blob/master/datasets/waimai_10k/intro.ipynb

6.online_shopping_10_cats数据集

10 个类别(书籍、平板、手机、水果、洗发水、热水器、蒙牛、衣服、计算机、酒店),共 6 万多条评论数据,正、负向评论各约 3 万条

数据集地址:

https://github.com/SophonPlus/ChineseNlpCorpus/blob/master/datasets/online_shopping_10_cats/intro.ipynb

7.weibo_senti_100k数据集

10 万多条,带情感标注 新浪微博,正负向评论约各 5 万条。

数据集地址:

https://github.com/SophonPlus/ChineseNlpCorpus/blob/master/datasets/weibo_senti_100k/intro.ipynb

8.simplifyweibo_4_moods数据集

36 万多条,带情感标注 新浪微博,包含 4 种情感,其中喜悦约 20 万条,愤怒、厌恶、低落各约 5 万条。

数据集地址:

https://github.com/SophonPlus/ChineseNlpCorpus/blob/master/datasets/simplifyweibo_4_moods/intro.ipynb

9.dmsc_v2数据集

28部电影,超70万用户,超200万条评分/评论数据

数据集地址:

https://github.com/SophonPlus/ChineseNlpCorpus/blob/master/datasets/dmsc_v2/intro.ipynb

10.yf_dianping数据集

24 万家餐馆,54 万用户,440 万条评论/评分数据

数据集地址:

https://github.com/SophonPlus/ChineseNlpCorpus/blob/master/datasets/yf_dianping/intro.ipynb

11.yf_amazon数据集

2 万件商品,1100 多个类目,142 万用户,720 万条评论/评分数据

数据集地址:

https://github.com/SophonPlus/ChineseNlpCorpus/tree/master/datasets/yf_amazon

12.Datahub数据中心

包含文本分类、情感分析以及知识图谱的数据集

数据集地址:

http://www.datahub.ileadall42.com/data/list?category=2&parent_category=1

13.AI_challenger情感分析数据集

数据集分为训练、验证、测试A与测试B四部分。数据集中的评价对象按照粒度不同划分为两个层次,层次一为粗粒度的评价对象,例如评论文本中涉及的服务、位置等要素;层次二为细粒度的情感对象,例如“服务”属性中的“服务人员态度”、“排队等候时间”等细粒度要素。

数据集地址:https://pan.baidu.com/s/1THPLarF9A2njs7FsCA_QoQ 密码: 9t16

以上便是小编收集的可用于中文分类的数据集,如果上面有误或者你有其他补充,欢迎在评论区留言,另外上面有些数据集需要先进行处理才可以进行训练,有需要可有偿联系,对于训练代码可参考如下:

BERT文本分类——基于美团外卖评论数据集

BERT文本分类——基于toutiao今日头条新闻数据集

BERT文本分类——基于simplifyweibo_4_moods微博数据集

最后:

会不定期发布相关设计内容包括但不限于如下内容:信号处理、通信仿真、算法设计、matlab appdesigner,gui设计、simulink仿真......希望能帮到你!

文本分类任务(weibo_senti_100k为数据集) 在主程序中,可以通过给定输入张量来获取模型的输出张量。# ---------------------------数据准备------------------------------------------## ---------------------------搭建模型结构---------------------------------------## ---------------------------加载数据集---------------------------------------# 阅读详情

相关推荐

NLP实战 -中文文本分类问题:THUCNews数据集

中文文本分类问题:THUCNews数据集1 THUCNews数据集与预处理1.1 数据集下载1.2 数据量1.3 预处理1.3.1 read_file(),读取文件数据;1.3.2 build_vocab()构建词汇表1.3.2 read_vocab()读取已存储的词汇表,2 特征向量化3 情感分析4 模型搭建4.1 CNN模型4.2 RNN模型5 参考 1 THUCNews数据集与预处理 1.1...

qq_36047533的博客 9696

ocr中文数据集_文本分类(情感分析)中文数据集汇总

来自我的博客:https://blog.csdn.net/alip39​blog.csdn.net1.THUCNews数据集:THUCNews是根据新浪新闻RSS订阅频道2005~2011年间的历史数据筛选过滤生成,包含74万篇新闻文档(2.19 GB),均为UTF-8纯文本格式。我们在原始新浪新闻分类体系的基础上,重新整合划分出14个候选分类类别:财经、彩票、房产、股票、家居、教育、科技、社会、...

weixin_39874366的博客 2509

百度PaddleHub-ERNIE微调中文情感分析(文本分类)

PaddlePaddle-PaddleHub 飞桨(PaddlePaddle)以百度多年的深度学习技术研究和业务应用为基础,是中国首个自主研发、功能完备、 开源开放的产业级深度学习平台,集深度学习核心训练和推理框架、基础模型库、端到端开发套件和丰富的工具组件于一体。PaddleHub旨在为开发者提供丰富的、高质量的、直接可用的预训练模型。 ERNIE ERNIE(Enhanced Representation through kNowledge IntEgration)...

weixin_41611054的博客 9775

关于文本分类(情感分析)的中文数据集汇总

文本分类(情感分析)中文数据集汇总 这段时间在公司NLP组里实习,相应的开始学习了一些NLP的知识,并搜索了一些关于NLP中文本分类领域的相关数据集,本文主要列举一些中文数据集。关于英语数据集,且听下回分解。 1.THUCNews数据集: THUCNews是根据新浪新闻RSS订阅频道2005~2011年间的历史数据筛选过滤生成,包含74万篇新闻文档(2.19 GB),均为UTF-8纯文本格式。我们...

lip 5万+

中文自然语言处理医疗、法律等公开数据集整理分享

本文整理了一批医疗、法律等相关的公开数据集,涉及医疗相关的专业词汇分词、问答和医疗实体识别,以及法律文本分类、情感分析和评价相关的数据集。 资源整理自网络,源地址:https://github.com/OYE93/Chinese-NLP-Corpus 分词、词性标注 实体识别 法律文本分类 情感分析 医疗领域分词、实体识别、问答数据...

lqfarmer的博客 3808

自然语言处理中文数据集入口整理

1 github 链接 https://github.com/SophonPlus/ChineseNlpCorpus 包括:情感分类,推荐,问答 https://github.com/CLUEbenchmark/CLUEDatasetSearch NER、QA、情感分析、文本分类、文本分配、文本摘要、机器翻译、知识图谱、语料库以及阅读理解等 10 ...

weixin_36378508的博客 5128

情感分析(文本分类)数据集汇总

想在推荐前对评论做一些情感分析方面的工作,参考网上其它博主的博客大概整理了一下情感分析方面的数据集的内容,大致分为两类——多分类和二分类(俺比较关注的),中英文的数据集都汇总整理了一下,后面会关注一下相关的比较新的论文(工作),欢迎同仁们补充和推荐,现在还在探索搜集资料阶段。

qq_50714222的博客 2万+

NLP任务常见数据集介绍

作者:禅与计算机程序设计艺术 1.简介 自然语言处理(Natural Language Processing, NLP)是计算机科学领域的一个重要方向,是一门融语言学、计算机科学、数学于一体的科学。其中文本处理(Text Processing)是NLP的一个重要子领域。文本处理的任务可以包括但不限于信息

AI天才研究院 1823

【亲测免费】 探索中文文本分类与情感分析的宝库:中文数据集汇总

探索中文文本分类与情感分析的宝库:中文数据集汇总 【下载地址】文本分类情感分析中文数据集汇总分享 文本分类(情感分析)——中文数据集汇总本资源文件汇总了多个用于中文文本分类和情感分析的数据集,涵盖了新闻、评论、社交媒体等多种类型的文本数据 ...

gitblog_06537的博客 694

大语言模型常见任务及评测数据集汇总(一):70 余个数据集!

1. 文本分类 1.1. 中文文本分类数据集: THUCNews:清华大学推出的中文新闻文本数据集,包含了74万篇新闻文章,覆盖了10个类别。 LCQMC:哈尔滨工业大学发布的数据集,主要用于中文句子匹配任务,也常用于文本分类。 BQ Corpus:同样用于中文句子匹配,也可用于文本分类。 1.2. 英文文本分类数据集: IMDb:包含50,000条影评数据,分为正面和负面两类,常用于情感分析。 20 Newsgroups:包含约20,000条新闻组文档,分为20个类别。

大F子的智能小课 7256

中文文档数据集文本分类实战

文本分类是自然语言处理(NLP)的一个基础任务,它涉及到将文本数据根据内容分成不同的类别。其过程通常包含将原始文本转换为计算机可理解的格式,提取特征,以及应用机器学习模型进行分类决策。

weixin_42561464的博客 1204

中文数据集

中文NLP语料整理新闻文本...

weixin_45514087的博客 1658

中文情感分析词典数据集(基于词典).zip

https://blog.csdn.net/kobeyu652453/article/details/106259653 该篇博文所用数据集

请问哪里可以找到公开的中文文本大数据集?

作者:景略集智 链接:https://www.zhihu.com/question/22956189/answer/411522145 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 虽然这个问题比较冷清,但我们都明白充足的文本数据集对于自然语言处理领域的研究有多重要,因此我们从网络上收集了 20 个大型中文文本数据集或数据源,其中不少数据集相当给力,比如中华古诗词数据集、中文人名语料库和中文简称数据集等。希望对大家从事 NLP 相关项目时有所帮助。 中科大自然.

朝闻道 1810

从‘最速控制’到代码:深入拆解韩京清ADRC中TD跟踪器的fhan函数(含Matlab/Simulink实例)

本文深入解析韩京清ADRC中的fhan函数,从理论到代码实现,详细拆解其在Matlab/Simulink中的应用。通过分析最速控制问题和非线性TD的连续形式,揭示fhan函数在信号处理和噪声抑制中的独特优势,并提供工程实践中的参数整定和优化技巧。

weixin_42659194的博客 248

海康VisionMaster零代码开发实战:从PLC工程师到视觉专家的捷径

本文为PLC工程师提供了利用海康VisionMaster视觉平台实现零代码视觉开发的实战指南。文章详细阐述了如何通过图形化流程设计替代传统编程,快速搭建视觉检测应用,并实现与PLC的无缝通讯,是工程师从设备控制迈向视觉系统集成的有效捷径。

weixin_29201859的博客 293

自然语言处理相关数据语料

转载From:自然语言处理中文数据集入口整理_zhurui_xiaozhuzaizai的博客-程序员ITS401 - 程序员ITS401 1 github 链接 https://github.com/SophonPlus/ChineseNlpCorpus 包括:情感分类,推荐,问答 https://github.com/CLUEbenchmark/CLUEDatasetSearch NER、QA、情感分析、文本分类、文本分配、文本摘要、机器翻译、知识图谱、...

Chloris_的博客 557

HBuilderx 坑 之前没问题 改了几行代码 小程序上传报分包大小超过限制

Error: 分包大小超过限制,main package source size 4199KB exceed max limit 2MB [20221213 10:08:06][wx432abdb518bdc1eb]下面的我提示是都没超过2M,却提示我超过限制,代码改了不到20行吧,之前是正常上传的.....,比如这类,要压缩的,前提是没压缩过的,但是我肯定提交的时候是压缩的,没勾选此项的要注意,如果本文解决了你的困扰 来波666不为过吧!

爱就码上行动,奔赴热爱,追光而行。愿你带着从容与热爱,拥抱每一天的惊喜与美好 5221

【免费下载】 中文评论情感分析数据集:助力情感分析研究的利器

中文评论情感分析数据集:助力情感分析研究的利器 【下载地址】中文评论情感分析数据集分享 本仓库提供了一个名为“中文评论情感分析数据集”的资源文件,该数据集由谭松波整理,专门用于中文评论的情感分析任务。数据集中的每条评论都被标注了情感极性,其中“1”表示正向情感,“0”表示负向情感 ...

gitblog_06697的博客 909

[Unity实战]热更新如何预防过度裁剪

假设你现在有一个游戏客户端,客户端只打包了入口场景,游戏场景都存放在了AB包。

u012587406的博客 1607

window部署open claw(使用wsl-Ubuntu-docker部署)

本文详细介绍了在Windows 11系统下通过WSL2+Docker部署OpenClaw的完整流程。首先需要满足硬件配置要求并开启虚拟化功能,然后依次完成WSL2安装配置、Docker Desktop安装、OpenClaw镜像拉取等步骤。重点说明了端口映射、socat转发配置及openclaw.json文件修改方法。最后通过验证WSL2内网IP和端口访问服务。该方案具有最佳兼容性,能有效避免Windows环境下的依赖冲突问题。

Kmoyic的博客 2767

Python 如何使用 Bert 进行中文情感分析

在自然语言处理(NLP)领域,情感分析是一个非常常见且重要的应用。情感分析通常用于识别文本中的情感,例如判断一条微博或评论是正面、负面还是中性。在过去的几年中,随着深度学习的发展,BERT(Bidirectional Encoder Representations from Transformers)模型迅速成为了处理自然语言的强大工具。BERT 是一种基于 Transformer 架构的预训练模型,它能够捕捉文本的上下文信息,并在许多 NLP 任务中达到了顶尖的表现。

程序员徐师兄的博客 1万+

双有源桥DC-DC变换器:原理、软开关与移相控制深度解析

隔离型DC-DC变换器是电力电子系统的核心部件,通过高频变压器实现电气隔离与电压匹配,保障系统安全与灵活适配。其工作原理基于功率半导体器件的开关动作,通过调制策略控制能量传输。该技术的核心价值在于实现高效、高功率密度的电能转换,并支持双向能量流动,这对于提升系统整体能效和运行灵活性至关重要。在新能源储能、电动汽车V2G及数据中心供电等场景中,双向能量流成为刚性需求,推动了如双有源桥等先进拓扑的应用。本文聚焦于双有源桥这一实现高效双向隔离变换的“明星”方案,深入剖析其利用移相控制实现软开关的机理。通过分析谐振

weixin_34195142的博客 383
上一篇: BERT文本分类——基于simplifyweibo_4_moods微博数据集
下一篇: YOLOv7网络模型解读
MatpyMaster
博客等级 码龄9年 2707粉丝 240原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MatpyMaster

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值