中文NLP技术学习(1):搭建NLP开发环境

NLP 自然语言处理的开发环境搭建 面试难免让人焦虑不安。经历过的人都懂的。但是如果你提前预测面试官要问你的问题并想出得体的回答方式,就会容易很多。此外,都说“面试造火箭,工作拧螺丝”,那对于准备面试的朋友,你只需懂一个字:刷!给我刷刷刷刷,使劲儿刷刷刷刷刷!今天既是来谈面试的,那就必须得来整点面试真题,这不花了我整28天,做了份“Java一线大厂高岗面试题解析合集:JAVA基础-中级-高级面试+SSM框架+分布式+性能调优+微服务+并发编程+网络+设计模式+数据结构与算法等” 阅读详情

 中文NLP技术学习系列文章,将以NLTK系统为主体框架,通过整合相关的开源系统来学习NLP中涉及的所有模块。下面是我的PC环境:

  • win10 64bits
  • python 3.6.8+pip+virtualenv
  • PyCharm 2018.3.5 (Professional Edition)

本系列Demo地址:NLPDemos

1. NLTK平台搭建

 NLTK,Nature Language Tool Kit,即自然语言工具包,是一个免费、开源且使用Python程序构建的自然语言数据工作平台。NTLK系统提供了易于使用的界面和超过50种语料库、词汇资源,同时还包含一套分类、分词、词干、标注、分析和语义推理的基本框架,更为重要的是我们可以将目前比较好的NLP开源应用系统整合到NLTP平台来开发NLP项目。

NLTK平台特征:

  • 跨平台。完全兼容Windows、Linux等系统;
  • 跨语言。允许自由整合基于Java、C++、Python等语言实现的NLP系统;
  • 预先包含绝大多数的NLP常用功能,即各类基于规则的或基于统计的词法、句法、语义等分析模块;
  • 系统内存开销小;
1.1 安装Python3.6和第三方库

(1) 安装python3.6.8

(2) 安装网络包

pip install Tornado

(3) 安装数学运算包

pip install numpy

pip install scipy
1.2 搭建NLTK平台

(1) 安装NLTK开发环境

pip install nltk

(2) 下载中文语料库

# NLTK_Download.py

import sys
import nltk
import importlib

# 加载sys库
importlib.reload(sys)

# 打开NLTK Downloader下载页面
nltk.download()

执行脚本python NLTK_Download.py,看到如下界面:

语料库

 NLTK平台提供了50种语料库、词汇库,但默认使用的都是英文语料库。由于我们研究的是中文NLP,因此不必要下载所有语料库,就我所知Sinica是中央研究院提供的一个繁体中文语料库。

2. LTP环境搭建

 LTP(3.4.0),Language Technology Platform,即语言技术平台,是哈尔滨工业大学开发的一整套中文语言处理系统,该平台基于C++实现,提供包括中文分词、 词性标注、命名实体识别、依存句法分析、语义角色标注等丰富、高效、精确的自然语言处理技术,且支持可视化图形输出。另外,为了便于在python环境下使用,LTP还提供了它的Python封装pyltp(0.2.0),其依赖支持情况:

Py2.6Py2.6Py3.4Py3.5Py3.6conda-python
Linux支持支持支持支持支持不支持
Mac OS支持支持支持支持支持不支持
Windows VS2015不支持不支持不支持支持支持不支持
Windows VS2017不支持不支持不支持支持支持不支持
2.1 pyltp开发环境搭建

(1) 安装pyltp

 LTP官方提供了两种安装方式,即使用pip在线安装和编译源码本地安装,具体如下:

  • 使用pip安装
pip install pyltp

注:如果安装过程中出现Microsoft Visual Studio 14.0错误,这里推荐下载pyltp-0.2.1-cp36-cp36m-win_amd64.whl,然后直接使用pip install pyltp-0.2.1-cp36-cp36m-win_amd64.whl安装即可。

  • 从源代码安装(PC需安装git)
 $ git clone https://github.com/HIT-SCIR/pyltp
 $ git submodule init
 $ git submodule update
 $ python setup.py install 

(2) 下载LTP模型文件ltp_data_v3.4.0.zip,需要注意的是,在windows下 3.4.0 版本的语义角色标注模块模型需要单独下载,即pisrl_win.model。
在这里插入图片描述
 其中,cws.model为中文分词模型;ner.model为命名实体模型;parser.model为句法解析模型;pisrl_win.model为语义角色标注模型;pos.model为词性标注模型。

3. 示例演示

 在上一小节中,我们成功将NLP开源系统pyltp整合到NLTK平台,本节编写一个句法解析示例来演示如何利用NLTK和pyltp研究NLP相关技术。关于什么是句法解析,这里我们放在后面文章中详讲,你只需要知道句法解析就是汉语中解析一个句子的语法结构。示例代码如下:

# Parser.py 句法解析示例
# Date:2019-05-07 9:43
# Author:Jiangdongguo

from pyltp import *
import nltk
from scipy._lib.six import xrange

sentence = "中国南部的湖南省,省会是长沙市,也是一座世界知名的城市。"

segment_model_path = "data/ltp_models/cws.model"    # 中文分词模型
postagger_model_path = "data/ltp_models/pos.model"  # 词性标注模型
parser_model_path = "data/ltp_models/parser.model"  # 句法分析模型

# 1. 中文分词
segmentor = Segmentor()
segmentor.load(segment_model_path)
segResult = segmentor.segment(sentence)
tmp = " ".join(segResult)
print(tmp)

# 2. 词性标注
words = tmp.split(" ")
postagger = Postagger()
postagger.load(postagger_model_path)
postags = postagger.postag(words)

# 3. 句法分析
#   将词性标注和分词结果都加入到分析器进行句法解析
parser = Parser()
parser.load(parser_model_path)
arcs = parser.parse(words, postags)
arcLen = len(arcs)
conll = ""

# 构建Conll标准的数据结构
for i in xrange(arcLen):
    if arcs[i].head == 0:
        arcs[i].relation = "ROOT"
    conll += "\t"+words[i]+"("+postags[i]+")"+"\t"+postags[i]+"\t"+str(arcs[i].head)+"\t"+arcs[i].relation+"\n"
print(conll)

# 使用nltk构建依存句法关系树
conllTree = nltk.DependencyGraph(conll)  # 转换为依存句法图
tree = conllTree.tree()  # 构建树结构
tree.draw()  # 显示输出树

注:模型文件由于比较大,就没有上传,请下载后自行放在项目的data/ltp_models目录下。

  • 运行结果:

(venv) E:\ComPython\NLPDemos>python lesson01/Parser.py
中国 南部 的 湖南省 , 省会 是 长沙市 , 也 是 一 座 世界 知名 的 城市 。
中国(ns) ns 2 ATT
南部(nd) nd 4 ATT
的(u) u 2 RAD
湖南省(ns) ns 7 SBV
,(wp) wp 4 WP
省会(n) n 7 SBV
是(v) v 0 ROOT
长沙市(ns) ns 7 VOB
,(wp) wp 7 WP
也(d) d 11 ADV
是(v) v 7 COO
一(m) m 13 ATT
座(q) q 17 ATT
世界(n) n 15 SBV
知名(a) a 17 ATT
的(u) u 15 RAD
城市(n) n 11 VOB
。(wp) wp 7 WP

  • 依存句法关系树:

在这里插入图片描述
本文Demo:Lesson01

人工智能开发实战之自然语言NLP处理 自然语言处理(NLP)是人工智能领域中的一个重要分支,它研究如何实现人与计算机之间用自然语言进行有效通信的各种理论和方法。‌ NLP是计算机科学、人工智能和语言学交叉的领域,旨在使计算机能够理解和生成人类语言,从而实现人机交互的自然化和智能化。 阅读详情

相关推荐

PyTorch与NLP:自然语言处理的深度学习实践

PyTorch作为一款强大的深度学习框架,在NLP领域的应用广泛且效果显著。从命名实体识别、情感分析到机器翻译,PyTorch提供了灵活且易于使用的工具,帮助研究人员和开发者构建和训练各种复杂的模型。在本案例中,我们详细展示了如何使用PyTorch构建一个基于BiLSTM和CRF的命名实体识别模型,并探讨了模型优化、迁移学习以及最新技术动态等方面的内容。在实践中,我们深刻体会到PyTorch的易用性和灵活性。它允许我们快速地原型设计和实验,同时也提供了丰富的API和工具来支持高效的模型训练和部署。

异构算力老群群(在读985计算机博士生)的技术博客 5052

从头开始搭建一套NLP开发环境

这篇文章记录一下搭建一套NLP开发工具的流程。 我们将使用python作为我们的开发语言,原因很简单:通用、易于设置、提供了很多的计算库,包括从深度学习到概率推理,再到数据可视化等等的各个领域; 我们将使用Anaconda 来设置python: 1.安装anaconda: 官网地址:前往下载,页面底端有anaconda的下载链接,请注意选择适当的python版本 下载完成直接点击安装 安装完成后进入客户端,我们会发现已经替我们集成了很多工具,比如说常用的Jupyter Notebook等,我们也

m0_37876503的博客 3128

自然语言处理NLP概述

大家好,自然语言处理(NLP)是计算机科学领域与人工智能领域中的一个重要方向,其研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。本文将从自然语言处理的本质、原理和应用三个方面,对其进行概述。NLP是一种机器学习技术,使计算机能够解读、处理和理解人类语言,其本质就是人类和机器之间沟通的桥梁。人类使用自然语言交流,如中文、英文等,狗通过叫声和其他身体语言交流,机器使用数字信息进行交流。人类与机器之间存在交流障碍,因为人类不直接理解数字信息,而机器不直接理解自然语言。

csdn1561168266的博客 4135

NLP项目windows环境搭建

文章名称: TCP

梦醒时候的博客 1869

什么是NLP,NLP主要有什么用,为什么要学自然语言处理?

简单来说:NLP的目的是让机器能够理解人类的语言,是人和机器进行交流的技术。它应用在我们生活中,像:智能问答、机器翻译、文本分类、文本摘要,这项技术在慢慢影响我们的生活。 NLP的发展历史非常之久,计算机发明之后,就有以机器翻译为开端做早期的NLP尝试,但早期做得不是很成功。直到上个世纪八十年代,大部分自然语言处理系统还是基于人工规则的方式,使用规则引擎或者规则系统来做问答、翻译等功能。 第一次突...

数智集的博客 8593

NLP自然语言处理

NLP就是人与机器沟通的“桥梁”。

m0_68153457的博客 2287

自然语言处理环境搭建流程

1、需要安装的库: **pip install gensim** **pip install tensorflow** **pip install scipy** **pip install jieba** 2、关于数据的解压 首先我们需要下载:维基百科中文数据。一 、维基百科(Wikipedia),是一个...

qq_41627642的博客 567

精通python自然语言处理pdf_学习NLP《自然语言处理综论第2版》中文PDF+英文PDF+对比分析...

对于从事自然语言处理、文本分析的专业人士来说,建议参考学习《自然语言处理综论第2版》。对于第一版做了全面的改写,增加了大量反映自然语言处理最新成就的内容,特别是增加了语音处理和统计技术方面的内容。《自然语言处理综论第2版》覆盖全面,强调实用,注重评测,语料为本。《自然语言处理综论第二版》在第一版的基础上增加了自然语言处理的最新成就,特别是增加了语音处理和统计技术方面的内容。《自然语言处理综论第2版...

weixin_39566493的博客 2664

自然语言处理(NLP)学习路线总结

目录 自然语言处理概述 自然语言处理入门基础 自然语言处理的主要技术范畴 自然语言处理基本点 特征处理 模型选择 NLP常用工具 NLP语言模型 快速入门NLP方法 自然语言处理学习资料 1、自然语言处理概述 自然语言处理(Natural Language Processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究人与计算机之间...

sjyttkl的专栏 9万+

自然语言处理(NLP)实战:中文分词技术详解

本文旨在全面介绍中文分词技术,包括其基本原理、常见算法、实现方法和应用场景。我们将重点关注基于规则和统计的分词方法,以及最新的深度学习技术在分词领域的应用。介绍中文分词的基本概念和重要性详细讲解各种分词算法原理提供Python实现示例探讨实际应用场景和挑战展望未来发展趋势分词(Tokenization): 将连续的自然语言文本切分成有意义的词语序列的过程词性标注(POS Tagging): 为分词结果中的每个词语标注其词性(名词、动词等)未登录词(OOV): 在词典中未收录的词语。

AI大模型应用之禅 1114

NLP实验:掌握自然语言处理与Python实战

Python的起源可以追溯到1989年,由Guido van Rossum设计并推出。最初,它旨在提供一种能够通过简单直观的语法实现快速编程的语言。在随后的几十年里,Python凭借其以下特点成为了编程界的明星:简洁易读:Python的语法非常接近英语,使得代码易于理解。广泛的库支持:Python社区庞大,提供了大量开源的库和框架。跨平台兼容性:Python可以在多种操作系统上运行,包括Windows、Linux和Mac OS。动态类型。

weixin_32005771的博客 1223

自然语言处理(NLP)

NLP(Nature Language Processing,自然语言处理)是计算机学科及人工智能领域一个重要的子学科,它主要研究计算机如何处理、理解及应用人类语言。所谓自然语言,指人说的话、人写的文章,是人类在长期进化过程中形成的一套复杂的符号系统(类似于C/Java等计算机语言则称为人造语言)。以下是关于自然语言处理常见的定义:自然语言处理还有其它一些名称,例如:自然语言理解(Natural Language Understanding),计算机语言学(Computational Linguistics

weixin_55245206的博客 9961

RTOS任务调度原理:高优先级任务为何在低优先级任务执行时无法响应

实时操作系统(RTOS)的核心在于其确定性的任务调度机制,它通过优先级抢占确保关键任务及时执行。其基本原理是调度器仅在特定调度点(如任务主动阻塞、中断退出时)运行,比较就绪态任务的优先级并切换上下文。这一机制的技术价值在于为嵌入式系统提供可预测的响应时间,广泛应用于工业控制、汽车电子和物联网设备等对实时性要求高的场景。当低优先级任务执行**长时间非阻塞运算**且无中断发生时,调度器无法被触发,导致高优先级任务虽处于就绪态却无法获得CPU,造成系统响应延迟。理解**任务状态机**与调度点,是优化实时性、避免此

weixin_33508411的博客 290

一文彻底搞懂自然语言处理:什么是自然语言处理 NLP?NLP的核心技术

AI大模型作为人工智能领域的重要技术突破,正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口,掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程,需要从基础开始,逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源,包括:AI大模型全套学习路线图(从入门到实战)、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等,资料免费分享!

star_nwe的博客 1万+

LQR控制算法调参指南:如何通过Bryson‘s Rule和Trial-and-Error优化自动驾驶性能?

本文深入探讨了LQR控制算法在自动驾驶系统中的调参策略,从Bryson's Rule的基础应用到工程落地的优化方法。通过动态权重适应、非对角项引入和多目标权衡等技巧,提升车辆轨迹跟踪精度与操控舒适性。文章还介绍了数据驱动的调参流程和典型问题的解决方案,为自动驾驶工程师提供实用指南。

kkk56的博客 1028

Wireshark 4.6 TCP 流图解析:3种拥塞控制算法可视化对比

本文深入解析Wireshark 4.6的TCP流图功能,通过可视化对比Reno、Cubic和BBR三种主流拥塞控制算法的性能特征。文章提供详细的实验环境搭建方法、流图分析工具使用技巧,以及算法调优建议,帮助网络工程师优化TCP性能。

weixin_29291573的博客 452

基于PaddlePaddle的中文NLP开发环境搭建:CUDA安装与git配置全攻略

本文详细介绍基于PaddlePaddle的中文NLP开发环境搭建,涵盖CUDA版本匹配、GPU加速配置、git工程化管理及Docker一致性部署,提升AI项目可复现性与协作效率。

weixin_36212459的博客 831

Windows 下 Codex MCP 服务配置全攻略:从环境搭建到实战避坑

本文详细介绍了在Windows系统下配置Codex MCP服务的完整流程与实战避坑指南。内容涵盖从Node.js环境搭建、Codex CLI安装,到核心配置文件config.toml的编写与解析,并重点解决了Windows平台特有的环境变量设置、MCP服务启动命令适配等关键难点,帮助开发者顺利完成从环境准备到编辑器插件连接的整个配置过程。

weixin_28826545的博客 2078

nlp中文自然语言处理的学习资源

此资源为博主学习时使用到的一些视频、工具与文档。 欢迎大家留言补充!!!!!!!!! 实时更新中!!!!!! 视频区 1.动手学中文分词 链接:https://www.bilibili.com/video/BV19E411o7Yc?from=search&seid=16310963411565849981 2.超实用Python文本挖掘视频教程 文本分析 词云分析 NLP 自然语言处理 链接:https://www.bilibili.com/video/BV1dK4y1t7zD?p=63&t

qq_42092076的博客 645

基于线性光耦HCNR200的高压直流采样电路设计与精度优化

本文详细介绍了基于线性光耦HCNR200的高压直流采样电路设计与精度优化方法。针对直流高电压测量中的安全与干扰问题,提出采用HCNR200光耦隔离方案,实现高精度线性传输。文章深入解析电路设计关键细节,包括电阻网络、运放选型、滤波电容配置等,并提供精度优化实战技巧与常见问题排查指南,助力新能源电动汽车和高压储能系统的高压直流采样应用。

weixin_42713608的博客 582

LVI-SAM适配KITTI数据集避坑指南:IMU频率与数据同步问题解析

本文深入解析了将LVI-SAM框架适配KITTI数据集时,在IMU频率与多传感器数据同步方面遇到的核心挑战与解决方案。针对KITTI数据集中sync与extract两种数据包的差异,文章提供了从数据选择、参数调优到时间戳诊断与修复的完整避坑指南,帮助开发者实现稳定高效的SLAM系统部署。

7z8x2c4v6b9的博客 256

【大模型学习1自然语言处理(NLP)核心概念

自然语言处理(NLP)是人工智能的一个重要分支,旨在实现计算机对人类语言的理解、解释和生成。NLP的发展历程经历了从早期基于规则的方法,到后来的统计方法,再到当前广泛应用的深度学习技术的演变。著名的里程碑包括艾伦·图灵的图灵测试、诺姆·乔姆斯基的生成语法、以及深度学习时代的 Word2Vec、BERT 和 Transformer 模型。

qq_36776216的博客 1337

20 Embedding 与向量检索:语义为什么能变成距离

Embedding 是 RAG 语义检索的数学基础。本文用工程视角讲清文本如何变成向量,为什么语义相近会表现为距离相近,Top-K 检索如何工作,以及在模型选择、同模型约束、精确匹配和召回评估上的常见坑。

老于的笔记的专栏 6204

NLP入门系列—什么是自然语言处理

每种动物都有自己的语言,机器也是!自然语言处理(NLP)就是在机器语言和人类语言之间沟通的桥梁,以实现人机交流的目的。人类通过语言来交流,狗通过汪汪叫来交流。机器也有自己的交流方式,那就是数字信息。不同的语言之间是无法沟通的,比如说人类就无法听懂狗叫,甚至不同语言的人类之间都无法直接交流,需要翻译才能交流。而计算机更是如此,为了让计算机之间互相交流,人们让所有计算机都遵守一些规则,计算机的这些规则就是计算机之间的语言。

4万+

【AI工具】免费获取各类AI大模型APIKEY的使用教程,以硅基流动+Deepseek为例

【AI工具】免费获取各类AI大模型APIKEY的使用教程,以硅基流动+Deepseek为例

funfan的博客 4275

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

上一篇: 从Android6.0源码的角度剖析Service启动过程
下一篇: Rasa Core开发指南
无名之辈FTER
无名之辈FTER 领域专家: 操作系统技术领域 领域专家: 操作系统技术领域
博客等级 码龄11年 2630粉丝 102原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值