python网络爬虫实战教学——urllib的使用(2)

网络爬虫——urllib(2) get请求方式的参数必须编码,参数是拼接到url后面,编码之后不需要调用encode方法post请求方式的参数必须编码,参数是放在请求对象定制的方法中,编码之后需要调用encode方法。 阅读详情

在这里插入图片描述

专栏导读

✍ 作者简介:i阿极,CSDN 数据分析领域优质创作者,专注于分享python数据分析领域知识。

✍ 本文录入于《python网络爬虫实战教学》,本专栏针对大学生、初级数据分析工程师精心打造,对python基础知识点逐一击破,不断学习,提升自我。
✍ 订阅后,可以阅读《python网络爬虫实战教学》中全部文章内容,包含python基础语法、数据结构和文件操作,科学计算,实现文件内容操作,实现数据可视化等等。
✍ 其他专栏:《数据分析案例》 ,《机器学习案例》

😊😊😊如果觉得文章不错或能帮助到你学习,可以点赞👍收藏📁评论📒+关注哦!👍👍👍

1、前言

❓我们已经了解了如何发送请求,但是在网络不好的情况下,如果出现了异常,该怎么办呢?
这时要是不处理这些异常,程序很可能会因为报错而终止运行,所以异常处理还是十分有必要的。
urllib 库中的 error 模块定义了由 request 模块产生的异常。当出现问题时,request 模块便会抛出 error 模块中定义的异常。

2、URLError

URLError 类来自urllib库的error模块,继承自0SError类,是error 异常模块的基类,由request模块产生的异常都可以通过捕获这个类来处理。它具有一个属性 reason,即返回错误的原因
下面用一个实例来看一下:

from urllib import request, error
try:
    response =request.urlopen('https://cuiqingcai.com/404')
except error.URLError as e:
    print(e.reason)

我们打开了一个不存在的页面,照理来说应该会报错,但是我们捕获了URLError 这个异常,
运行结果如下:

Not Found

程序没有直接报错,而是输出了错误原因,这样可以避免程序异常终止,同时异常得到了有效处理。

3、HTTPError

HTTPError 是URLError的子类,专门用来处理HTTP请求错误,例如认证请求失败等。它有如下3个属性。

code:返回 HTTP状态码,例如 404 表示网页不存在,500表示服务器内部错误等。
reason:同父类一样,用于返回错误的原因。
headers:返回请求头。

下面我们用几个实例来看看:

from urllib import request, error
try:
    response =request.urlopen('https://cuiqingcai.com/404')
except error.HTTPError as e:
    print(e.reason,e.code, e.headers, sep='\n')

4、urlparse

该方法可以实现URL的识别和分段,这里先用一个实例来看一下:

from urllib.parse import urlparse
result=urlparse('https://www.baidu.com/index.html;user?id=5#comment')
print(type(result))
print(result)

这里我们利用urlparse方法对—个URL进行了解析,然后输出了解析结果的类型以及结果本身。
运行结果如下:

<class 'urllib.parse.ParseResult'>
ParseResult(scheme='https', netloc='www.baidu.com', path='/index.html', params='user', query='id=5', fragment='comment')

可以看到,解析结果是一个ParseResult类型的对象,包含6部分,分别是scheme、netloc、path、params、query 和fragment。

再观察一下上述实例中的 URL:
https://www.baidu.com/index.html;user?id=5#comment

可以发现,urlparse 方法在解析URL时有特定的分隔符。例如://前面的内容就是 scheme,代表协议。第一个/符号前面便是netloc,即域名;后面是path,即访问路径。分号;后面是params,代表参数。问号?后面是查询条件query,一般用作GET类型的URL。井号#后面是锚点 fragment,用于直接定位页面内部的下拉位置。

接下来’看—下它的API用法:

urllib.parse.urlparse(urlstring,scheme='',allow_fragments=True)

可以看到,urlparse方法有3个参数。

urlstring:这是必填项,即待解析的 URL。
scheme:这是默认的协议(例如 http 或 https 等 )。如果待解析的 URL 没有带协议信息,就会将这个作为默认协议。
allow_fragments:是否忽略fragment。如果此项被设置为False,那么 fragment 部分就会被忽略,它会被解析为 path、params 或者 query 的一部分,而 fragment 部分为空。

5、urlunparse

有了urlparse 方法,相应就会有它的对立方法urlunparse,用于构造 URL。这个方法接收的参数是一个可选代对象,其长度必须是6,否则会抛出参数数量不足或者过多的问题。

先用一个实例看一下:

from urllib.parse import urlunparse
data =['https','www.baidu.com', 'index.html','user', 'a-6','comment']
print(urlunparse(data))

这样我们就成功实现了URL的构造

https://www.baidu.com/index.html;user?a-6#comment

这里参数 data用了列表类型。当然,也可以用其他类型,例如元组或者特定的数据结构。

📢文章下方有交流学习区!一起学习进步!💪💪💪
📢首发CSDN博客,创作不易,如果觉得文章不错,可以点赞👍收藏📁评论📒
📢你的支持和鼓励是我创作的动力❗❗❗

精通 Python 网络爬虫:核心技术、框架与项目实战 内容简介 本书从技术、工具与实战3个维度讲解了 Python 网络爬虫: 技术维度:详细讲解了 Python 网络爬虫实现的核心技术,包括网络爬虫的工作原理、如何用 urllib 库编写网络爬虫、爬虫的异常处理、正则表达式、爬虫中 Cookie 的使用、爬虫的浏览器伪装技术、定向爬取技术、反爬虫技术,以及如何自己动手编写网络爬虫; 工具维度:以流行的 Python 网络爬虫框架 Scrapy 为... 阅读详情

相关推荐

川川本人著作《Python网络爬虫入门到实战》

🔥 《Python网络爬虫入门到实战》 🔥 书籍介绍

全栈川川 4109

pythonurllib爬虫教学_urllib爬虫(流程+案例)

网络爬虫是一种按照一定规则自动抓取万维网信息的程序。在如今网络发展,信息爆炸的时代,信息的处理变得尤为重要。而这之前就需要获取到数据。有关爬虫的概念可以到网上查看详细的说明,今天在这里介绍一下使用urllib进行网络爬虫的方法使用,在最后的一个案例中把最基本的爬虫要素运用进去,可以作为初学者的一个模板,读懂它进行适当修改就可以使用。以我的经验来看,在编程上对于陌生的简单的东西,最快的学习方法就是从...

weixin_36281055的博客 1242

【Python入门】7天速成Python网络爬虫高手,urllib从零基础到实战只需一篇

恭喜你,已经完成了Python网络爬虫的基础学习!通过今天的讲解,你应该已经掌握了如何使用urllib发送GET和POST请求、处理HTTP错误、解析HTML内容、处理Cookies和重定向。这些技能不仅能够帮助你在工作中提高效率,还能让你在朋友面前显得特别酷。所以,赶紧动手试试吧,也许你下一个爬虫项目就是用urllib开发的呢!

java专栏 1182

python爬虫指南之请求模块urllib的详细教程

在实现网络爬虫的爬取工作时,就必须使用网络请求,只有进行了网络请求才可以对响应结果中的数据进行提取,urllib模块是python自带的网络请求模块,无需安装,导入即可使用。下面将介绍如果使用python中的urllib模块实现网络请求。

2301_80240808的博客 2410

python爬虫实例教程

python网络爬虫实战 pdf是一本由胡松涛所著的python教程工具书,作者以大量实例为基础详细介绍了网络爬虫的编写全过程,非常适合Python网络爬虫初学者以及相关专业师生使用! python网络爬虫实战电子书介绍 《Python 网络爬虫实战》从Python的安装开始,详细讲解了Python从简单程序延伸到Python网络爬虫的全过程。本书从实战出发,根据不同的需求选取不同的爬虫,有针对性地讲解了几种Python网络爬虫。 本书共8章,涵盖的内容有Python语言的基本语法、Python常用IDE的使用、Python第三方模块的导入使用、Python爬虫常用模块、Scrapy爬虫、Beautiful Soup爬虫、Mechanize模拟浏览器和Selenium模拟浏览器。

S32K144 LPI2C Master/Slave模式配置与多设备通信实战

本文详细介绍了NXP S32K144微控制器中LPI2C模块的主从模式配置与多设备通信实战。内容涵盖硬件连接、引脚配置、主从模式深度设置、中断/DMA应用,并通过AT24C16 EEPROM、SHT30传感器等实例,解析了多设备通信中的地址切换、时序控制及常见问题排查技巧,帮助开发者高效实现基于LPI2C的稳定通信。

weixin_29158047的博客 271

python爬虫入门之urllib库的基本使用(附实战训练 爬取内容)

python爬虫入门之urllib库的基本使用 爬取了笔趣阁中斗罗大陆的全部内容 对urllib库中基本内容及模块进行了详细的介绍

showswoller的博客 866

Globus数据下载全攻略:从零配置到批量下载大文件(附常见问题解决)

本文详细介绍了Globus数据下载的全流程,从零配置到批量下载大文件的实用技巧,包括环境准备、高级传输策略、性能优化及常见问题解决方案。Globus作为科研数据的高效传输工具,通过并行流传输和自动校验技术,显著提升大规模数据传输的效率和可靠性。

u9v0w的博客 664

Python3网络爬虫(一):利用urllib进行简单的网页抓取

运行平台:Windows10 Python版本:Python3.x IDE:Sublime text3

Jack-Cui 22万+

从宏观到街道:如何利用七普数据为WorldPop人口栅格做“本地化”校准?

本文探讨了如何利用第七次全国人口普查(七普)数据对WorldPop人口栅格进行本地化校准,以提高街道级别的人口分布精度。通过分析数据偏差、选择适当的技术路线和工具(如Arcgis和栅格计算器),文章详细介绍了从宏观到街道的校准实践,帮助规划公共卫生资源和优化城市基础设施。

janckywong963的专栏 515

matlab锅炉 pid仿真,基于Matlab锅炉仿真.doc

基于Matlab锅炉仿真内蒙古科技大学MATLAB课程设计任务书2012题 目:锅炉汽包水位控制系统学生姓名:林三彪学 号:0967112127专 业:测控技术与仪器班 级:2009-1指导教师:梁 丽摘 要锅炉是化工、炼油、发电、造纸和制糖等工业生产过程中必不可少的重要动力设备。锅炉往往成了不少工厂不可缺少的一部分,因而,对锅炉设备中的自动控制系统进行分析研究是必要的...

weixin_29133981的博客 1096

Python爬虫之urllib学习

urllib简单基础学习

qq_61529681的博客 1219

保姆级教程:手把手教你用CANoe/CANalyzer读取汽车故障码(UDS 0x19服务实战)

本文提供了一份详细的CANoe/CANalyzer使用教程,指导如何通过UDS 0x19服务读取汽车故障码。从硬件配置到报文构建,再到故障码解析,手把手教你完成汽车诊断全流程,特别适合汽车电子工程师和诊断开发人员。

weixin_42524945的博客 264

python网络爬虫实战教学——urllib的使用(1)

首先介绍一个Python库叫作urllib,利用它就可以实现HTTP请求的发送,而且不需要关心HTTP协议本身甚至更底层的实现,我们要做的是指定请求的URL`请求头`请求体等信息。此外urlljb还可以把服务器返回的响应转化为Python对象,我们通过该对象便可以方便地获取响应的相关信息’如响应状态码、响应头、响应体等。

阿极的博客 9383

通过HTTP的方式克隆GitHub上的项目

通过HTTP的方式克隆GitHub上的项目 打开想要下载的项目的网页链接,点击Clone or download绿色的按钮,进行如下步骤实现通过HTP的方式下载项目。 点击红色框圈出的位置: 打开想要存放项目的文件夹,在空白处点击鼠标右键,选择Git Bash Here,打开命令行。 输入git clone 复制的下载地址,回车进行下载。 4.正在下载的界面 5.下载完成。 技多不压身 哦耶✌✌✌ ...

weixin_37826412的博客 3206

MyBatis-Plus 实战:敏感字段自动加解密支持模糊查询

本文基于MyBatis-Plus框架提出了一种全链路敏感字段加密方案。通过自定义TypeHandler实现数据入库自动加密和查询自动解密,结合重写LambdaQueryWrapper处理查询条件加密,并适配多种查询方式。方案核心包括:1)AESUtil工具类提供加解密基础能力;2)EncryptTypeHandler实现字段类型转换;3)实体类通过注解配置加密字段。该方案在保证数据安全的同时,对业务代码侵入性小,支持姓名、手机号等敏感信息的全流程加密处理,满足系统开发的安全需求。

蔡定努 596

网络爬虫——urllib(5)

❤️❤️❤️上一篇我们讲解有关ajax的相关案例,下面我们来学习新的关于urllib的知识。

冷兮雪的博客 4501

国科大学习资料--高级软件工程-复习题概念解释答案

国科大学习资料–高级软件工程(罗铁坚 魏峻 刘丹)-复习题概念解释答案 1. 敏捷开发方法与Scrum方法 a.敏捷是一种强调轻量的过程方法论,它强调拥抱变化而不是与之对抗,通过有效的沟通发挥群体的智慧。敏捷方法采用迭代/增量开发的过程模型。敏捷宣言是:个体和交互高于流程和工具;工作的软件高于详尽的文档;客户合作高于合同谈判;响应变化高于遵循计划。 虽然右边的也有价值,但是认为左边的更有价值。 b.Scrum(Schwaber和Beedle)是管理两个披萨规模(4-9人)的软件开发团队的方法,它高频率的短会

无名何许人的博客 1444

python网络爬虫实战教学——urllib的使用(3)

urlsplit:该方法用于将URL分解为不同的组件,如协议、网络位置、路径、参数和片段,方便单独处理这些部分。 urlunsplit:与urlsplit相反,该方法将URL的各个组件重新组合成一个完整的URL字符串。 urljoin:用于将基础URL与相对或绝对URL合并,生成一个完整的URL。它在处理相对路径或构建URL时非常有用。 urlencode:该方法将字典或键值对编码为适用于URL查询字符串的格式。它通常用于对包含特殊字符的数据进行编码,以确保URL的正确性和可读性。

阿极的博客 9363

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

【Python 网络爬虫】使用 urllib 爬取网页源码、图片和视频

本文主要介绍了使用urllib结合基础知识爬取网页源代码,图片和视频。

小发菜 5011

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

4.Python网络爬虫—使用Urllib库爬取数据

Urllib是Python的一个内置库,专门用于处理HTTP请求。这个库包含四个主要模块:request:这是Urllib库中最基本的HTTP请求模块。使用该模块,你可以模拟发送各种HTTP请求,如GET、POST等。它允许你通过编程方式与Web服务器进行交互,获取或上传数据。error:此模块负责处理在HTTP请求过程中可能出现的错误。如果在请求过程中遇到问题,比如网络连接失败、服务器返回错误代码等,error模块可以帮助你捕获这些异常,并据此采取相应的措施,例如重新发送请求或者输出错误信息。

weixin_63740705的博客 1135

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

python网络爬虫(urllib,urllib,requests,bs4)

python网络爬虫一、网络爬取的概述与分类1、网络爬虫的概述2、网络爬虫的分类3、网络爬虫的基本原理二、网络爬取的基本技术1、网络的基本请求(1)、urllib模块(2)、urllib3模块(3)、requests模块2、请求头部处和超时处理3、代理服务4、HTML解析之BeautifulSoup 一、网络爬取的概述与分类 1、网络爬虫的概述 网络爬虫是指按照指定的规则,自动流量或抓取互联网中的信息。 2、网络爬虫的分类 通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫 3、网络爬虫的基本原理

giun的博客 1322

Python网络爬虫技术一课一得

为了帮助开发人员抓取静态网页数据,减少开发时间,Python提供了一些功能齐全的库,包括。

2403_89628952的博客 1627

Python网络爬虫入门

Python网络爬虫入门 网络爬虫(web crawler),也叫网络蜘蛛(Web Spider)、网络机器人(Internet Bot)。简单地说,抓取万维网(World Wide Web)上所需要的数据的程序就叫网络爬虫。 网络爬虫常见分类: 通用网络爬虫(General Purpose Web Crawler)又称全网爬虫(Scalable Web Crawler)爬行对象从一些种子 URL 扩充到整个 Web,主要为门户站点搜索引擎和大型 Web 服务提供商采集数据。这类网络爬虫的爬行范围

cnds123的专栏 3143

网络爬虫之urllib库

网络爬虫是获取和利用网页数据的重要工具。在Python中,urllib库是一个强大的工具,可以帮助我们轻松地构建简单的网络爬虫。通过使用urlopen函数,我们可以获取网页的内容,并使用try/except语句处理可能出现的异常。虽然urllib库本身不提供HTML解析功能,但我们可以结合其他库如BeautifulSoup来提取我们感兴趣的信息。通过学习urllib库,我们可以深入了解网络爬虫的基本原理和工作方式。

zwkkkhhh的博客 1555

Python网络爬虫 urllib3 入门这篇就够了

urllib3是一个功能强大且易于使用的Python HTTP库,主要用于发送HTTP请求和处理HTTP响应。它是urllib和urllib2的后续版本,设计用于支持HTTP 1.1标准,并提供了许多高级功能和选项,使得在Python中进行HTTP通信变得更加简单和灵活。urllib3的主要功能和特点包括:支持HTTP和HTTPS协议:urllib3支持HTTP和HTTPS协议的请求,可以方便地发送GET、POST、PUT、DELETE等各种类型的请求。

制定持续可量化的目标,不断坚持。 2022
上一篇: python网络爬虫实战教学——urllib的使用(1)
下一篇: python网络爬虫实战教学——urllib的使用(3)
i阿极
i阿极 优质创作者: 大数据技术领域 优质创作者: 大数据技术领域
博客等级 码龄5年 4万+粉丝 165原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

i阿极

你的鼓励是我创作最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值