「Python爬虫系列讲解」四、BeautifulSoup 技术

网络爬虫——python爬取豆瓣评论 网络爬虫,又被称为网络蜘蛛(Web Spider)、网络机器人等。它根据网页地址(URL)爬取网页内容,网页地址(URL)就是我们在浏览器中输入的网站链接。例如:https://www.baidu.com;网络爬虫不仅能够复制网页信息和下载音视频,还可以做到网站的模拟登录和行为链执行。由于需要爬取的网站大多需要先登录才能正常访问,或者需要登录后的cookie值才能继续爬取,所以需要对网站模拟登录。有些网站设置了Referer防盗链,所以需要执行网页浏览行为链。 阅读详情

本专栏是以杨秀璋老师爬虫著作《Python网络数据爬取及分析「从入门到精通」》为主线、个人学习理解为主要内容,以学习笔记形式编写的。
本专栏不光是自己的一个学习分享,也希望能给您普及一些关于爬虫的相关知识以及提供一些微不足道的爬虫思路。
专栏地址:Python网络数据爬取及分析「从入门到精通」
更多爬虫实例详见专栏:Python爬虫牛刀小试

前文回顾:
「Python爬虫系列讲解」一、网络数据爬取概述
「Python爬虫系列讲解」二、Python知识初学 
「Python爬虫系列讲解」三、正则表达式爬虫之牛刀小试


目录

1 安装及导入 BeautifulSoup

2 快速开始 BeautifulSoup 解析

2.1 BeautifulSoup 解析 HTML​

2.2 简单获取网页标签信息

2.3 定位标签并获取内容

3 深入了解 BeautifulSoup

3.1 BeautifulSoup 对象

3.1.1 Tag

3.1.2 NavigableString

​ 3.1.3 BeautifulSoup

3.1.4 Comment

3.2 遍历文档树

3.2.1 子节点

3.2.2 节点内容

3.2.3 父节点

3.2.4 兄弟节点

3.2.5 前后节点

3.3 搜索文档树

4 本文总结


1 安装及导入 BeautifulSoup

BeautifulSoup 是一个可以从 HTML 或 XML 文件中提取数据的 Python 扩展库,是一个分析 HTML 或 XML 文件的解析器。它通过核实的转换器实现文档导航、查找、修改文档等功能;可以很好地处理不规范标记并生成剖析树(Parse Tree);提供的导航功能(Navigation)可以简单、快速地搜索剖析树以及修改剖析树。

BeautifulSoup 技术通常用于分析网页结构,爬取相应的 Web 文档,对于不规则的 HTML 文档提供一定的补全功能,从而节省开发者的时间和精力。

在 Python 3.x 中安装 BeautifulSoup 主要利用 pip 命令。

pip install BeautifulSoup4

注:BeautifulSoup 有两个常用版本:BeautifulSoup 3(已停止开发)和 BeautifulSoup 4(简称bs4)

BeautifulSoup支持 Python 标准库中的 HTML 解析器,还支持一些第三方的解析器:

其中一个是 lxml

pip install lxml

另一个可供选择的解析器是纯 Python 实现的 html5lib

pip install html5lib
BeautifulSoup 官方文档中主要的解析器及其优缺点

安装成功后,在程序中导入 BeautifulSoup 库方法如下

from bs4 import BeautifulSoup

2 快速开始 BeautifulSoup 解析

首先引入一个 html 文件作为例子介绍 BeautifulSoup 的使用

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>BeautifulSoup 技术</title>
</head>
<body>
<p class="title"><b>静夜思</b></p>
<p class="content">
    床前明月光,<br/>
    疑是地上霜。<br/>
    举头望明月,<br/>
    低头思故乡。<br/>
</p>
<p class="other">
    李白(701年-762年) ,字太白,号青莲居士,又号“谪仙人”,
    唐代伟大的浪漫主义诗人,被后人誉为“诗仙”,与
    <a href="https://baike.baidu.com/item/%E6%9D%9C%E7%94%AB/63508" class="poet" id="link1">杜甫</a>
    并称为“李杜”,为了与另两位诗人
    <a href="https://baike.baidu.com/item/%E6%9D%8E%E5%95%86%E9%9A%90/74852" class="poet" id="link2">李商隐</a>
    与<a href="https://baike.baidu.com/item/%E6%9D%9C%E7%89%A7" class="poet" id="link3">杜牧</a>
    即“小李杜”区别,杜甫与李白又合称“大李杜”。
    据《新唐书》记载,李白为兴圣皇帝(凉武昭王李暠)九世孙,与李唐诸王同宗。
    其人爽朗大方,爱饮酒作诗,喜交友。
</p>
</body>
</html>

 通过浏览器打开网页,如下图所示:

2.1 BeautifulSoup 解析 HTML

# 通过解析HTML代码,创建一个 BeautifulSoup 对象,然后调用 prettify() 函数格式化输出网页
from bs4 import BeautifulSoup

html = '''
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>BeautifulSoup 技术</title>
</head>
<body>
<p class="title"><b>静夜思</b></p>
<p class="content">
    床前明月光,<br/>
    疑是地上霜。<br/>
    举头望明月,<br/>
    低头思故乡。<br/>
</p>
<p class="other">
    李白(701年-762年) ,字太白,号青莲居士,又号“谪仙人”,
    唐代伟大的浪漫主义诗人,被后人誉为“诗仙”,与
    <a href="https://baike.baidu.com/item/%E6%9D%9C%E7%94%AB/63508" class="poet" id="link1">杜甫</a>
    并称为“李杜”,为了与另两位诗人
    <a href="https://baike.baidu.com/item/%E6%9D%8E%E5%95%86%E9%9A%90/74852" class="poet" id="link2">李商隐</a>
    与<a href="https://baike.baidu.com/item/%E6%9D%9C%E7%89%A7" class="poet" id="link3">杜牧</a>
    即“小李杜”区别,杜甫与李白又合称“大李杜”。
    据《新唐书》记载,李白为兴圣皇帝(凉武昭王李暠)九世孙,与李唐诸王同宗。
    其人爽朗大方,爱饮酒作诗,喜交友。
</p>

'''

# 按照标准的所进行时的结构输出
soup = BeautifulSoup(html)
print(soup.prettify())

值得指出的是,前面定义的 HTML 代码源码标签中是缺少结束标签的,具体而言,缺少 </body> 和 </html> 标签,但是使用 prettify() 函数输出的结果已经自动补齐了结束标签,这是 BeautifulSoup 的一个优点。

BeautifulSoup 即使得到了一个损坏的标签,也会产生一个 DOM 树,并尽可能与原文档内容的含义一致,这种措施通常能够帮助用户更正确地搜集数据。

另外,还可以用本地 HTML 文件来创建 BeautifulSoup 对象

soup = BeautifulSoup(open('t.html'))

2.2 简单获取网页标签信息

当使用 BeautifulSoup 解析网页时,有时会想获取某个标签之间的信息,具体代码如下

from bs4 import BeautifulSoup

# 创建本地文件 soup 对象
soup = BeautifulSoup(open('t.html', encoding='utf-8'), "html.parser")

# 获取标题
title = soup.title
print('标题:', title)

# 获取头部
head = soup.head
print('头部:', head)

# 获取 a 标签
a = soup.a
print('超链接内容:', a)

# 获取 p 标签
p = soup.p
print('超链接内容:', p)

2.3 定位标签并获取内容

下述代码将实现获取网页所有的超链接标签及对应的 URL 内容

from bs4 import BeautifulSoup

# 创建本地文件 soup 对象
soup = BeautifulSoup(open('t.html', encoding='utf-8'), "html.parser")

# 从文档中找到 <a> 的所有标签链接
for a in soup.find_all('a'):
    print(a)

# 获取 <a> 的超链接
for link in soup.find_all('a'):
    print(link.get('href'))

# 获取文字内容
for poeter in soup.find_all('a'):
    print(poeter.get_text())

3 深入了解 BeautifulSoup

3.1 BeautifulSoup 对象

BeautifulSoup 将复杂的 HTML 文档个转换成一个树形结构,每个节点都是 Python 对象,BeautifulSoup  官方文档将所有对象总结为 4 种:

  • Tag;
  • NavigableString;
  • BeautifulSoup;
  • Comment。

3.1.1 Tag

Tag 对象表示 XML 或 HTML 文档中的标签,通俗地将就是 HTML 中的一个标签,该对象与 HTML 或 XML 原生文档中的标签相同。 Tag 有很多方法和属性,BeautifulSoup 中定义为 Soup.Tag,其中 Tag 为 HTML 中的标签,比如 head、title 等,其返回结果完整的标签内容,包括标签的属性和内容等。

<title>BeautifulSoup 技术</title>
<p class="title"><b>静夜思</b></p>
<a href="https://baike.baidu.com/item/%E6%9D%9C%E7%89%A7" class="poet" id="link3">杜牧</a>

例如上述代码中,title、p、a 等都是标签,起始标签(<title>、<p>、<a>)和结束标签(</title>、</p>、</a>)之间加上内容就是 Tag。标签获取方法代码如下

from bs4 import BeautifulSoup

# 创建本地文件 soup 对象
soup = BeautifulSoup(open('t.html', encoding='utf-8'), "html.parser")

print(soup.title)
print(soup.head)
print(soup.p)
print(soup.a)

值得注意的是,它返回的内容是多有标签中第一个符合要求的标签

很显然,通过 BeautifulSoup 对象即可轻松获取标签和标签内容,这比第三讲中的正则表达式要方便得多。

# 该段代码输出的是该对象的类型,即Tag对象
from bs4 import BeautifulSoup

# 创建本地文件 soup 对象
soup = BeautifulSoup(open('t.html', encoding='utf-8'), "html.parser")

print(type(soup.html))

Tag 属性和方法众多,其中最重要的两个属性:name 和 attrs。

(1)name

name 属性用于获取文档树的标签名字。如果想获取 head 标签名字,则使用 soup.head.name 代码即可。对于内部标签,输出的值便为标签本身的名字。BeautifulSoup 对象本是比较特殊,它的 name 为 document。

print(soup.name)
print(soup.head.name)
print(soup.title.name)

(2)attrs

一个标签(Tag)可能有多个属性,例如

<a href="https://baike.baidu.com/item/%E6%9D%9C%E7%94%AB/63508" class="poet" id="link1">杜甫</a>

它存在两个属性:一个是 class 属性,对应的值为“poet”;另一个是 id 属性,对应的值为“link1”。Tag 属性的操作方法与 Python 字典相同,获取 p 标签的所有属性代码如下,得到一个字典类型的值。它获取的是第一个段落 p 的属性及属性值。

print(soup.p.attrs)

如果要单独获取某个属性,则可以使用如下两种方法来获取超链接的 class 属性值。

print(soup.a['class'])
print(soup.a.get('class'))

BeautifulSoup 的每个标签 Tag 可能有多个属性,可以通过 “.attrs” 获取其属性。Tag 的属性可以被修改、删除、添加。
下面举个简单的例子进行介绍:

# 该段代码输出的是该对象的类型,即Tag对象
from bs4 import BeautifulSoup

# 创建本地文件 soup 对象
soup = BeautifulSoup('<b class="test" id="zzr">荣仔</b>', "html.parser")

tag = soup.b
print(tag)
print(type(tag))

# NAME
print(tag.name)
print(tag.string)

# Attributes
print(tag.attrs)
print(tag['class'])
print(tag.get('id'))

# 修改属性,增加属性name
tag['class'] = 'abc'
tag['id'] = '1'
tag['name'] = '2'
print(tag)

# 删除属性
del tag['class']
del tag['name']
print(tag)
# print(tag['class']) # 此语句会报错

3.1.2 NavigableString

前面介绍了如何获取标签的 name 和 attrs,如果想获取标签对应的内容,可以使用 string 属性获取。

from bs4 import BeautifulSoup

# 创建本地文件 soup 对象
soup = BeautifulSoup(open('t.html', encoding='utf-8'), "html.parser")

print(soup.a['class'])
print(soup.a.string)

由上述代码可以看出,利用 string 属性获取标签 <> 和 </> 之间的内容要比利用正则表达式方便得多。

BeautifulSoup 用 NavigableString 类来包装 Tag 中的字符串,其中,NavigableString 表示可遍历的字符串。一个 NavigableString 字符串与 Python 中的 Unicode 字符串相同,并且支持包含在遍历文档树和搜索文档树中的一些特性。

# 该段代码用来查看 NavigableString 的类型
from bs4 import BeautifulSoup

# 创建本地文件 soup 对象
soup = BeautifulSoup(open('t.html', encoding='utf-8'), "html.parser")

tag = soup.title
print(type(tag.string))

 
当然,通过 unicode() 方法可以直接将 NavigableString 对象转化成 Unicode 字符串。

from bs4 import BeautifulSoup

# 创建本地文件 soup 对象
soup = BeautifulSoup(open('t.html', encoding='utf-8'), "html.parser")

tag = soup.title
unicode_string = tag.string
print(unicode_string)

 最后再说明一点,标签中包含的字符串不能编辑,但是可以被替换成其他的字符串,用 replace_with() 方法即可实现

tag.string.replace("替换前的内容", " 替换后的内容 ")
from bs4 import BeautifulSoup

# 创建本地文件 soup 对象
soup = BeautifulSoup(open('t.html', encoding='utf-8'), "html.parser")

tag = soup.title
unicode_string = tag.string
print(unicode_string)
a = tag.string.replace("BeautifulSoup 技术", " NavigableString ")
print(a)

 
3.1.3 BeautifulSoup

BeautifulSoup 对象表示的是一个文档的全部内容,通常情况下把它当做 Tag 对象。 BeautifulSoup 对象支持遍历文档树和搜索文档树中描述的大部分方法。

type(soup)
# <class 'bs4.BeautifulSoup'>

上述代码为调用 type() 函数查看 soup 变量的数据类型,即为 BeautifulSoup 对象类型。因为 BeautifulSoup 对象并不是真正的 HTML 和 XML 标签 Tag,所以它没有 name  和 attrs 属性。

但有时候查看 BeautifulSoup 对象的 “.name ” 属性是很方便的,因为其包含了一个值为“[ document ]”的特殊属性——soup.name。

soup.name
# [document]

3.1.4 Comment

 Comment 对象是一个特殊类型的 NavigableString 对象,用于处理注释对象。

# 本段代码用于读取注释内容
from bs4 import BeautifulSoup

markup = "<b><!--This is comment code.--></b>"
soup = BeautifulSoup(markup, "html.parser")
comment = soup.b.string
print(type(comment))
print(comment)

3.2 遍历文档树

 在 BeautifulSoup 中,一个标签可能包含多个字符串或其他的标签,这些称为该标签的子标签。

3.2.1 子节点

在 BeautifulSoup 中通过 contents 值获取标签的子节点内容,并以列表的形式输出。

# 本段代码用于获取 <head> 标签子节点内容
from bs4 import BeautifulSoup

# 创建本地文件 soup 对象
soup = BeautifulSoup(open('t.html', encoding='utf-8'), "html.parser")

print(soup.head.contents)

 由于 <title> 和 </title> 之间存在两个换行,所以获取的列表包括两个换行,如果需要提取某个元素,代码如下

print(soup.head.contents[3])

当然,也可以使用 children 关键字获取,但它返回的不是一个列表,而是可以通过遍历的方法获取所有子节点的内容

print(soup.head.children)
for child in soup.head.children:
    print(child)

前面介绍的 contents 和 children 属性仅包含标签的直接子节点,如果需要获取 Tag 的所有子节点,甚至是子孙节点,则需要使用 descendants 属性。

for child in soup.descendants:
    print(child)

 很显然,所有的 HTML 标签都打印出来了。 

3.2.2 节点内容

如果标签只有一个子节点,且需要获取该子节点的内容,则使用 string 属性输出子节点的内容,通常返回嘴里层的标签内容。

# 本段代码用于获取标题内容
from bs4 import BeautifulSoup

# 创建本地文件 soup 对象
soup = BeautifulSoup(open('t.html', encoding='utf-8'), "html.parser")

print(soup.head.string)
print(soup.title.string)

 从上述代码可以看出,当标签含有多个子节点时(<head>内容包括两个换行元素),Tag 就无法确定 string 获取那个子节点的内容,此时输出的结果就是 None 。

若需要获取多个节点内容,则使用 strings 属性

for content in soup.strings:
    print(content)

 这时我们发现一个问题,就是包含过多的空格或者换行,此时就需要使用 stripped_strings 方法去除多余的空白内容

for content in soup.stripped_strings:
    print(content)

3.2.3 父节点

调用 parent 属性定位父节点,如果需要获取节点的标签名则使用 parent,name 。

p = soup.p
print(p.parent)
print(p.parent.name)

content = soup.head.title.string
print(content.parent)
print(content.parent.name)

如果需要获取所有的父节点,则使用 parents 属性循环获取

content = soup.head.title.string
for parent in content.parents:
    print(parent.name)

3.2.4 兄弟节点

兄弟节点是指和本节点位于同一级的节点,其中,next_sibling 属性是获取该节点的下一个兄弟节点,precious_sibling 则与之相反,取该节点的上一个兄弟节点,如果节点不存在,则返回 None。

print(soup.p.next_sibling)
print(soup.p.precious_sinling)



值得注意的是,实际文档中 Tag 的 next_sibling 和 previous_sibling 属性通常都是字符串或者空白,因为空白或者韩航也可以被视作一个节点,所以可到的结果可能是空白或换行。

3.2.5 前后节点

调用属性 next_element 可以获取下一个节点,调用属性 precious_element 可以获取上一个节点。

print(soup.p.next_element)
print(soup.p.precious_element)

3.3 搜索文档树

对于搜索文档树,最常用的方法是 find_all() 方法。

如果行从网页中得到所有的 <a> 标签,则使用 find_all() 方法的代码如下

urls = soup.find_all('a')
for url in urls:
    print(url)

同样,该函数支持传入正则表达式作为参数,BeautifulSoup 会通过正则表达式的 match() 来匹配内容。
下面代码示例是找出所有以 b 开头的标签:

import re

for tag in soup.find_all(re.compile("^b")):
    print(tag.name)



同样,如果想过去标签 a 和标签 b 的值,则可以使用下面的函数 

soup.find_all(["a", "b"])

注意:fina_all() 函数是可以接收参数进行指定节点查询的

soup.find_all(id="link1")

同样,也可以接受多个参数,比如:

soup.find_all("a", class_="poet")   # 得到一个列表

至此,整个 BeautifulSoup 技术已经讲完,可以看出其比前面的正则表达式方便很多,而其爬取的函数也只能很多。 

4 本文总结

BeautifulSoup 是一个可以从 HTML 或 XML 文件中提取所需数据的 Python 库,这里把它看作是一种技术。一方面,BeautifuSoup 具有智能化爬取网页信息的强大功能,对比前面的正则表达式爬虫,其具有较好的便捷性和适用性,通过在途整个网页文档并调用相关函数定位所需信息的节点,再爬取相关内容;另一方面,BeautifulSoup 适用起来比较简单,API 非常人性化,采用类似于 XPath 的分析技术定位标签,并且支持 CSS 选择器,开发效率相对较高,被广泛应用于 Python 数据爬取领域。


欢迎留言,一起学习交流~

感谢阅读

END

Python 网络爬虫高阶用法 通过学习本文的内容,读者应掌握 Python 网络爬虫的高级用法,并能够应对反爬虫机制、抓取动态网页、实现分布式和异步爬虫。网络爬虫技术在数据抓取、信息采集等方面有着广泛的应用,掌握这些技能将大大提升数据处理和分析的效率。 阅读详情

相关推荐

Python网络爬虫与信息提取(实例讲解)

下面小编就为大家带来一篇Python网络爬虫与信息提取(实例讲解)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧 课程体系结构: 1、Requests框架:自动爬取HTML页面与自动网络请求提交 2、robots.txt:网络爬虫排除标准 3、BeautifulSoup框架:解析HTML页面 4、Re框架:正则框架,提取页面关键信息 5、Scrapy框架:网络爬虫原...

python爬虫开发教程 7682

「Python爬虫系列讲解」五、用 BeautifulSoup 爬取电影信息

本专栏是以杨秀璋老师爬虫著作《Python网络数据爬取及分析「从入门到精通」》为主线、个人学习理解为主要内容,以学习笔记形式编写的。 本专栏不光是自己的一个学习分享,也希望能给您普及一些关于爬虫的相关知识以及提供一些微不足道的爬虫思路。专栏地址:Python网络数据爬取及分析「从入门到精通」 更多爬虫实例详见专栏:Python爬虫牛刀小试 前文回顾:「Python爬虫系列讲解」一、网络数据爬取概述「Python爬虫系列讲解」二、Python知识初学「Python爬虫系列讲解」三、正则表达式爬虫之..

闭关修炼——暂退 7014

Python 网络爬虫进阶教学全指南

本次博客将深入探究 Python 网络爬虫的核心知识与实用技巧,引领大家从入门迈向精通

安年的小小博客有大大的梦想 4032

python的BeautifulSoup库怎么用(详细教程)

以上就是一个比较详细的 BeautifulSoup 教程,包括安装、基本用法和一些高级应用。BeautifulSoup 可以帮助我们方便地解析 HTML 和 XML 文档,并从中提取所需的信息,是 Python 网络爬虫开发中常用的工具之一。

qq_40860747的博客 1万+

什么是网络爬虫

又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。网络爬虫可以根据指定的规则,从互联网上下载网页、图片、视频等内容,并抽取其中的有用信息进行处理。网络爬虫的工作流程包括获取网页源代码、解析网页内容、存储数据等步骤。根据其目的和工作方式的不同,网络爬虫可以分为多种类型。常见的网络爬虫包括通用爬虫、聚焦爬虫、增量式爬虫等。

2301_79903190的博客 2489

Python 网络爬虫入门全知道

Python 网络爬虫入门全知道

安年的小小博客有大大的梦想 2744

【Python爬虫框架】爬虫必备!教你如何使用Beautiful Soup解析网页

Beautiful Soup库是一个Python库,用于从HTML和XML文档中提取数据。它能够自动将输入文档转换为Unicode编码,因此你不必担心编码问题。此外,它还能够处理坏的HTML和XML文档。在本文中,我们介绍了Beautiful Soup库的基本知识,包括解析HTML文档、使用CSS选择器查找元素以及从网页中提取数据。通过使用Beautiful Soup库,你可以轻松地从网页上提取数据,无论是从单个页面还是整个网站。希望这篇文章能够帮助你开始使用Beautiful Soup库,提取网页数据。

xiangxueerfei的博客 1847

Python网络爬虫技术:Scrapy与BeautifulSoup

Scrapy是一个基于Python的开源网络爬虫框架,提供了完整的爬虫解决方案,包括数据抓取、处理、存储等。Scrapy具有高度的可扩展性和灵活性,适用于爬取大规模数据。BeautifulSoup是一个用于解析HTML和XML文档的Python库,提供了简单易用的API,能够方便地提取文档中的数据。BeautifulSoup通常与requests库结合使用,适用于小规模、简单的爬虫任务。Scrapy和BeautifulSoup是Python网络爬虫技术中的两个重要工具,各自具有优缺点和适用场景。

shejizuopin的博客 1382

Python 爬虫:如何用 BeautifulSoup 爬取网页数据

本文介绍了如何使用 BeautifulSoup 爬取网页数据,并提供了详细的代码和注释。通过本文的学习,读者可以掌握如何使用 BeautifulSoup 解析 HTML 和 XML 文档,从而提取出需要的数据。同时,读者也可以将本文中的代码应用到其他网页数据的爬取中。

白帽阿叁的博客 1万+

Python-网络爬虫

网络爬虫(Web Spider)又称网络蜘蛛或网络机器人,是一段用来实现自动采集网站数据的程序。网络爬虫不仅能够为搜索引擎采集网络信息,而且还可以作为定向信息采集器,定向采集某些网站中的特定信息。对于定向信息的爬取,网络爬虫主要采取数据抓取、数据解析、数据入库的操作流程。(1)数据抓取:发送构造的HTTP请求,获得包含所需数据的HTTP响应;(2)数据解析:对HTTP响应的原始数据进行分析、清洗,以提取出所需要的数据;(3)数据入库:将数据进一步保存到数据库(或文本文件)中,用于构建知识库。

qq_42759120的博客 1769

Python 网络爬虫入门与实战

网络爬虫(Web Crawler)是自动访问网络并提取信息的程序。它可以模拟人类用户在浏览器中的行为,访问网页、抓取数据并存储到本地或数据库中。网络爬虫在信息检索、数据挖掘、搜索引擎等领域有广泛应用。Scrapy 是一个强大的爬虫框架,支持异步处理和数据存储。它适合大型爬虫项目,可以高效抓取和解析数据。yield item通过本文的学习,您应该对 Python 网络爬虫有了全面的了解。从基础的 Requests 库到高级的 Scrapy 框架,再到实战案例,涵盖了网络爬虫的方方面面。

985工科博士毕业,专攻定位、导航和滤波等算法研究。从业10年,主要使用MATLAB 2216

6.网络爬虫——BeautifulSoup详讲与实战

BeautifulSoup简介: Beautiful Soup 简称 BS4(其中 4 表示版本号)BeautifulSoup是一个Python库,用于从HTML和XML文件中提取数据。它提供了一些简单的方式来遍历文档树和搜索文档树中的特定元素。 BeautifulSoup可以解析HTML和XML文档,并将其转换为Python对象,使得我们可以使用Python的操作来进行数据提取和处理。它还可以处理不完整或有误的标记,并使得标记更加容易阅读。 BeautifulSoup是一个流行的Web爬虫工具,被广泛应用

weixin_50804299的博客 5482

[Python从零到壹] 五.网络爬虫之BeautifulSoup基础语法万字详解

欢迎大家来到“Python从零到壹”,在这里我将分享约200篇Python系列文章,带大家一起去学习和玩耍,看看Python这个有趣的世界。所有文章都将结合案例、代码和作者的经验讲解,真心想把自己近十年的编程经验分享给大家,希望对您有所帮助,文章中不足之处也请海涵。Python系列整体框架包括基础语法10篇、网络爬虫30篇、可视化分析10篇、机器学习20篇、大数据分析20篇、图像识别30篇、人工智能40篇、Python安全20篇、其他技巧10篇。您的关注、点赞和转发就是对秀璋最大的支持,知识无价人有情,希望

杨秀璋的专栏 1万+

网络爬虫是什么?怎么学python爬虫

网络爬虫又称网络蜘蛛、网络机器人,它是一种按照一定的规则自动浏览、检索网页信息的程序或者脚本。网络爬虫能够自动请求网页,并将所需要的数据抓取下来。通过对抓取的数据进行处理,从而提取出有价值的信息。

Itmastergo的博客 3万+

[Python从零到壹] 六.网络爬虫之BeautifulSoup爬取作者个人博客网站详解

前一篇文章讲述了BeautifulSoup技术,它是一个可以从HTML或XML文件中提取数据的Python库,一个分析HTML或XML文件的解析器,包括安装过程和基础语法。这篇文章将详细讲解 BeautifulSoup 爬取作者个人博客网站,通过案例的方式让大家熟悉Python网络爬虫,同时作者博客网站也是非常适合入门的案例,也能普及简单的预处理知识。 希望对您有所帮助

杨秀璋的专栏 2万+

HFSS之天线设计实例

目录 矩形微带天线 微带天线尺寸计算 微带线的3个关键指标如以下 HFSS设计流程 新建工程并设置求解类型 天线建模 添加求解设置和扫频设置 天线建模步骤 谐振点查看 优化设计 查看天线分析结果 3D增益 Smith圆图 S参数 驻波比 ​ 平面增益 方向性系数\增益\轴比 矩形微带天线 微带天线的概念首先是由Deschamps于1953年提出来的,经过20年左右的发展,Munson和Howell于20世纪70年代初期制造出来了实际的微带天线 一个简单的...

ASH_GUARDIAN的博客 1万+

Python 网络爬虫入门详解

什么是网络爬虫          网络爬虫又称网络蜘蛛,是指按照某种规则在网络上爬取所需内容的脚本程序。众所周知,每个网页通常包含其他网页的入口,网络爬虫则通过一个网址依次进入其他网址获取所需内容。 优先申明:我们使用的python编译环境为PyCharm   一、首先一个网络爬虫的组成结构: 爬虫调度程序(程序的入口,用于启动整个程序) url管理器(用于管理未爬取得url及已经爬...

Seven丶Echo的博客 11万+

医学影像分割入门:为什么U-Net至今仍是肝脏CT肿瘤分割的‘首选’?

本文探讨了U-Net在肝脏CT肿瘤分割中的持久优势,分析了其轻量化设计、对称架构和跳跃连接如何完美适配医学影像的小样本、高精度需求。通过对比实验和实战建议,揭示了U-Net在肝脏肿瘤分割任务中超越新模型的根本原因,并提供了PyTorch实现和部署技巧。

weixin_38166931的博客 518

Python课程设计《网络爬虫-中国大学排名课程设计》

网络爬虫(又称为网页蜘蛛,网络机器人,在FOFA社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 网络爬虫应用智能自构造技术,随着不同主题的网站,可以自动分析构造URL去重。网络爬虫使用多线程技术,让爬虫具备更强大的抓取能力。对网络爬虫的连接网络设置连接及读取时间,避免无限制的等待。为了适应不同需求,使网络爬虫可以根据预先设定的主题实现对特定主题的爬取。研究网络爬虫的原理并实现爬虫的相关功能,并将爬去

qq_62100487的博客 1万+

保姆级教程:用STM32CubeMX HAL库搞定ESP8266连接,附串口printf调试全流程

本文提供了一份详细的STM32CubeMX HAL库教程,指导开发者如何实现ESP8266无线模块的连接与调试。从开发环境搭建、串口配置到AT指令通信解析,涵盖了物联网开发中的关键步骤和常见问题解决方案,帮助开发者快速掌握STM32与ESP8266的集成技术。

weixin_28273593的博客 505

48、基于头部电信号和触觉的人机交互技术研究

本文探讨了基于头部电信号控制决策和触觉感知的人机交互技术。通过EEG信号采集与ANN模型(TDNN/PRNN)分析,实现对用户意图的识别;同时利用触觉传感接口识别操作员有意接触,提升人机协作安全性。研究涵盖系统设计、数据处理流程、实验结果及技术拓展方向,并展望了两种技术在工业、医疗与智能家居等领域的融合应用前景。

i1j2k的博客 102

网络爬虫技术概述

1、爬虫概述 1.1、什么是爬虫 网络爬虫,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。 通俗的讲,就是一种能够自动获取网页内容并可以按照指定规则提取相应内容的程序。 1.2、爬虫原理 那么网络爬虫是从哪抓取,又是按照怎么样的规则呢? 首先,我们需要了解URL。URL在日常网络中无处不在,www.baidu.com, www.taobao.com,简单来说,网络地址就是URL。网络爬虫就是从URL进行爬取。即爬虫的内容就是具体地址下的内容,如淘宝下的销售信息。 那么,是如何通过URL进行爬取

paccpjsystematic的博客 8092

华为OD机试2025C卷 - 字符串解密 (C++ & Python & JAVA & JS & GO)

华为OD机试 2025C卷 字符串解密,提供Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解

qq_45776114的博客 978
上一篇: 「Python爬虫系列讲解」三、正则表达式爬虫之牛刀小试
下一篇: 「Python爬虫系列讲解」五、用 BeautifulSoup 爬取电影信息
荣仔!最靓的仔!
荣仔!最靓的仔! 优质创作者: 人工智能技术领域 优质创作者: 人工智能技术领域
博客等级 码龄7年 10万+粉丝 164原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

荣仔!最靓的仔!

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值