
学习前置——环境(已配置环境可忽略)
Python在实现网络爬虫方面尤为流行,这得益于其强大的库支持和易于上手的特性。Python的简洁语法和丰富的第三方库使得即使是编程新手也能相对容易地开发出功能强大的爬虫程序。所以接下来我们使用Python来书写网络爬虫
但是,自古以来,环境的安装一直都是学习编程的大问题,哪怕是易于配置的Python也不例外。
你以为的编程可能是——咔咔咔一天写个几百上千行代码,酷;
实际的编程可能是——配个环境配个两三天都配不好,编程死在第一关。
所以配环境对于初学者真是绕不过去的坎,因此我们学习的第一步也就是配环境。
同时我这里提供两种环境配置方法供大家选择,如果大家仅仅是想尝试一下使用Python,我推荐按照配置方法一安装;如果想深入了解Python并想熟练使用它做比如数据分析,数据爬取等操作的话,我推荐使用配置方法二。我是按配置方法二进行的安装,所以后面主要按照Anaconda来进行演示。
配置方法一:下载Python编译器安装(体积小,轻量)
可参考以下链接,仅安装编译器
配置方法二:下载Anaconda安装(体积大,容量占用有5GB)
参考以下链接,无论是否安装Python编译器都可,自带了基本所有的Python环境
IDE(集成开发环境)推荐
非常非常非常不建议使用Python自带的IDLE编译器来写代码!!!
推荐使用Pycharm或者VSCode,新手建议使用Pycharm(当然老手用啥IDE都行),可以进入一下链接下载,一般社区版就够用了,如果专业开发可以用教育邮箱下专业版。
Python爬虫入门
当我们在讨论爬虫时,我们在讨论什么?
以一个简单的访问为例吧,当我们在浏览器中输入一个url后回车,后台会发生什么?就比如说你输入https://www.zhihu.com/people/bu-ru-shui-jue-32,你就会看到我的知乎个人主页。
简单来说这段过程发生了以下四个步骤:
- 查找域名对应的IP地址。(DNS解析)
- 向IP对应的服务器发送请求。(客户端请求)
- 服务器响应请求,发回网页内容。(服务端响应请求)
- 浏览器解析网页内容。(客户端收到请求)

网络爬虫要做的,简单来说,就是实现浏览器的功能。通过指定url,直接返回给用户所需要的数据,而不需要一步步人工去操纵浏览器获取。
同时为我们这里给出网络爬虫的定义:
网络爬虫(Web Crawler),这是一种自动浏览互联网并从网页中收集信息的软件程序。网络爬虫的核心功能是访问网页,读取网页内容,然后提取出我们需要的信息。这个过程通常涉及到发送网络请求、解析HTML代码、处理数据以及存储数据。
接下来,让我们来详细了解如何使用Python爬虫爬取数据。
书写一个Python爬虫程序
要求环境:requests模块,若无建议使用pip安装
requests 是一个非常流行的 Python HTTP 库,用于发送各种 HTTP 请求。它被设计得更加人性化,以简化 HTTP 请求的发送和处理。
- 获取响应对象
以百度为例,我们向百度(http://www.baidu.com/)发起请求,获取百度首页的 HTML 信息,代码如下:
#导包,发起请求使用requests请求模块
import requests
# 发送GET请求
response = requests.get('http://www.baidu.com/')
print(response)
上述代码会返回百度首页的响应对象, 其中requests.get表示打开一个网页地址。
注意:请求的 url 必须带有 http 或者 https 传输协议。
输出结果,应如下所示:
<Response [200]>
- 输出HTML信息
在上述代码的基础上继续编写如下代码:
# 提取响应内容(自动解码响应内容)
html = response.text
# 打印响应内容
print(html)
此时应输出为原始的html页面,具体参见输出。
通过调用 response 响应对象的 text 方法提取 HTML 信息,该方法返回的结果是文本,所以可以直接输出,无需编码解码等操作。
程序完整的代码程序如下:
import requests
# 发送GET请求
response = requests.get('http://www.baidu.com/')
# 提取响应内容(自动解码响应内容)
html = response.text
# 打印响应内容
print(html)
通过上述代码获取了百度首页的 html 信息,这是最简单、最初级的爬虫程序。后续我们还学习如何分析网页结构、解析网页数据,以及存储数据等。
进阶任务:获取百度检索数据
要求环境:requests + BeautifulSoup模块
以上我们仅仅是解析了网页的基本展现形式——HTML,距离转化为我们分析所需要的文本还有一段距离,接下来我们来实现一个真实案例——获取百度检索所得到的数据。
首先先来了解一些基本概念:
- HTML (HyperText Markup Language):
- 基础结构:网页的基本结构和内容是由 HTML 描述的,包括文本、链接、图片和其他资源。
- 标签:HTML 使用标签(如, , ,)来组织和标记内容。理解这些标签及其属性对定位和提取网页内容非常关键。
- CSS (Cascading Style Sheets):选择器:CSS 用于设置网页的布局和样式。理解 CSS 选择器对于使用爬虫框架选择特定元素非常重要,如在 BeautifulSoup 中使用 soup.select(‘some CSS selector’)。
- JavaScript:动态内容:JavaScript 常用于创建交互式网站。一些内容可能是动态加载的,了解 JavaScript 和相关的网络请求(如 AJAX)有助于处理和抓取这类动态内容。
对于以上这些内容,我们来结合浏览器开发者工具来进一步了解。
使用F12打开浏览器的开发者界面,我们可以看到以下界面。

接下来我们来按照我们之前的示例,书写一段获取html的检索代码
import requests
from bs4 import BeautifulSoup
# 获取用户输入的关键字
word = input('输入检索词:')
# 构建URL
url = 'http://www.baidu.com/s?wd=' + word
# 发送请求
response = requests.get(url)
# 提取响应内容
html = response.text
print(html)
之后我们使用BeautifulSoup来对得到的html文本进行筛选,数据清洗
# 数据清洗,筛选元素为h3,class属性为t的标签
soup = BeautifulSoup(html, 'html.parser')
items = soup.find_all('h3',class_='t')
# 打印检索的文本
print('检索词为:' + word)
# 打印检索结果
print('检索结果为:')
for item in items:
print(item.text)
经过搜索,我们可以得到我们的检索数据。
以搜索百度为例,我们得到的搜索结果如下:

学完后可以尝试:爬取豆瓣的top250数据
Python还能做什么
数据分析
我们爬取到的数据应该如何转化为能体现某些关系的数据呢,没错,还是通过万能的Python。
数据可视化

来自师兄的论文

来自鸢尾花书

某次实验分析数据
通过可以用来绘制非常非常好看的图表
-END-
学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后给大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!
包括:Python激活码+安装包、Python web开发,Python爬虫,Python数据分析,人工智能、机器学习、自动化测试带你从零基础系统性的学好Python!
👉[CSDN大礼包:《python安装工具&全套学习资料》免费分享](安全链接,放心点击)
👉Python学习大礼包👈

👉Python学习路线汇总👈
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。(全套教程文末领取哈)

👉Python必备开发工具👈

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉Python实战案例👈
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

👉Python书籍和视频合集👈
观看零基础学习书籍和视频,看书籍和视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

👉Python面试刷题👈

👉Python副业兼职路线👈


这份完整版的Python全套学习资料已经上传CSDN,朋友们如果需要可以点击链接免费领取或者保存图片到wx扫描二v码免费领取 【保证100%免费】
👉[CSDN大礼包:《python安装工具&全套学习资料》免费分享](安全链接,放心点击)

3497



被折叠的 条评论
为什么被折叠?



