使用 Python 进行网络爬虫:从入门到进阶
网络爬虫是数据采集与信息处理的重要技术,能帮助我们自动获取网页数据。本文将详细介绍如何用 Python 编写爬虫,涵盖环境准备、基本爬虫代码、数据解析、保存、以及常见的进阶问题和防护措施。
目录
- 什么是网络爬虫
- 爬虫的基本工作流程
- 环境搭建与库安装
- 使用 Requests 发送 HTTP 请求
- 解析 HTML 页面:BeautifulSoup 入门
- 实例演示:爬取 Quotes 网站
- 数据存储:保存到 CSV 文件
- 进阶技巧与常见问题
- 扩展阅读与总结
什么是网络爬虫
网络爬虫(Web Crawler 或 Spider)是一种模拟浏览器的程序,其主要任务是:
- 自动发送 HTTP 请求访问网页;
- 下载网页资源(HTML、图片、文件等);
- 解析并提取所需信息;
- 实现数据存储与后续处理。
网络爬虫在数据采集、搜索引擎、舆情监控等方面有着广泛的应用。
爬虫的基本工作流程
- 发送请求:通过 HTTP 协议向目标网页发送请求。
- 响应处理:获取返回的 HTML 页面。
- 解析内容:借助解析库解析 HTML,提取想要的信息。
- 数据存储:保存提取的数据至文件或数据库中。
- 控制爬取:处理分页、设置请求头、延时请求、异常处理等,防止被封 IP。
环境搭建与库安装
本教程主要使用以下 Python 库:
- Requests:发送 HTTP 请求
- BeautifulSoup:解析 HTML
- (可选)lxml:加速解析
- Python 内置模块:csv(用于数据保存)
安装命令如下(建议使用虚拟环境):
pip install requests beautifulsoup4 lxml
使用 Requests 发送 HTTP 请求
使用 Requests 库非常简单,以下代码展示如何发送 GET 请求并检查响应状态:
import requests
url = "http://quotes.toscrape.com/"
response = requests.get(url)
if response.status_code == 200:
print("成功访问网页!")
html_content = response.text
else:
print("访问失败,状态码:", response.status_code)
在实际爬虫中,你可能还需要设置请求头(如 User-Agent)来模拟浏览器行为。
解析 HTML 页面:BeautifulSoup 入门
BeautifulSoup 能帮助我们提取 HTML 标签中的数据。常用步骤如下:
- 将 HTML 字符串加载进 BeautifulSoup 对象
- 使用
find、find_all等方法定位标签 - 提取标签内容和属性
示例代码:
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_content, 'lxml')
# 找出所有带有 class="quote" 的 div 标签
quotes_divs = soup.find_all('div', class_='quote')
for quote_div in quotes_divs:
# 提取文本内容
text = quote_div.find('span', class_='text').get_text(strip=True)
author = quote_div.find('small', class_='author').get_text(strip=True)
print(text, "——", author)
实例演示:爬取 Quotes 网站
下面以 quotes.toscrape.com 为例,完整演示如何抓取网站中的名言、作者和标签信息,并将数据保存下来。
示例代码
import requests
from bs4 import BeautifulSoup
import csv
def scrape_quotes(url):
response = requests.get(url)
if response.status_code != 200:
print("网页请求失败,状态码:", response.status_code)
return []
soup = BeautifulSoup(response.text, 'lxml')
quotes_data = []
quotes_divs = soup.find_all('div', class_='quote')
for quote_div in quotes_divs:
text = quote_div.find('span', class_='text').get_text(strip=True)
author = quote_div.find('small', class_='author').get_text(strip=True)
tags = [tag.get_text(strip=True) for tag in quote_div.find_all('a', class_='tag')]
quotes_data.append({
'text': text,
'author': author,
'tags': ', '.join(tags)
})
return quotes_data
def save_to_csv(quotes, filename="quotes.csv"):
keys = quotes[0].keys() if quotes else []
with open(filename, 'w', newline='', encoding='utf-8') as f:
dict_writer = csv.DictWriter(f, keys)
dict_writer.writeheader()
dict_writer.writerows(quotes)
if __name__ == "__main__":
base_url = "http://quotes.toscrape.com/page/{}/"
all_quotes = []
page = 1
while True:
print(f"正在爬取第 {page} 页...")
url = base_url.format(page)
quotes = scrape_quotes(url)
if not quotes:
print("无更多数据,爬取结束。")
break
all_quotes.extend(quotes)
page += 1
print(f"共爬取 {len(all_quotes)} 条数据,保存到 CSV 文件中。")
save_to_csv(all_quotes)
代码讲解
- 循环爬取:通过修改 URL 中的页码,实现对多页数据的抓取
- 数据提取:利用 BeautifulSoup 从每个
<div class="quote">中提取文本、作者和标签 - 数据存储:调用 csv 库保存数据到
quotes.csv文件中,方便后续分析或查看
数据存储:保存到 CSV 文件
将爬取的数据保存到 CSV 文件方便日后分析,示例中使用的 csv.DictWriter 模块可自动写入字典数据。你也可以根据需要将数据保存到数据库中或其他格式文件中。
进阶技巧与常见问题
1. 请求头与代理
- 设置请求头(如 User-Agent)可避免部分网站屏蔽爬虫:
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)..."} response = requests.get(url, headers=headers) - 使用代理 IP 处理目标网站的频率限制。
2. 处理分页与重试机制
- 分析网页的分页结构,实现自动翻页采集。
- 遇到请求失败时,加入重试机制以提高爬虫健壮性。
3. 动态内容抓取
- 部分页面通过 JavaScript 加载数据,可使用 Selenium 或 Pyppeteer 实现动态页面渲染后再抓取数据。
4. 反爬机制
- 遵守 robots.txt 规则;
- 设置合理的请求间隔(如
time.sleep()); - 控制请求并发数,避免对目标网站造成过大压力。
小结
本文从基础原理、环境搭建、示例实战到进阶技巧,全面介绍了如何使用 Python 编写网络爬虫。希望本教程能帮助你快速入门并逐步提升自己的爬虫技术,在合法合规的范围内高效获取所需数据!
注意: 爬虫技术请在遵守目标网站的使用条款及法律法规前提下使用,尊重对方的隐私和版权。
欢迎大家留言讨论或提出问题,也欢迎分享你在爬虫项目中的经验与心得!
2623



被折叠的 条评论
为什么被折叠?



