「Python爬虫系列讲解」一、网络数据爬取概述

五分钟学会Python网络爬虫 但不管怎样,爬虫技术是无罪的,还是值得我们开发人员去学习了解一下的。在学习之前,我们还是要先了解一下相关概念。 什么是爬虫 网络爬虫:又被称为网页蜘蛛,网络机器人,是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。 大数据时代,要进行数据分析,首先要有数据源,可数据源从哪里来,花钱买,没预算,只能从其它网站就行抓取。 细分下来,业内分为两类:爬虫和反爬虫。 反爬虫:顾名思义,就是防止你来我网站或APP上做爬虫的。 爬虫工程师和反爬虫工程师是一对相爱相杀的小伙伴,经常因为对方要加班写代码, 阅读详情

本专栏是以杨秀璋老师爬虫著作《Python网络数据爬取及分析「从入门到精通」》为主线、个人学习理解为主要内容,以学习笔记形式编写的。
本专栏不光是自己的一个学习分享,也希望能给您普及一些关于爬虫的相关知识以及提供一些微不足道的爬虫思路。
专栏地址:Python网络数据爬取及分析「从入门到精通」

在这里插入图片描述

1 网络爬虫

1.1 背景引入

随着互联网的迅速发展,万维网已成为大量信息的载体,越来越多的网民可以通过互联网搜索引擎获取所需要的信息。

事实上,市面上通用的搜索引擎是存在一定局限性的:

  • 搜索引擎返回的结果包含大量用户不关心的网页
  • 基于关键字的搜索引擎缺乏语义理解,导致反馈信息不准确
  • 无法处理非结构性数据,尤其是图片。音视频等复杂类型的数据

那么如何有效地提取并利用这些写从互联网上获取的信息呢?面对这一巨大的挑战,定向爬去相关网页资源的网络爬虫应运而生。

1.2 概括介绍

网络爬虫又被称为网页植株或网络机器人,它是一种按照一定的规则,自动爬取万维网信息的程序或者脚本。

网络爬虫根据既定的爬取目标,有选择的访问万维网上的网页与相关链接,获取所需要的信息;
根据使用场景,网络爬虫可分为通用网络爬虫和定向网络爬虫:

  • 通用网络爬虫是搜索引擎爬取系统的重要组成部分,它将互联网上的网页信息下载至本地,形成一个互联网内容镜像备份库,从而支撑整个搜索引擎,其覆盖面广,数据丰富,比如百度,Google等。
  • 定向网络爬虫并不追求大的覆盖,是面向特定主题的一种网络爬虫,其目标是爬取与某一特定主题相关的网页,为面向主题的用户查询准备数据资源,同时定向爬虫在实施网页爬去时,会对内容进行处理筛选,从而保证爬取的信息与主题相关。

网络爬虫按照系统结构和实现技术分类:

  • 通用网络爬虫(General Purpose Web Crawler)
  • 聚焦网络爬虫(Focused Web Crawler)
  • 增量式网络爬虫(Incremental Web Crawler)
  • 深层网络爬虫(Deep Web Crawler)

实际的网络爬虫通常是由几种爬虫技术相结合实现的。

网络数据分析通常包括前期准备、数据爬取、数据预处理、数据分析、可视化绘图、分析评估6个步骤。

其中,数据爬取又主要分为以下四个步骤:

  • 需求分析:首先需要分析网络数据爬取的需求,然后了解所爬取主题的网址、内容分布,所获取语料的字段、图集等内容。
  • 技术选择:网页爬取及数可通过Python、Java、C++、C#等不同的编程语言实现,主要涉及的技术包括urllib库、正则表达式、Selenium、BeautifulSoup、Scrapy等技术。
  • 网页爬取:确定好爬取技术后,需要分析网页的DOM树结构,通过XPath技术定位网页所爬取内容的节点,再爬取数据;同时,部分网站涉及页面跳转、登录验证等。
  • 存储技术:该技术主要是存储爬取的数据信息,这些数据信息主要包括SQL数据库、纯文本格式的文件、CSV/XLS文件等。

在这里插入图片描述

2 相关技术

2.1 HTTP

HTTP即超文本传输协议的英文缩写,其英文全称是Hypertext Transfer Protocol。
它是互联网上应用最为广泛的一种网络协议,主要用于服务器与客户机之间传输超文本文件。
所有的WWW文件都必须遵守这个协议。
HTTP是一个客户端和服务器端请求和应答的标准,其中,客户端是终端用户,服务器端是网站。通过使用Web浏览器、网络爬虫或者其他工具,客户端发起一个到服务器制定端口(默认端口为80)的HTTP请求。

在这里插入图片描述

上图所示的是HTTP协议的原理图,通常包括两部分:

  • HTTP客户端发起一个请求,建立一个到服务器指定端口的TCP连接;
  • HTTP服务器则在该指定端口监听客户端发送过来的请求。一旦收到请求,服务器就向客户端发回一个状态行,比如成功访问状态码为“HTTP/1.1 200 OK”,同时返回响应消息,包括请求文件,错误消息或者其他一些信息。

2.2 HTML

HTML即超文本标记语言的英文缩写,其英文全称是Hypertext Markup Language。
它是用来创建超文本的语言,用HTML创建超文本文档称为HTML文档,它能独立于各种操作系统平台。
由于“HTML标签”的便捷性和实用性,HTML语言也就被广大用户和使用者认可,并被当做万维网信息的表示语言。
使用HTML语言描述的文件需要通过Web浏览器显示效果。
最新的HTML版本为HTML5,它拥有强大的灵活性,能编写更为高端的动态网页。
在这里插入图片描述
上图使用Python代码简单写的一个登录网页及浏览器显示结果。

事实上,HTML文档的源码包含大量的“<…>”和“</…>”,我们称之为标记(Tag)。标记用于分割和区分内容的不同部分,并告知浏览器它处理的是什么类型的内容。
大多数HTML标记的名字都能准确地描述其用途以及所标注内容的类型,比如:
在这里插入图片描述
下面给出的是通常的网页格式

<!DOCTYPE html>
<html name="整体">
  <head name="头部">
  <title name="眼睛">标题</title>
  </head>
  <body name="身体">内容</body>
</html>

HTML的标记包含在一对尖括号(<>)之间,以便与普通文本明确区分开。
第一个点括号(<)表明标签的开头,随后是特定标签名(如img),最后是反向尖括号(>)表示结束。

注:由于Python网络爬虫需要分析网页的HTML源码其树形结构,所以在编写爬虫之前必须掌握HTML基础知识。

2.3 Python

Python是荷兰人Guido van Rossum在1989年开发的一种脚本新解释语言,是一种面向对象的解释型计算机程序设计语言。
Python是纯粹的自由软件,其语法简洁清晰,特色之一是强制使用空白符(White Space)作为语句缩进。
由于Python具有丰富而强大的第三方库,所以常被昵称为“胶水语言”,它能够把用其他语言制作各种模块(尤其是C/C++)很轻松的联合在一起。
Python作为一门语法清晰,易于学习功能,强大的编程语言,既可以作为面向对象语言应用于各领域,也可以作为脚本编程语言处理特定的功能,并且Python语言含有高效率的数据结构,与其他的面向对象编程语言一样,具有参数、列表、函数、流程控制、类、对象、正则表达式等功能。
在这里插入图片描述
因此,Python凭借其诸多优点,进而成为一种能在多种功能,多种平台上撰写脚本及快速开发的理想语言。

3 本文总结

由于Python具有语法清晰简单、易学短小、精炼高效开发、拥有数量庞大的第三方库和活跃的开发社区等特点,越来越被广大的开发人员和编程爱好者所选择,同时,随着网络数据爬取的火热,Python提供了更加丰富的第三方库,如urllib、BeautifulSoup、Selenium、Scrapy等。
接下来就跟着博主一起走进Python数据爬取的知识海洋吧!

欢迎留言,一起学习交流~

感谢阅读

END

python爬虫入门教程(非常详细) 爬虫指的是一种自动化程序,能够模拟人类在互联网上的浏览行为,自动从互联网上抓取、预处理并保存所需要的信息。爬虫运行的过程一般是先制定规则(如指定要抓取的网址、要抓取的信息的类型等),紧接着获取该网址的HTML源代码,根据规则对源代码进行解析和抽取,最后进行处理和保存。爬虫在实际应用中广泛使用,如搜索引擎、大数据分析、交易数据采集等领域,都需要用到爬虫技术来实现信息的定向采集和处理。 阅读详情

相关推荐

Python网络爬虫基础

基础知识讲解部分(网络爬虫入门) 网络爬虫就是自动地从互联网上获取程序。想必你听说过这个词汇,但是又不太了解,大家会觉得掌握网络爬虫还是要花一些功夫的,因此这个门槛让你有点望而却步。我常常觉得计算机和互联网的发明给人类带来了如此大的便利,让人们不用阅读说明书就知道如何上手,但是偏偏编程的道路却又是如此艰辛。因此,我会尽可能做到浅显易懂,希望读者能够读懂我说了什么,从而能够享受到其中的快乐。 基本介...

qq_41200123的博客 5670

重新出发

昨天在浏览CSDN首页的时候,看到了有“网络安全”字眼的博客,点进去浏览,浏览过后,发现博主叫杨秀璋,非常优秀,是CSDN博客专家。他现在在武汉大学读博士,最近对网络安全和机器学习、深度学习都有很高强度的学习,文章产出也很大。 自己之前一直很彷徨,导师也不给具体的研究方向,同门有做深度学习的,有做代码API推荐的,有做code2vec的。因为算法岗近几年很火,工资很高,研究生毕业实在不想继续做简单...

cecurio的博客 909

网络爬虫——python爬取豆瓣评论

网络爬虫,又被称为网络蜘蛛(Web Spider)、网络机器人等。它根据网页地址(URL)爬取网页内容,网页地址(URL)就是我们在浏览器中输入的网站链接。例如:https://www.baidu.com;网络爬虫不仅能够复制网页信息和下载音视频,还可以做到网站的模拟登录和行为链执行。由于需要爬取的网站大多需要先登录才能正常访问,或者需要登录后的cookie值才能继续爬取,所以需要对网站模拟登录。有些网站设置了Referer防盗链,所以需要执行网页浏览行为链。

qq_36128101的博客 7652

网络爬虫是什么?怎么学python爬虫

网络爬虫又称网络蜘蛛、网络机器人,它是一种按照一定的规则自动浏览、检索网页信息的程序或者脚本。网络爬虫能够自动请求网页,并将所需要的数据抓取下来。通过对抓取的数据进行处理,从而提取出有价值的信息。

Itmastergo的博客 3万+

Python网络爬虫与信息提取(实例讲解)

下面小编就为大家带来一篇Python网络爬虫与信息提取(实例讲解)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧 课程体系结构: 1、Requests框架:自动爬取HTML页面与自动网络请求提交 2、robots.txt:网络爬虫排除标准 3、BeautifulSoup框架:解析HTML页面 4、Re框架:正则框架,提取页面关键信息 5、Scrapy框架:网络爬虫原...

python爬虫开发教程 7682

Python-网络爬虫

网络爬虫(Web Spider)又称网络蜘蛛或网络机器人,是一段用来实现自动采集网站数据的程序。网络爬虫不仅能够为搜索引擎采集网络信息,而且还可以作为定向信息采集器,定向采集某些网站中的特定信息。对于定向信息的爬取,网络爬虫主要采取数据抓取、数据解析、数据入库的操作流程。(1)数据抓取:发送构造的HTTP请求,获得包含所需数据的HTTP响应;(2)数据解析:对HTTP响应的原始数据进行分析、清洗,以提取出所需要的数据;(3)数据入库:将数据进一步保存到数据库(或文本文件)中,用于构建知识库。

qq_42759120的博客 1769

网络爬虫(一)——爬虫及其实现

爬虫和简单的实现爬虫

弄鹊 8085

Python网络爬虫与聚焦爬虫,如何用爬虫爬取段子

一、网络爬虫Python爬虫开发工程师,从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一...

月吖吖 2076

「Python爬虫系列讲解」十三、用 Scrapy 技术爬取网络数据

本专栏是以杨秀璋老师爬虫著作《Python网络数据爬取及分析「从入门到精通」》为主线、个人学习理解为主要内容,以学习笔记形式编写的。 本专栏不光是自己的一个学习分享,也希望能给您普及一些关于爬虫的相关知识以及提供一些微不足道的爬虫思路。专栏地址:Python网络数据爬取及分析「从入门到精通」 更多爬虫实例详见专栏:Python爬虫牛刀小试 前文回顾:「Python爬虫系列讲解」一、网络数据爬取概述「Python爬虫系列讲解」二、Python知识初学「Python爬虫系列讲解」三、正则表达式爬虫...

闭关修炼——暂退 9176

超强干货之---Python-数据爬取(爬虫)

定义: 深度优先搜索是一种遍历或搜索树或图的算法,从起始节点开始,一直沿着一个分支走到底,再回溯到上一个节点继续搜索下一个分支,直到遍历完所有节点。特点递归:通常用递归实现,或者使用栈来模拟递归过程。内存占用低:在有大量分支的情况下,内存占用比广度优先搜索低。适合目标较深的情况:如果目标节点距离起始节点较深,DFS能更快找到目标。适用场景需要遍历所有节点的情况,如生成树、迷宫搜索。目标节点较深,且分支较多时。在大规模数据爬取时,选择合适的存储方式取决于数据的规模、结构和访问需求。

房东的猫的博客 5万+

〖Python网络爬虫实战㉕〗- Ajax数据爬取之Ajax 案例实战

本节中我们通过一个案例来体会了 Ajax 分析和爬取的基本流程,希望大家通过本节能够更加熟悉 Ajax 的分析和爬取实现。另外,我们也观察到,由于 Ajax 接口大部分返回的是 JSON 数据,所以在一定程度上可以避免一些数据提取的工作,这也在一定程度上减轻了工作量。

爱吃饼干的小白鼠的博客 2285

python网络爬虫爬取数据,如何用python爬取数据

大家好,小编来为大家解答以下问题,python网络爬虫爬取数据,如何用python爬取数据,今天让我们一起来看看吧!本文已收录至Github,推荐阅读 👉本文是根据视频教程记录的学习笔记,建议结合视频观看。先看后赞,养成习惯。讲解我们的爬虫之前,先概述关于爬虫的简单概念(毕竟是零基础教程)

2301_81900386的博客 884

Python网络爬虫课程设计:航班信息爬取实战

Python是一种广泛使用的高级编程语言,以其简洁的语法和强大的功能而闻名。它由Guido van Rossum于1989年底发明,目的是为了解决语言本身的问题和程序员的工作效率。Python支持多种编程范式,包括面向对象、命令式、函数式和过程式编程。网络爬虫是一种自动获取网页内容的程序,它按照一定的规则,自动地浏览或爬取互联网上的信息。爬虫的主要作用在于自动化地收集网络上公开的数据资源,对于搜索引擎来说,爬虫是获取网页内容的关键工具,它能够帮助搜索引擎索引网页,以便用户能够通过搜索查询到相关信息。

weixin_30661119的博客 2377

Python网络爬虫

网络爬虫(英语:web crawler),也叫网络蜘蛛(spider),是一种用来自动浏览万维网的网络机器人。通俗来讲,网络爬虫就是模拟浏览器发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序。原则上,只要是浏览器(客户端)能做的事情,爬虫都能够做。

zgl040803的博客 2638

MDPI期刊投稿全流程解析:从注册到提交的实用指南

本文详细解析了向MDPI期刊投稿的全过程,从注册账号、完善个人资料、上传稿件,到填写作者信息、推荐审稿人及提交附信等关键步骤。指南强调了使用机构邮箱、遵循期刊模板、认真准备Cover Letter等实用技巧,旨在帮助作者高效、规范地完成投稿,避免常见错误,提升稿件处理效率。

weixin_29250403的博客 930

别再瞎选了!手把手教你根据车型等级,在CarSim里快速匹配最合适的动力学模型

本文详细介绍了如何在CarSim中根据车型等级快速匹配最合适的动力学模型,提升仿真效率。通过分析CarSim模型库与A/B/C/D级车标准的对应关系,提供四步精准定位方法和不同车型的特殊处理技巧,帮助工程师避免常见错误,显著缩短模型准备时间。

weixin_27015733的博客 264

用python爬取网站数据代码,python网络爬虫爬取数据

比如我们现在要爬取的是微博热搜页面,进入页面,按下F12,就会出现网页的js语言设计部分,找到网页上的Network部分,可以使用ctrl+r刷新一下页面。继续按下F12,找到网页的Elements部分,使用左上角的小框带箭头的标志放到你要爬取的文字上,它就会在右边的页面出现你要爬取内容的部分代码,如果找到精准的位置之后,可以右键进行复制selector部分。Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

2401_82891570的博客 1970

VS2015+C++实战:手把手教你用海康MVS里的Demo搞定多相机同步采图与保存

本文详细解析了在VS2015+C++环境下,利用海康威视MVS工业相机SDK实现多相机同步采图与保存的全流程。从环境准备、SDK选择到多相机初始化、同步采图方案,再到异常处理与性能优化,提供了实战技巧和代码示例,帮助开发者快速掌握工业相机二次开发的核心技术。

weixin_29170327的博客 283

网络爬虫技术概述

1、爬虫概述 1.1、什么是爬虫 网络爬虫,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。 通俗的讲,就是一种能够自动获取网页内容并可以按照指定规则提取相应内容的程序。 1.2、爬虫原理 那么网络爬虫是从哪抓取,又是按照怎么样的规则呢? 首先,我们需要了解URL。URL在日常网络中无处不在,www.baidu.com, www.taobao.com,简单来说,网络地址就是URL。网络爬虫就是从URL进行爬取。即爬虫的内容就是具体地址下的内容,如淘宝下的销售信息。 那么,是如何通过URL进行爬取

paccpjsystematic的博客 8092

Intouch实时报警

Intouch实时报警功能的相关设置

weixin_41571357的博客 4212

从SAS接口到InfiniBand:一张图看懂数据中心硬件‘黑话’(SFF-8643/8644、QSFP112、NDR/HDR/EDR)

本文深入解析数据中心硬件术语,从SAS接口标准(SFF-8643/8644)到速率标识(NDR/HDR/EDR),帮助工程师快速理解关键性能指标。特别对比了PCIe卡规格(HHHL/FHHL)和光模块选择(QSFP112/OSFP),并探讨InfiniBand在高性能网络中的优势,为硬件选型提供实用指南。

weixin_32103009的博客 434

Python网络爬虫从入门到实战

requests库的本质就是封装了urllib3模块,它可以模拟浏览器的请求,编写过程更接近正常URL的访问过程。支持URL数据自动编码;支持HTTP连接保持和连接池;支持使用Cookie保持会话;支持文件分块上传;支持自动确定相应内容的编码;支持连接超时处理和流数据下载。通过requests库获取HTML页面内容后,需要进一步解析HTML格式,提取其中的有用数据。beautifulsoup4库是一个可以解析HTML或者XML文件的Python库,它具有以下三个特点。

yoona333的博客 2933

HLM(多层线性模型)在stata中语句

在阅读CEPS中发现有些研究采用的是HLM模型,HLM简单来说用一个方程跑两个回归。举例,对学习成绩影响因素,不同层有不同的影响,如在个体层面上个体特征会对成绩产生影响,在学校层面学校排名等因素会对成绩产生影响,两种因素不在一个层面,每层造成的差异都不相同。 在找相关语句时候发现操作这个语句的软件大多是SPSS和HLM,对于stata操作者并不友好。因此,在有限资料中总结了HLM在stata中的语句,后面会附上学习视频和链接。 先放语句,后面对方程式一个大致解析。由于针对HLM有一本书的介绍,可能一篇文章无

weixin_44652251的博客 1万+
上一篇: Pygame制作唯美雪花特效
下一篇: 「Python爬虫系列讲解」二、Python知识初学
荣仔!最靓的仔!
荣仔!最靓的仔! 优质创作者: 人工智能技术领域 优质创作者: 人工智能技术领域
博客等级 码龄7年 10万+粉丝 164原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

荣仔!最靓的仔!

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值