Python网络爬虫简介与环境配置

1.网络爬虫概述 一、爬虫是什么? 二、爬虫可以做什么? 三、爬虫开发中有哪些技术? 阅读详情

第一章 Python网络爬虫简介与环境配置

1.1 网络爬虫简介

随着互联网的快速发展越来越多的信息被发布到互联网上,这些信息被嵌入到各种各样的网页结构及样式中。虽然搜索引擎可以辅助用户搜索这些网页信息,但是通用的搜索引擎的目标是尽可能覆盖全网络,对用户特定的目的和需求是无法满足的,在特殊需求的刺激下,网络爬虫迅速发展起来,成为了互联网中采集大量数据的新方法。网络爬虫作为采集互联网数据的一种常用工具,近年来受到很多互联网企业的青睐,由此而生的网络爬虫工程师也一度成为大家追捧的高薪职业。本章主要介绍网络爬虫,认识爬虫是什么,爬虫的主要类型,爬虫的原理,网络爬虫的合法性以及反爬虫的主要目的与手段。

1.1.1 网络爬虫的含义

网络爬虫是一种程序,编写网络爬虫的主要目的是从互联网上的各式各样的网页结构中提取出相关的数据。如果把互联网比喻成蜘蛛网,网络爬虫就像是蜘蛛网上的蜘蛛,沿着URL的丝线进行数据的爬取,因此常把爬虫成为Spider。

1.1.2 网络爬虫的主要类型

网络爬虫按照其系统结构和运作原理,大致可以分为四种类型:通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫。

1.通用网络爬虫

通用网络爬虫又称全网爬虫,爬取对象从一批URL种子扩充到整个Web,主要为搜索引擎、门户网站、大型Web服务提供商使用。这类爬虫的爬取范围和数量非常庞大,对于爬虫的速度和存储的空间都有着比较高的要求,通常采用并行方式应对大量的待刷新页面。

2.聚焦网络爬虫

聚焦网络爬虫又被称作主题网络爬虫,选择性地爬取那些预先定义好的主题相关页面。聚焦网络爬虫仅需爬取与主题相关的页面,极大地节省了硬件和网络资源,保存的页面数量较少,因此能更快地更新保存页面,更好的满足特定人群的对特定领域信息的需求。聚焦网络爬虫是我们需要关注的重点爬虫类型。

3.增量式网络爬虫

增量式网络爬虫仅对已下载网页采取增量式更新或者已经发生变化的网页的爬虫,这种机制能够在一定程度上保证所爬取的页面尽可能的新。与周期性爬取和刷新页面的网络爬虫相比,增量式爬虫只会在需要时爬取新产生或者有更新的网页,对于没有变化的网页则不会进行爬取,这样能够既减少数据下载量又能及时更新已爬取过的网页,减少时间和空间的浪费,但是该爬取算法的实现难度和复杂度都较高。

4.深层页面爬虫

Web页面按照存在的方式可以分为表层网页和深层网页。表层网页是传统搜索引擎可以索引到的页面,以超链接可以到达的静态页面为主。深层页面是指大部分内容不能通过静态链接获取的,隐藏在搜索表单后的,需要用户提交一些关键词后才能获得的Web页面。例如,用户需要登录后内容才可见的网站。深层网页中可访问的信息量较大,是目前互联网上发展最快和最大的信息资源。

1.1.3 网络爬虫的原理

爬虫能够模拟浏览器向网站的服务器端发送请求,并从得到的响应内容中提取出需要的信息,然后持久化的存储到本地文件或者数据库中。

1.1.4 简单网络爬虫的架构

网络爬虫的三个任务主要是下载目标网页、从网页中解析信息,存储。为了完成这三个任务,简单网络爬虫的需要包含四个部分,如图1-1所示:
在这里插入图片描述

URL管理器:生成和管理需要爬取的URL地址,防止重复爬取和循环爬取。

网页下载器:向URL地址发送请求,获取URL对应的网页代码并下载到本地。

网页解析器:从下载器获取的网页代码中提取有价值的数据,属于爬虫的核心。

输出管理器:将解析器提取出来的数据输出到文件或者数据库进行持久化保存。

以上四个部分组成一个简单的爬虫结构。

1.1.5 网络爬虫的合法性与robot.txt协议

1.爬虫的合法性

目前,多数网站允许将爬虫爬取的数据用于个人使用或者科学研究。但是如果将爬取的数据用于其他用途,特别是转载或者商业用途,则依据各网站的具体情况有不同的后果,严重的将会触犯法律或者引起民事纠纷。我国对网络爬虫技术也有明确的相关要求:

一、网络爬虫不可以干扰网站的正常运营

《数据安全管理办法》第十六条:利用自动化手段访问收集网站数据,不得妨碍网站正常运行;此类行为严重影响网站运行,如自动化访问收集流量超过网站日均流量三分之一,网站要求停止自动化访问收集时,应当停止。

二、不可以爬取受法律保护的特定类型数据或信息

《中华人民共和国网络安全法》第四十一条:收集、使用个人信息,应当遵循合法、正当、必要的原则,公开收集、使用规则,明示收集、使用信息的目的、方式和范围,并经被收集者同意。

网络运营者不得收集与其提供的服务无关的个人信息,不得违反法律、行政法规的规定和双方的约定收集、使用个人信息,并应当依照法律、行政法规的规定和与用户的约定,处理其保存的个人信息。

《网络安全法》第四十四条:任何个人和组织不得窃取或者以其他非法方式获取个人信息。

《中华人民共和国刑法》第二百八十五条:获取计算机信息系统中存储、处理或者传输的数据,或者对该计算机信息系统实施非法控制,处三年以下有期徒刑或者拘役,并处或者单处罚金; 最高处七年有期徒刑并处罚金。

《中华人民共和国刑法》第二百八十六条:违反国家规定,对计算机信息系统功能进行删除、修改、增加、干扰,造成计算机信息系统不能正常运行,后果严重的,处五年以下有期徒刑或者拘役;后果特别严重的,处五年以上有期徒刑。

除此以外,还需要注意版权相关问题,有作者署名的受版权保护的内容不允许爬取后随意转载和用于商业用途。

2.robot.txt协议

robots协议也叫robots.txt是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络爬虫,此网站中哪些内容是不应被爬取,哪些是可以被爬取的。在一些系统中的URL是大小写敏感的,所以robots.txt的文件名应统一为小写。robots.txt一般放置于网站的根目录下。robots.txt协议并不是一份规范,只是一个约定俗成的协议。爬虫应该遵守这份协议,否则有可能会被网站所有者封禁IP。甚至有些网站会进一步采取法律手段维护自己的权益。著名的360与百度之争中,由于360没有遵守百度的robots.txt协议,爬取了百度网站的内容,最终被判处70万元的罚款。可以在网站URL地址后加/robots.txt查看该协议,以下是各网站的robots.txt协议地址:

www.taobao.com/robots.txt
www.baidu.com/robots.txt
www.nike.com/robots.txt # 有点意思

因此爬虫开发者在使用爬虫时应注意:

  • 严格遵守网站所设置的robots协议;
  • 优化代码,避免给被访问网站造成干扰;
  • 审查所抓取的内容,如发现涉密信息应及时停止与删除;
  • 爬取的信息禁止出售、传播、转用;

1.1.6 网站反爬虫的主要目的与手段

爬虫会消耗大量的服务器资源,影响服务器的稳定性,增加运营的网络成本,同时网站的资源有极大的可能被竞争对手获取到,造成竞争力的下降。因此网站开发人员通常会设法阻止爬虫获取自家网站的资源,针对爬虫做出限制措施。爬虫的行为与一般用户访问网站的行为类似,网站开发人员在进行反爬虫时会尽可能减少对普通用户的干扰,网站针对爬虫的检测方法通常分为以下几种:
1.通过User-Agent校验反爬

使用浏览器发送请求时,会附带一部分用户使用浏览器和系统环境的参数给服务器,这个信息会被放在HTTP请求的Headers中的Request Headers中,服务器会通过User-Agent的值来区分不同的浏览器和系统,图1-2展示了Chrome浏览器中某个网页的User-Agent,快捷键F12进入浏览器的开发者工具,Network选项中随便选则一个数据包单击,查看Headers中的信息,如图1-2所示:

在这里插入图片描述

2.通过访问频率反爬

爬虫程序在模拟用户向网站服务器发送请求的速度要比普通用户通过浏览器访问网站的速度快很多,所以不少网站通过对访问频率设定一个阈值,如果同一个IP单位时间内的访问频率超过设定的阈值就会触发反爬机制,网站就会对这个IP做出限制。一般情况下会先提示该IP需要进行验证码验证后才能够继续正常访问,严重时网站甚至会在一段时间内禁止该IP的访问。

3.通过验证码校验反爬

有些验证码是为了反爬设计的,例如爬取频率触发阈值时会提示验证码验证,必须通过验证,证明用户的正常用户不是爬虫,才可以正常浏览网页。但是,有些网站的在登录和注册时也需要验证码验证,这种情况与访问频率相关。

4.通过变化网页结构反爬

大部分情况下爬虫是通过网页结构来解析数据的,有些网站常常会更换网页结构,网页结构变换后爬虫便无法在原本的网页位置找到需要的内容,这样在一定程度上可以起到反爬的作用,但是大多数情况变换网页结构的目的仅仅是为了优化网页结构吸引用户。

5.通过帐号权限反爬

现在有很多网站都需要登录后才能进一步浏览网页信息,这种操作虽然并不是为了反爬虫设计的,但是一定程度上也起到了反爬虫的作用。

1.2 网络爬虫环境配置与相关库介绍

Python中整合了许多用于爬虫开发的库,使用Python开发爬虫需要了解Python中常用的爬虫库,各爬虫库的特征、功能和配置方法。本书中主要在Windows环境下安装配置Python和爬虫需要的库。

1.2.1 Miniconda集成环境的下载与安装

Python语言具有简单易学的特点,但想用好也会有难点,难点之一就是包的管理和Python的不同版本之间是否兼容的问题,特别是在使用Windows环境的时候。为了解决这个问题,于是就发行出比如WinPython、Anaconda等各种集成环境,这些集成环境将Python和许多常用的科学包打包在一起,方便使用者直接安装使用。

​ Anaconda是其中一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。Anaconda支持 Linux, MacOS, Windows系统,提供了包管理与环境管理的功能,可以很方便地解决多版本python并存、切换以及各种第三方包安装问题。Anaconda利用工具/命令conda来进行package和environment的管理,并且已经包含了Python和相关的配套工具。

Anaconda具有开源,安装过程简单,高性能使用Python语言,免费的社区支持等特点。其特点的实现主要是基于Anaconda拥有conda包,环境管理器,1000+开源库的支持。

下载安装Anaconda流程如下:

(1)、Anaconda官方网址:https://www.anaconda.com/。 进入官网后点击Get Started按钮,然后进入菜单页,如图1-3所示:

在这里插入图片描述

(2)、单击Download Anaconda installers,进入下载页面,然后使用鼠标滚轮移动页面到达下载页面底部,Anaconda提供了三种操作系统(Windows、macOS、Linux)的安装包,处于本下载页的安装包均提供了最近版本的Python,如图1-4所示:

在这里插入图片描述

(3)、选择满足计算机操作系统的安装包进行下载安装。Anaconda提供了180多个科学包,因此安装包比较大,大约500MB,如果觉得Anaconda安装包太大,可以选择安装另一个小版本Miniconda进行下载安装,点击here可跳转到Miniconda下载页面,点击archive可跳转到其他版本的Python下载页面,如图1-5所示:

在这里插入图片描述

(4)、Miniconda只提供了支持Python使用的必要的包,并未提供完全的180多个包,因此安装包比较小,大约只有60MB。Miniconda也提供了三种操作系统(Windows、macOS、Linux)的安装包,本书主要使用Windows 64位系统,因此选择Miniconda3 Windows 64-bit进行下载安装,选择Python 3.9版本,如图1-6所示:
在这里插入图片描述

下载完成后双击安装包即可开始安装,安装流程如下:

(1)、双击安装包开始安装,弹出安装窗口,如图1-7所示:

在这里插入图片描述

(2)、单击Next按钮进入下一步,License Agreement为许可证协议,必须同意该协议才可以进入下一步安装流程,仔细阅读协议内容可点击I Agree接收协议进行下一步,如图1-8所示:

在这里插入图片描述

(3)、选择安装类型,Just Me只为当前用户安装,这种模式可以自主选择安装路径,All Users为默认路径安装会将Miniconda安装在C盘的Program Files(x86)文件夹下。读者可根据自己的需求进行安装路径的选择,本书选择Just Me进行下一步安装,如图1-9所示。单击Next按钮后点击Browse对安装路径进行选择,本书将路径设置为D盘下的Miniconda文件夹,如图1-10所示:

在这里插入图片描述

在这里插入图片描述

(4)、路径修改完成后单击Next即可进行下一步,勾选Add Miniconda3 to my PATH environment variable选项添加系统环境变量,否则需要手动添加系统环境变量,勾选Register Miniconda3 as my default Python3.9选项将Miniconda3注册为默认,这样任何编辑器都可以添加使用Miniconda的Python环境,勾选后单击Install进行安装,如图1-11:

在这里插入图片描述

(5)、安装完成后单击Next,再单击Finish即可完成安装,复选框的两个选项均可以不勾选。如图1-12:

在这里插入图片描述

(6)安装完成后就可以在开始菜单中找到Miniconda,如图1-13:

在这里插入图片描述

(7)、点击Anaconda Prompt(Miniconda3)进入命令窗口,输入conda list命令,就可以看到Miniconda环境中安装的包,如图1-14:

在这里插入图片描述

​ Miniconda环境安装完成,可以开始使用,初学者建议使用Miniconda环境对需要安装的包进行管理,节省了很多配置环境过程中不必要的麻烦,节约时间,可以把主要的时间和精力放在后面的学习内容上。

1.2.2 PyCharm编辑器的下载、安装与使用

PyCharm是由JetBrains打造的一款Python IDE(Integrated Development Environment,集成开发环境),带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具,PyCharm拥有一般IDE具备的功能,比如,调试、语法高亮、项目管理、代码跳转、智能提示、自动完成、单元测试、版本控制。此外,PyCharm还提供了一些高级功能,以用于支持Django框架下的专业Web开发。同时还支持Google App Engine,支持IronPython。这些功能在先进代码分析程序的支持下,使 PyCharm 成为 Python 专业开发人员和刚起步人员使用的有力工具。

1.下载安装PyCharm

PyCharm下载的官方网址:www.jetbrains.com/pycharm/。打开浏览器在地址栏中输入该网址,页面跳转到官方下载网址,如图1-15所示:

在这里插入图片描述

点击DOWNLOAD跳转到下载页面,PyCharm提供了三种操作系统(Windows、 macOS、 Linux)的下载安装包,此外还分了Professional版和Community版,Professional为专业版本,需要购买激活码才能够正常使用,其中包含了很多高级工具的使用;Community为社区版本,是一个免费的版本,作为初学者或者初级开发者使用社区版就完全能够满足需求,本书使用Community社区版,如图1-16所示:

在这里插入图片描述

下载完毕后双击安装包即可进行安装,安装过程简单易学,操作步骤如下:

(1)、双击安装包,进入安装流程,直接点击Next进行下一步,如图1-17所示:

在这里插入图片描述

(2)、点击Browse按钮,选择安装路径,如果选择默认路径PyCharm会被安装在C盘,此处可根据个人偏好设置安装路径,然后单击Next按钮进行下一步安装流程,如图1-18所示:

在这里插入图片描述

(3)、进入安装选项勾选界面,Create Desktop Shortcut选项为创建桌面图标;Updata Context Menu选项为单击鼠标右键出现的快捷窗口中添加快速打开PyCharm的快捷键,不建议勾选此项;Update PATH Variable选项为添加系统环境变量(需要重启);Create Associations选项为与.py文件创建连接。建议如图1-19进行勾选,勾选完成后单击Next按钮即可进入下一步流程。

在这里插入图片描述

(4)、按照默认直接点击Install按钮进行安装,如图1-20、图1-21所示:

在这里插入图片描述

在这里插入图片描述

(5)、安装需要等待,安装完成后可以选择立即重新启动计算机和稍后启动两个选项,可以根据自身需求进行选择,如需要立即重启计算机需要将其他正在进行的文件进行保存关闭,以免造成不必要的麻烦。如图1-22所示:

在这里插入图片描述

2.将PyCharm解释器配置为Miniconda环境

​ PyCharm下载完成后双击图标即可启动软件,可以为PyCharm配置虚拟环境的解释器,也可以配置已经在计算机中安装好的Miniconda环境。建议为PyCharm配置Miniconda环境中的Python作为解释器,这样容易管理各种第三方库,如果需要使用其他编辑器时也可以同时共享使用Miniconda环境,实现多个编辑器共用一个解释器。没有必要在计算机中安装过的多Python解释器,不仅浪费计算机的存储空间,在使用的时候也很容易混淆解释器。配置流程步骤如下:

(1)、选择File菜单后弹出菜单栏,选择Settings单击,进入设置界面如图1-23,图1-35所示:

在这里插入图片描述

在这里插入图片描述

(2)、单击右上角齿轮图标,弹出菜单,菜单选项中有ADD和SHOW ALL两个选项,单击ADD选项进入设置页面,如图1-25所示:

在这里插入图片描述

(3)、选择Conda Environment添加conda环境,勾选Existing environment,点击添加按钮根据conda环境的安装路径添加Python解释器,如图1-26所示:

在这里插入图片描述

(4)、选择Miniconda安装路径,在文件夹中找到Python.exe文件,选中该文件,点击OK键返回上级界面,如图1-27所示:

在这里插入图片描述

(5)、返回上一级界面后,勾选Make available to all projects选项,这样其他所有的项目都可以共用这个解释器,如图1-28所示:

在这里插入图片描述

(6)、PyCharm的解释器就成功配置为Miniconda环境中的Python,点击OK按钮完成配置,就可以顺利使用,如图1-29所示:

在这里插入图片描述

1.2.3 Python网络爬虫相关库的介绍及安装

1.Python爬虫相关库介绍和配置

Python有很多与爬虫相关的库,按照爬虫功能可以将这些库划分为以下三种,如表所示:

类型库名简介
通用urllibPython内置的HTTP请求库,提供一系列用于操作URL的功能。
通用Requests基于urllib,采用Apache2 Licensed开源协议的HTTP库。
通用urllib3提供很多Python标准库里所没有的重要特征:线程安全,连接池,客户端SSL/TLS验证,文件分布编码上传,协助处理重复请求和HTTP重定位,支持压缩编码等。
HTML/XML解析器lxmlC语言编写的高效HTML/XML处理库,支持XPath。
HTML/XML解析器bs4Python实现的HTML/XML处理库,支持多种解释器,效率相对较低。
连接数据库PyMySQL使用Python连接MySQL服务器的一个库。
连接数据库PyMongo使用Python连接MongDB数据库的一个库。
框架Scrapy爬取网站数据,提取结构性数据而编写的应用框架。可应用在数据挖掘,信息处理或历史数据存储等一系列的程序中。

无论是使用Anaconda环境还是独立安装Python都可以直接使用pip工具进行包的安装。pip 是一个现代的,通用的Python包管理工具。提供了对 Python 包的查找、下载、安装、卸载的功能。pip工具支持直接在命令上运行。另外,pip工具支持指定版本库的安装,具体操作可以参考pip的官方文档,官方文档网址:https://pip.pypa.io/en/stable/。本书使用Anaconda环境,Anaconda中自带了pip工具,可以直接使用命令pip install packagename进行在线安装,示例如下:

pip install requests
pip install bs4
pip install Scrapy
pip install pymysql
pip install pymongo

安装完成以后可以使用命令conda list查看已经安装完成的库。

2.配置MySQL数据库

MySQL 是最流行的关系型数据库管理系统,由瑞典MySQL AB公司开发,现在归属于Oracle公司。由于MySQL数据库具备体积小、速度快、成本低、开源、免费等特点,中小型网站的开发大多数选择使用MySQL用于网站数据支持。在 WEB 应用方面 MySQL 是最好的 RDBMS(Relational Database Management System:关系数据库管理系统)应用软件之一。

本书使用的MySQL版本为社区版mysql-installer-community-5.7.36.1,是一个免费版本,可根据需求选择更新或者更旧的版本。在64位的Windows操作系统上下载安装该版本。官方下载网址:https://downloads.mysql.com/archives/installer/。如图1-30所示:

在这里插入图片描述

下载完成后双击安装包进入安装流程,具体流程如下:

(1).双击打开安装包,勾选"Custom"选项,如图1-31所示。单击"Next"按钮后进入安装选择界面。

在这里插入图片描述

(2).单击"Edit"按钮,在弹出框中选择"64-bit"选项,单击"Filter"按钮,如图1-32所示:

在这里插入图片描述

(3).在下图左侧栏内选择需要安装的程序,选中后单击右向箭头,将需要安装的程序添加到右侧栏中,选择完成后单击"Next"按钮,如图1-33所示:

在这里插入图片描述

(4).进入安装界面,单击"Execute"按钮开始安装,如图1-34所示:

在这里插入图片描述

(5).安装完成后还需要配置服务,单击"Next"进入配置页面,如图1-35所示:

在这里插入图片描述

(6).对于一般用户来说,在"Config Type"栏中选择"Development Computer"即可,MySQL的默认端口号为3306,此页面选择默认即可,直接单击"Next"进入下一步安装,如图1-36所示:

在这里插入图片描述

(7).账户和角色设置页面,设置Root用户密码后直接单击"Next"按钮进行下一步,如图1-37所示:

在这里插入图片描述

(8).默认勾选"Configure MySQL Server as a Windows Service",单击"Next"按钮进行下一步,如图1-38所示:

在这里插入图片描述

(9).进入设置应用服务配置步骤,单击"Execute"按钮开始执行,如图1-39所示:

在这里插入图片描述

(10).执行成功的应用服务配置将变为绿色的勾选状态,单击"Finish"按钮完成配置过程,如图1-40所示:

在这里插入图片描述

(11).安装完成后,如图1-41所示:

在这里插入图片描述

(12).安装完成后会自动启动MySQL Workbench,如图1-42所示:

在这里插入图片描述

完成MySQL安装后还需要配置MySQL的环境变量,操作步骤如下:

(1).打开系统属性窗口。右键单击"我的电脑",选择菜单中的"属性",在弹出的窗口中选择"高级系统设置",弹出系统属性窗口,如图1-43所示:

在这里插入图片描述

(2).打开环境变量窗口。单击系统属性窗口中的"环境变量",进入环境变量窗口,如图1-44所示:

在这里插入图片描述

(3).设置MySQL的环境变量。在系统变量中找到"Path"双击选项进入设置窗口,如图1-45所示:

在这里插入图片描述

(4).单击"新建"按钮,进入编辑模式,将MySQL的安装目录下的bin目录的路径:"C:\Program Files\MySQL\MySQL Server 5.7\bin"输入到编辑栏中,单击"确定"按钮后即可完成配置,如图1-46所示:

在这里插入图片描述

配置环境变量后,可使用管理员权限运行命令提示符,使用"net start mysql57"命令启动MySQL服务,使用"net stop mysql57"命令可关闭MySQL服务,也可以进入"我的电脑",在窗口顶部单击"管理"按钮,如图1-47所示:

在这里插入图片描述

单击"管理"按钮后弹出计算机管理窗口,在窗口中单击"服务和应用程序",如图1-48所示:

在这里插入图片描述

单击"服务"选项,如图1-49所示:

在这里插入图片描述

在服务窗口中选中"MySQL57",在此处可以停止服务,暂停服务,重启动此服务,如图1-50所示:

在这里插入图片描述

MySQL57状态为"正在运行"为正常状态,MySQL安装完成。

3.配置MongoDB数据库

MongoDB的官网提供了多种版本可供下载安装,本书使用Windows系统5.0版本:mongodb-windows-x86_64-5.0.6-signed.msi。官方下载地址:https://www.mongodb.com/try/download/community。MongoDB为非关系型数据库,安装过程简单,具体安装及配置过程如下:

(1).双击打开msi安装包,进入安装模式,单击"Next"按钮,如图1-51所示:

在这里插入图片描述

(2).勾选复选框,同意接受协议,单击"Next"按钮进入下一步,如图1-52所示:

在这里插入图片描述

(3).安装模式有两种:Complete(完全模式)和Custom(通用模式)。完全模式将会全部安装在默认C盘且无法更改,如果需要更改安装路径需要选择通用模式,如图1-53所示:

在这里插入图片描述

(4).单击"Custom"按钮进入通用模式,在通用模式下可以选择安装路径和需要安装的组件,单击"Browse"按钮可以选择安装路径,单击"Next"按钮进入下一步,如图1-54所示:

在这里插入图片描述

(5).如果需要修改数据存储的路径可以修改"Data Directory"中的路径,如果需要修改日志 保存路径可以修改"Log Directory"中的路径,此处按照默认来安装,单击"Next"按钮进入下一步,如图1-55所示:

在这里插入图片描述

(6).Mongodb Compass 提供图形化管理界面管理MongoDB数据库,根据自身需求可选择勾选复选框,也可单独下载Mongodb Compass进行安装,单击"Next"按钮进入下一步,如图1-56所示:

在这里插入图片描述

(7).下载安装完Mongodb Compass组件后跳转到MongoDB安装界面,单击"Install"按钮进行安装,如图1-57所示:

在这里插入图片描述

(8).在系统变量"Path"中添加MongoDB的路径:“C:\Program Files\MongoDB\Server\5.0\bin”,如图1-58所示:

在这里插入图片描述

(9).安装完成后可以在计算机管理窗口中对MongoDB数据库的服务进行关闭,重启动,暂停。在命令提示符中输入"mongo"命令即可进入数据库进行使用,如图1-59所示:

在这里插入图片描述

(10).可以在官网下载安装MongoDB Compass工具包对数据库进行图形界面的管理,官方下载网址:https://www.mongodb.com/download-center/compass,如图1-60所示:

在这里插入图片描述

下载完毕后直接将压缩包解压,双击MongoDBCompass.exe图标即可打开MongoDB Compass界面,如图1-61所示:

在这里插入图片描述

单击"Connect"即可连接当前安装好的MongoDB数据库,如图1-62所示:

在这里插入图片描述

miniconda的安装和python环境搭建 文章目录前言下载minianaconda安装和配置安装注意配置更改镜像源创建虚拟环境和激活 前言 最近想用python去写一个写ini配置文件的工具,由于电脑现在的环境是python2的,想用python3的环境,又不想改变目前的环境,就准备重新安装一下anaconda。这篇博文记录一下,免得总是忘记。 向我这样只是用python写写小脚本,推荐安装miniconda,而不是anaconda,因为很多包用不上。具体选择,可参考官方文档Anaconda or Miniconda? 对于pip、conda、a 阅读详情

相关推荐

Windows下的Anaconda安装教程

一文教你在Windows下快速且无误的安装Anaconda

你的大数据学长 4649

什么是网络爬虫?认识网络爬虫

网络爬虫 ( Web Crawler) 又称网络蜘蛛、网络机器人它是一种按照一定规则,自动浏览万维网的程序或脚本。通俗地讲,网络爬虫就是一个模拟真人浏览万维网行为的程序这个程序可以代替真人自动请求万维网,并接收从万维网返回的数据。与真人浏览万维网相比,网络爬虫能够浏览的信息量更大,效率也更高。其主要功能是按照一定的规则,自动地抓取互联网上的信息,并将这些信息存储在本地或者数据库中,以供后续的数据处理和分析。网络爬虫通常被用于搜索引擎、数据挖掘、信息监控等领域。

qq_74350135的博客 7651

Python爬虫(一):环境配置

Python爬虫(一):环境配置由于项目需要,最近开始学习和使用Python写web爬虫。要理解网络爬虫最好的例子就是使用最多的搜索引擎,网络爬虫是搜索引擎最重要的一部分。搜索引擎根据用户的输入关键字,使用一定的网页分析算法过滤与主题无关的链接,保留有用的链接并将其放入等待抓取的URL队列中并最终呈现给用户。实际项目中,我们往往不需要爬取所有网站的源码,而只是对感兴趣的某个或某几个网站做定向爬取,爬

Coding never stop! 9484

什么是网络爬虫?有什么用?怎么爬?终于有人讲明白了

导读:网络爬虫也叫做网络机器人,可以代替人们自动地在互联网中进行数据信息的采集与整理。在大数据时代,信息的采集是一项重要的工作,如果单纯靠人力进行信息采集,不仅低效繁琐,...

大数据 6万+

别再死记公式了!用HFSS/CST手把手教你仿真一个2.4GHz WiFi的PIFA天线(附参数调试技巧)

本文详细介绍了使用HFSS和CST仿真软件设计2.4GHz WiFi PIFA天线的全流程,包括建模准备、分步操作指南和参数调试技巧。通过可视化结果和实战案例,帮助工程师快速掌握天线设计的关键参数优化方法,提升辐射性能和工作效率。

weixin_31682031的博客 336

【PVE9.1使用教程】

弹窗代码在 /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js 中,通过 void({…}) 可以让弹窗部分代码不执行,实现删除弹窗的效果。安装过程这里不再赘述,记得不要使用网络版本进行安装,安装的时候不要使用镜像,否则安装过程会很卡。把下面的配置添加进去,允许同一个网段下的所以主机访问/mnt/pve_share文件夹。可以自己搭建也可以去咸鱼购买,本人在咸鱼上面购买的,暂时可用。也可以使用下面的命令,版本号需要自己查看最新的版本号。

weixin_42950821的博客 964

Python网络爬虫实战——实验1:Python爬虫环境配置

随着信息时代的到来,互联网上涌现出海量的数据,而网络爬虫作为一种强大的数据采集工具,为我们提供了获取和分析这些数据的途径。本文将为您介绍一系列Python网络爬虫实战实验,从环境配置到项目部署,帮助您全面了解和掌握这一领域的技能。通过本文的实验,您将不仅学会构建一个完整的网络爬虫系统,还能够处理爬虫过程中可能遇到的各种挑战。网络爬虫技能的掌握将为您在数据分析、信息挖掘等领域提供有力的支持,让您在信息的海洋中游刃有余。

whwzzc的博客 1801

Ultralytics 框架中predict 与 track 的区别

在 Ultralytics 框架中,predict 和 track 是两种不同的推理方法,分别用于目标检测(或分割、姿态估计)和目标跟踪任务。

浩瀚之水的专栏 1127

Python3网络爬虫实战 chapter1 Python环境配置 1.1 Python简介

Python3网络爬虫实战 chapter1 Python环境配置 1.1 Python简介

代码改变世界 526

文章ACCEPT之后填写内容教程-Springer-Verlag即施普林格

1. 确认corresponding author通讯作者机构是否正确(最好细分到系,如搜不到系只填大学也可)这些信息因为在投稿的时候都填过,所以一般都没问题,可确认并继续。2. Co-Author: 这篇文章有没有其他作者,如果有就选yes,并确认投稿时所填的作者姓名和机构是否正确。这个也是如果前期都填对了就不用修改。3. Research funders: 问文章的研究有没有资助,没有就选no,有就选yes,并填写机构名称和grant/contact numbers。

ZhangJiqun&191cm&85kg 4797

基于STM32、HAL库的MCP4013T-103E/CH 数字电位器驱动程序设计

define MCP4013_I2C_ADDR (0x5F << 1) // HAL库使用7位地址左移1位,或直接使用0xBE/0xBF。#include "i2c.h" // 包含你的I2C初始化相关的头文件,例如由CubeMX生成的 i2c.h。大于127的值会被截断。// MCP4013的读操作:主机发起读取请求,从机返回当前滑片位置的一个字节。// 使用HAL_I2C_Master_Transmit直接发送数据。// 使用HAL_I2C_Master_Receive读取一个字节。

corlin6688的博客 127

【笔记】1、初学python3网络爬虫——环境配置

为了避免学习后短时间内遗忘,让自己随时可以查阅前方自己学过的知识,特意注册csdn博客,方便自己学习时做笔记,也方便随时回顾。也希望自己的学习过程能给同样初学python爬虫的你带来一点指引!由于自己是新手,只有一点点的python基础,所以笔记中难免会有很多纰漏,还望各路大神多多包涵,多多指教,如有不正确的地方,欢迎指出!

BenkoZhao的博客 2482

UCIE Specification详解(八)

Logical Physical Layer(逻辑物理层)

Crazzy_M的博客 1609

python从爬虫开始(一)——Python3的安装与环境配置以及网络爬虫的手把手教学

python 从爬虫开始(一) Python 简介 首先简介一下Python和爬虫的关系与概念,python 是一门编程语言,爬虫是python语言的一种应用场景。因为其简单和容易入门,被很多人所喜爱,也是比较热门的一款语言,在2019年5月的调查排行中,python 语言排行在第四名,因为Python的语言特色(简短快捷)被称为脚本语言,又能够和多平台多语言交互和结合使用,也被称为“胶水语言”,...

bobwww123的博客 2296

落地实战!Python构建地方政府公开数据爬虫:政策/数据/规划全维度抓取(附反爬适配+数据清洗)

政务公开数据爬虫的核心不是“技术多先进”,而是“适配政务网站的特性”——慢一点、稳一点、合规一点,比追求抓取速度更重要。多地市爬虫集群:通过配置文件管理不同地市的URL规则,实现全省/全国政务数据抓取;图片表格识别:结合OCR工具(如pytesseract)识别政务网站的图片表格,转换为结构化数据;数据可视化:将抓取的统计数据导入PowerBI/Matplotlib,实现区域发展趋势分析。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1802

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

Python3网络爬虫实战 chapter1 Python环境配置 1.2 Python3.8开发环境配置

Python3网络爬虫实战 chapter1 Python环境配置 1.2 Python3.8开发环境配置

代码改变世界 573

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

Python3网络爬虫实战案例——环境配置(一)

本文主要配置网络爬虫过程中用到的环境配置,主要有: Python3+Pip MongoDB Redis MySQL Python端版本共存 Python爬虫常用库 注意:本文是Windows下的环境配置 Python3+Pip环境配置 第一种:Anaconda 这个软件包含了python以及其各种包 下载地址 https://www.anaconda.com/ 注意: 1、安装路径可选择安装...

dayexiaofan的博客 515

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Python入门与爬虫

Python在实现网络爬虫方面尤为流行,这得益于其强大的库支持和易于上手的特性。Python的简洁语法和丰富的第三方库使得即使是编程新手也能相对容易地开发出功能强大的爬虫程序。所以接下来我们使用Python来书写网络爬虫

qq_46094651的博客 1446

python爬虫 环境配置

Python的下载: 网址:https://www.python.org/downloads/release/python-3105/ 记住安装的位置配置环境变量: 右键点击"计算机",然后点击"属性" 然后点击"高级系统设置" 选择"系统变量"窗口下面的"Path",双击即可! 然后在"Path"行,添加python安装路径即可(我的D:\Python32),所以在后面,添加该路径即可。 ps:记住,路径直接用分号";“隔开! 最后设置成功以后,在cmd命令行,输入命令"python”,就可以有相关显示

joreng的博客 2722

python网络爬虫一些相关环境配置

(1)jupyter Windows下打开命令行,输入pip3 install jupyter,等待安装完成以后,输入jupyter notebook即可在8888端口打开浏览器jupyter在线笔记本,里面的UrllibTest文件 (2) 更改jupyter-notebook启动时的默认目录   1.打开 cmd ,输入命令 jupyter notebook --generate-c...

灿若星辰丶的博客 457

Python爬虫常用库的安装及其环境配置

今天小编就为大家分享一篇关于python爬虫常用库的安装及其环境配置的文章,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧 Python常用库的安装 urllib、re 这两个库是Python的内置库,直接使用方法import导入即可。 在python中输入如下代码: import urllib import urllib.request response...

python数据库编程 python进阶学习 965

零基础掌握python网络爬虫

零基础掌握python网络爬虫环境python3.8(语言环境) 下载与配置pycharm2019 3.3(编写器) 下载与运行编写第一个爬虫:下载猫咪图片urllib包(主要使用parse和request模块)parse模块request模块:打开url网页,并返回响应对象(也就是网页内容)Request:信息更完善的请求对象,包括headers(请求头)等信息第一次使用框架Scrapy 1.8...

谅至的博客 415

python网络爬虫教程-终于明了python网络爬虫从入门到实践

Python是一款功能强大的脚本语言,具有丰富和强大的库,重要的是,它还具有很强的可读性,易用易学,非常适合编程初学者入门。以下是小编为你整理的python网络爬虫从入门到实践环境配置:下载Python并安装,安装完成后,配置windows的环境变量:打开高级系统设置,将Python的安装目录添加到系统变量path中。配置完成后,在cmd命令行,输入命令"Python",出现P...

weixin_37988176的博客 587

Python网络爬虫源代码

Python网络爬虫源代码 去发现同类优质开源项目:https://gitcode.com/ 本仓库提供了Python网络爬虫的源代码,旨在帮助初学者从零开始学习并掌握网络爬虫的基本原理和实现方法。通过阅读和运行这些源代码,您将能够了解如何使用Python语言来抓取网络数据,并处理这些数据。 以下是资源文件的简要描述: 标题:Python网络爬虫源代码 描述:Python网络爬虫源代码,从零开始...

gitblog_06734的博客 385

Python网络爬虫源代码:助你掌握网络数据抓取核心技术

Python网络爬虫源代码:助你掌握网络数据抓取核心技术 去发现同类优质开源项目:https://gitcode.com/ 在当今的信息化时代,网络数据成为了各行各业重要的资源。Python网络爬虫源代码,作为一款面向初学者的开源项目,帮助用户从零开始学习并掌握网络爬虫的基本原理和实现方法。以下是该项目详细介绍,让我们一探究竟。 项目介绍 Python网络爬虫源代码,是一款完全开源的Python网...

gitblog_06758的博客 414
上一篇: Pandas数据的输入与输出: excel文件
下一篇: 第一章 Linux及Linux Shell简介
Mr李小四
博客等级 码龄7年 7046粉丝 66原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值