【虫术】资深爬虫师带你爬取代理IP

网络爬虫实战(1)-爬取代理ip 而今天我将带领大家爬取网络上免费的代理ip,为以后的学习打下基础,当然也需有的网站可以直接获取下载代理ip,那这篇文章还看不看,答案是当然也需要看的,相当于增加实战经验,或者当别人问你你ip池怎么搞的,网络上下载的这个回答体现不出在练气期程序员的水准,如果你说我是通过我高超的技术网络上爬取下来的,是不是特别有b格啊,哈哈哈哈。发送给谁,相当于你给别人写信,是不是要附上对面的地址,邮递员才能送到啊,而这个就相当于对方的地址,将上面的请求url值赋值给url这个常量。打印出来,可以看看是不是咋们想要的结果。 阅读详情

 

有时候在网站看小说,会莫名跳出来一个“疑似机器恶意爬取,暂时无法访问”这样类似的网站提示,需要刷新一下或者输入一个验证码才能重新进入,这样的情况偶有发生,相信大家都有遇到过。出现这个现象的原因就是我们浏览的网页采取了反爬虫的措施,特别做爬虫爬取网页,在某个ip单位时间请求网页次数过多时,服务器会拒绝服务,这种情况就是由于访问频率引起的封ip,这种情况靠解封不能很好的解决,所以我们就想到了伪装本机ip去请求网页,也就是我们今天要讲的使用代理ip。

目前网上有许多代理ip,有免费的也有付费的,例如西刺代理,豌豆代理,快代理等等,免费的虽然不用花钱但有效的代理很少且不稳定,付费的可能会好一点,不过今天我只爬取免费的西刺代理并将检测是否可用,将可用ip存入MongoDB,方便下次取出。

运行平台:Windows

Python版本:Python3.6

**IDE: **Sublime Text

其他:Chrome浏览器

简述流程为:

步骤1:了解requests代理如何使用

步骤2:从西刺代理网页爬取到ip和端口

步骤3:检测爬取到的ip是否可用

步骤4:将爬取的可用代理存入MongoDB

步骤5:从存入可用ip的数据库里随机抽取一个ip,测试成功后返回

对于requests来说,代理的设置比较简单,只需要传入proxies参数即可。

不过需要注意的是,这里我是在本机安装了抓包工具Fiddler,并用它在本地端口8888创建了一个HTTP代理服务(用Chrome插件SwitchyOmega),即代理服务为:127.0.0.1:8888,我们只要设置好这个代理,就可以成功将本机ip切换成代理软件连接的服务器ip了。

import requests

proxy = '127.0.0.1:8888'
proxies = {
    'http':'http://' + proxy,
    'https':'http://' + proxy
}

try:
    response = requests.get('http://httpbin.org/get',proxies=proxies)
    print(response.text)
except requests.exceptions.ConnectionError as e:
    print('Error',e.args)
http://httpbin.org/get

这里我是用来http://httpbin.erg/get作为测试网站,我们访问该网页可以得到请求的有关信息,其中origin字段就是客户端ip,我们可以根据返回的结果判断代理是否成功。返回结果如下:

{
    "args":{},
    "headers":{
        "Accept":"*/*",
        "Accept-Encoding":"gzip, deflate",
        "Connection":"close",
        "Host":"httpbin.org",
        "User-Agent":"python-requests/2.18.4"
    },
    "origin":"xx.xxx.xxx.xxx",
    "url":"http://httpbin.org/get"
}

接下来我们便开始爬取西刺代理,首先我们打开Chrome浏览器查看网页,并找到ip和端口元素的信息。

可以看到,西刺代理以表格存储ip地址及其相关信息,所以我们用BeautifulSoup提取时很方便便能提取出相关信息,但是我们需要注意的是,爬取的ip很有可能出现重复的现象,尤其是我们同时爬取多个代理网页又存储到同一数组中时,所以我们可以使用集合来去除重复的ip。

 27def scrawl_xici_ip(num):
 28    '''
 29    爬取代理ip地址,代理的url是西刺代理
 30    '''  
 31    ip_list = []
 32    for num_page in range(1,num):
 33        url = url_ip + str(num_page)
 34        response = requests.get(url,headers=headers)
 35        if response.status_code == 200:
 36            content = response.text
 37            soup = BeautifulSoup(content,'lxml')
 38            trs = soup.find_all('tr')
 39            for i in range(1,len(trs)):
 40                tr = trs[i]
 41                tds = tr.find_all('td')      
 42                ip_item = tds[1].text + ':' + tds[2].text
 43                # print(ip_item)
 44                ip_list.append(ip_item)
 45                ip_set = set(ip_list) # 去掉可能重复的ip
 46                ip_list = list(ip_set)
 47            time.sleep(count_time) # 等待5秒
 48    return ip_list

将要爬取页数的ip爬取好后存入数组,然后再对其中的ip逐一测试。

 51def ip_test(url_for_test,ip_info):
 52    '''
 53    测试爬取到的ip,测试成功则存入MongoDB
 54    '''
 55    for ip_for_test in ip_info:
 56        # 设置代理
 57        proxies = {
 58            'http': 'http://' + ip_for_test,
 59            'https': 'http://' + ip_for_test,
 60            }
 61        print(proxies)
 62        try:
 63            response = requests.get(url_for_test,headers=headers,proxies=proxies,timeout=10)
 64            if response.status_code == 200:
 65                ip = {'ip':ip_for_test}
 66                print(response.text)
 67                print('测试通过')
 68                write_to_MongoDB(ip)    
 69        except Exception as e:
 70            print(e)
 71            continue

这里就用到了上面提到的requests设置代理的方法,我们使用http://httpbin.org/ip作为测试网站,它可以直接返回我们的ip地址,测试通过后再存入MomgoDB数据库。

存入MongoDB的方法在上一篇糗事百科爬取已经提过了。连接数据库然后指定数据库和集合,再将数据插入就OK了。

 74def write_to_MongoDB(proxies):
 75    '''
 76    将测试通过的ip存入MongoDB
 77    '''
 78    client = pymongo.MongoClient(host='localhost',port=27017)
 79    db = client.PROXY
 80    collection = db.proxies
 81    result = collection.insert(proxies)
 82    print(result)
 83    print('存储MongoDB成功')

最后运行查看一下结果吧

如果对Python编程、网络爬虫、机器学习、数据挖掘、web开发、人工智能、面试经验交流。感兴趣可以519970686,群内会有不定期的发放免费的资料链接,这些资料都是从各个技术网站搜集、整理出来的,如果你有好的学习资料可以私聊发我,我会注明出处之后分享给大家。

稍等,运行了一段时间后,难得看到一连三个测试通过,赶紧截图保存一下,事实上是,毕竟是免费代理,有效的还是很少的,并且存活时间确实很短,不过,爬取的量大,还是能找到可用的,我们只是用作练习的话,还是勉强够用的。现在看看数据库里存储的吧。

因为爬取的页数不多,加上有效ip也少,再加上我没怎么爬,所以现在数据库里的ip并不多,不过也算是将这些ip给存了下来。现在就来看看怎么随机取出来吧。

 85
 86def get_random_ip():
 87    '''
 88    随机取出一个ip
 89    '''
 90    client = pymongo.MongoClient(host='localhost',port=27017)
 91    db = client.PROXY
 92    collection = db.proxies
 93    items = collection.find()
 94    length = items.count()
 95    ind = random.randint(0,length-1)
 96    useful_proxy = items[ind]['ip'].replace('\n','')
 97    proxy = {
 98        'http': 'http://' + useful_proxy,
 99        'https': 'http://' + useful_proxy,
100        }   
101    response = requests.get(url_for_test,headers=headers,proxies=proxy,timeout=10)
102    if response.status_code == 200:
103        return useful_proxy
104    else:
105        print('此{ip}已失效'.format(useful_proxy))
106        collection.remove(useful_proxy)
107        print('已经从MongoDB移除')
108        get_random_ip()
109

由于担心放入数据库一段时间后ip会失效,所以取出前我重新进行了一次测试,如果成功再返回ip,不成功的话就直接将其移出数据库。

这样我们需要使用代理的时候,就能通过数据库随时取出来了。

总的代码如下:

import random
import requests
import time
import pymongo
from bs4 import BeautifulSoup

# 爬取代理的URL地址,选择的是西刺代理
url_ip = "http://www.xicidaili.com/nt/"

# 设定等待时间
set_timeout = 5

# 爬取代理的页数,2表示爬取2页的ip地址
num = 2

# 代理的使用次数
count_time = 5

# 构造headers
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'}

# 测试ip的URL
url_for_test = 'http://httpbin.org/ip'

def scrawl_xici_ip(num):
    '''
    爬取代理ip地址,代理的url是西刺代理
    '''  
    ip_list = []
    for num_page in range(1,num):
        url = url_ip + str(num_page)
        response = requests.get(url,headers=headers)
        if response.status_code == 200:
            content = response.text
            soup = BeautifulSoup(content,'lxml')
            trs = soup.find_all('tr')
            for i in range(1,len(trs)):
                tr = trs[i]
                tds = tr.find_all('td')      
                ip_item = tds[1].text + ':' + tds[2].text
                # print(ip_item)
                ip_list.append(ip_item)
                ip_set = set(ip_list) # 去掉可能重复的ip
                ip_list = list(ip_set)
            time.sleep(count_time) # 等待5秒
    return ip_list

def ip_test(url_for_test,ip_info):
    '''
    测试爬取到的ip,测试成功则存入MongoDB
    '''
    for ip_for_test in ip_info:
        # 设置代理
        proxies = {
            'http': 'http://' + ip_for_test,
            'https': 'http://' + ip_for_test,
            }
        print(proxies)
        try:
            response = requests.get(url_for_test,headers=headers,proxies=proxies,timeout=10)
            if response.status_code == 200:
                ip = {'ip':ip_for_test}
                print(response.text)
                print('测试通过')
                write_to_MongoDB(ip)    
        except Exception as e:
            print(e)
            continue

def write_to_MongoDB(proxies):
    '''
    将测试通过的ip存入MongoDB
    '''
    client = pymongo.MongoClient(host='localhost',port=27017)
    db = client.PROXY
    collection = db.proxies
    result = collection.insert(proxies)
    print(result)
    print('存储MongoDB成功')

def get_random_ip():
    '''
    随机取出一个ip
    '''
    client = pymongo.MongoClient(host='localhost',port=27017)
    db = client.PROXY
    collection = db.proxies
    items = collection.find()
    length = items.count()
    ind = random.randint(0,length-1)
    useful_proxy = items[ind]['ip'].replace('\n','')
    proxy = {
        'http': 'http://' + useful_proxy,
        'https': 'http://' + useful_proxy,
        }   
    response = requests.get(url_for_test,headers=headers,proxies=proxy,timeout=10)
    if response.status_code == 200:
        return useful_proxy
    else:
        print('此{ip}已失效'.format(useful_proxy))
        collection.remove(useful_proxy)
        print('已经从MongoDB移除')
        get_random_ip()

def main():
    ip_info = []
    ip_info = scrawl_xici_ip(2)
    sucess_proxy = ip_test(url_for_test,ip_info)
    finally_ip = get_random_ip()
    print('取出的ip为:' + finally_ip)

if __name__ == '__main__':
    main()

【给技术人一点关爱!!!】

爬虫IP频繁被封?从代理IP选型到行为优化的完整破局指南 在网络数据采集领域,IP地址是访问请求的源头标识。当单一IP在短时间内向目标服务器发起高频或异常请求时,极易触发基于频率、行为指纹和信誉评级的反爬虫机制,导致IP被限制或封禁。其技术价值在于保障目标服务器的稳定运行与数据安全。为应对此挑战,核心解决方案是引入代理IP池,通过分散请求源头来规避单点风险。代理IP主要分为数据中心代理、住宅代理和移动代理等类型,需根据目标网站的反爬强度、速度要求及成本进行综合选型。在实际应用中,结合请求头精细化设置、随机延迟策略及会话管理,能有效模拟人类用户行为,降低被识别概率。 阅读详情

相关推荐

【Python学习】网络爬虫-批量获取免费代理地址

批量获取免费代理地址:导入requests模块# 从bs4中导入BeautifulSoup模块# 定义获取代理地址的方法# 定义proxy_ips列表存储代理地址# 设置headers# 从第一页开始循环访问print(f"正在爬取第。

u014481728的博客 4196

python爬虫之免费代理设置示例详解

总的来说,使用代理可以提高访问速度和成功率,降低被封锁的概率,而在Python爬虫中,可以使用requests库来设置代理。在实际的网站数据抓取中,使用代理可以避免被网站限制访问频率或被封锁,从而确保数据抓取的成功性。当我们进行网站数据抓取时,往往需要使用代理。假设我们需要抓取知乎上的某个问题下的所有答案,但是由于知乎对答案的访问频率有限制,因此我们需要使用代理来绕过这个限制。接下来,我们定义一个函数,使用requests库来抓取知乎问题下的所有答案,这里我们使用随机选择的代理来访问页面。

naer_chongya的博客 726

数据湖是什么?有什么优势?与数仓区别?未来的发展?

数据湖是什么?有什么优势?与数仓区别?未来的发展?一、什么是数据湖二、数据湖的发展三、数据湖有哪些优势四、数据湖应该具备哪些能力五、数据湖的实现遇到了哪些问题六、数据湖与数据仓库的区别七、为什么要做数据湖?区别在于?八、数据湖挑战九、湖仓一体十、目前有哪些开源数据湖组件 来源:大数据DT 一、什么是数据湖 数据湖是一种不断演进中、可扩展的大数据存储、处理、分析的基础设施;以数据为导向,实现任意来源、任意速度、任意规模、任意类型数据的全量获取、全量存储、多模式处理与全生命周期管理;并通过与各类外部异构数据

一个写湿的程序猿 9158

Python爬虫入门教程20:IP代理的爬取使用

别在网上瞎学了,我最近也做了一些资源的更新,只要你是我的粉丝,这期福利你都可拿走。我先来介绍一下这些东西怎么用,文末抱走。

2301_76348206的博客 1248

FAST-LIO2实战:如何在无人机上部署并实现厘米级定位(附ROS配置全流程)

本文详细介绍了如何在无人机上部署FAST-LIO2激光雷达惯性里程计系统,以实现厘米级精确定位。内容涵盖从硬件选型(如激光雷达与机载计算机)、软件环境配置(ROS Noetic)、传感器标定,到FAST-LIO2参数调优、与PX4飞控集成以及实际飞行测试的全流程。重点解决了实时定位中的外参标定、数据同步等关键问题,为无人机在无GPS或复杂光照环境下提供稳定可靠的定位解决方案。

weixin_29062865的博客 252

Python如何爬取免费爬虫ip

做过大数据抓取的程序员应该都知道,正常市面上的爬虫ip只分为两种,一种是API提取式的,还有一种是账密形式隧道模式的。对于初学者觉得没有必要,我们知道每个卖爬虫ip的网站有的提供了免费IP,可是又很少,写了个爬虫ip池。4,定时检查数据库1和数据库2的爬虫ip数量,以及是否可用。3,在数据库1中拿出少量爬虫ip存入数据库2(方便维护)。3,在数据库1中拿出少量爬虫ip存入数据库2(方便维护)2,检查ip可用 可用存入数据库1,和2。2,检查ip可用 可用存入数据库1和2。1,在各大网站爬取免费爬虫ip。 原

m0_74942241的博客 1783

语义分割(Semantic Segmentation)近年发展综述

目标:为图像中每个像素分配一个语义类别标签(如“道路”、“行人”、“天空”),不区分同类实例。关键挑战精确边界恢复(高空间分辨率)全局上下文理解(大感受野)计算效率与精度平衡小样本/弱监督泛化语义分割的十年演进,是一条从专用→通用、封闭→开放、慢速→实时、像素→语义2015:FCN/U-Net 奠基;2018:DeepLabv3+/PSPNet 实现高精度;2020:HRNet+OCR 登顶竞赛;2021:SegFormer 开启 Transformer 新纪元;2023+

浩瀚之水的专栏 979

【Python爬虫实战】从入门到精通:全面解析IP代理池的原理与实战应用

在当今互联网时代,IP代理池成为了网络爬虫、隐私保护以及突破访问限制的重要工具。无论是初学者还是资深开发者,掌握代理池的搭建与使用技巧都能极大提升网络爬取的效率和稳定性。本篇文章将从基本概念出发,详细讲解IP代理池的核心功能、工作原理及应用场景,同时提供免费代理IP采集和使用的完整代码示例,助力你轻松应对各种实际需求。总结来说,IP代理池是一种灵活、强大的工具,在数据抓取、网络访问优化和隐私保护等方面应用广泛。然而,要根据具体需求选择适合的方案,权衡代理池的质量、稳定性与成本。

易辰的博客 3037

AutosarMCAL开发——基于TC367、EBTresos 开发之PORT

下图为开漏输出与推挽输出电路区别,推挽输出有两个极性相反的mos构成,一个管子导通另一个管子关闭以实现输出高低电平(电流较小不具备驱动能力),开漏输出仅使用一个MOS管,所以在这种模式下只能输出低电平,想要输出高电平需要外部提供(输入电流不可超过引脚最大电流显示否则会烧MCU)开漏输出:输出寄存器为低电平时,经过输出控制电路变成一个高电平,N-MOS导通,低电平从I/O引脚输出,输出寄存器为高电平时,P-MOS和N-MOS都是截止状态,电平无法通过,想要输出高电平需要外接上拉电阻。

qq_45583706的博客 1406

排队论 | 排队论建模方法

排队论 | 排队论建模方法

算法如诗的博客 357

全面提升数据采集效率:IP代理产品的应用与评估详解

静态住宅代理:提供全球超过70万IP。机房代理:拥有全球超过700万IP。动态住宅代理:覆盖195个国家,提供超过7200万IP。移动代理:拥有全球超过77万IP。这些代理服务在全球范围内为用户提供极高的灵活性和稳定性。我们还提供专属代理和动态代理解决方案,帮助用户满足特定需求。通过配合代理管理器和代理浏览器扩展,用户可以使用开源界面轻松管理全球各地的代理,自由改变访问网络的地域位置,优化数据采集的效率和准确性。IP代理服务:提供高匿名性和稳定性,确保数据采集和网络访问更加安全可靠。

猫头虎技术团队:授渔优于赠鱼,兴趣引领智慧,探索之乐尤显珍贵。商务合作+:Libin9iOak ,万粉变现+:CSDNWF,猫头虎承诺每年免费为100名C站创作者做账号流量诊断服务!全网搜:猫头虎技术团队,点击文章底部名片或直接私信我一切皆可谈,快找虎哥! 3万+

c#仿热血江湖

Int32_1 = (int) table.Rows[i]["FLD_初级附魂"],Int32_2 = (int) table.Rows[i]["FLD_中级附魂"],Int32_3 = (int) table.Rows[i]["FLD_是否绑定"],Int32_0 = (int) table.Rows[i]["FLD_进化"],Form1.smethod_1(2, "加载百宝阁物品----没有百宝阁数据");Form1.smethod_1(2, "加载物品商店----没有物品数据");

weixin_42132177的博客 143

来自一位资深Python大佬对爬虫的总结

由于某些原因最近终于可以从工作的琐事中抽出身来,有时间把之前的一些爬虫知识进行了一个简单的梳理,也从中体会到阶段性地对过往知识进行梳理是真的很有必要。常用第三方库对于爬虫初学者,建议在了解爬虫原理以后,在不使用任何爬虫框架的情况下,使用这些常用的第三方库自己实现一个简单的爬虫,这样会加深对爬虫的理解。urllib和requests都是python的HTTP库,包括urllib2模块以巨大的复杂性代价获取综合性的功能。相比于urllib2,Requests模块更能简约的支持完整的简单用例。

Trb201012的博客 841

VMware Horizon 8 2111 部署系列(九)创建即时克隆桌面池

即时克隆桌面池是在 vCenter Server 中使用 vmFork 技术(称为即时克隆 API)从最佳配置映像创建的自动桌面池。即时克隆共享同一个基础映像虚拟机,使用基础映像虚拟机的快照创建的,它使用的存储空间也少于完整虚拟机。 即时克隆始终保持开机状态,并在注销后从当前发布的映像重新创建。...

白昼的技术专栏 4049

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

爬虫 解决网页ip限制的问题的八种方法

方法1. 之前由于公司项目需要,采集过google地图数据,还有一些大型网站数据。 经验如下: 1....

weixin_34402408的博客 201

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

爬虫干货 | 爬虫IP代理模块介绍及实战

原创 数据挖掘 2018-05-07作者 DataGod皮卡丘联合爬虫业界大牛FastGets整理一系列文章,介绍python爬虫基础知识、大牛多年反爬经验,有难度网站抓取实战、爬虫系统架构设计、安卓app逆向分析。帮助小白入门,初级工程师成为资深工程师,大神回顾。大家有任何问题可留言交流,欢迎转发分享。高频率的爬取网站页面会给网站服务器带来巨大压力,网站为了应对爬虫一般会采用一些反爬技术,这就...

qq_37609701的博客 802

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

爬虫基本原理介绍、实现及问题解决、爬虫实战、爬取经典moba游戏英雄列表

Python爬虫是一种使用Python编程语言编写的自动化脚本,旨在从互联网上抓取和提取信息。Python因其简洁的语法、强大的库支持以及广泛的社区而成为开发爬虫的理想选择。

interest_ing_的博客 1193

爬虫ip池越大越好吗?

作为一名资深的程序员,今天我要给大家分享一些关于爬虫ip池的知识。关于ip代理池的问题,答案是肯定的,池子越大越好。下面跟我一起来盘点一下ip池大的好处吧!

weixin_44617651的博客 979

探索企业奥秘 —— 天眼查 & 企查查 爬虫项目解读

探索企业奥秘 —— 天眼查 & 企查查 爬虫项目解读 项目地址:https://gitcode.com/gh_mirrors/co/company-crawler 在这个大数据时代,了解企业的详细信息变得尤为重要。无论是商业竞争中的知己知彼,还是投资决策时的信息获取,准确且全面的企业情报都成为了关键。今天,我们就来聊聊一款能助您一臂之力的强大工具——“天眼查 & 企查查”公司信息爬...

gitblog_00111的博客 1953

这8个Python爬虫工具,竟能让你高效抓取互联网数据

Python网络爬虫:8个高效爬取工具大家好,今天给大家带来8个高效的Python网络爬虫工具脚本,这些工具能帮助我们从互联网上抓取数据,无论是进行数据分析还是内容聚合

不忘初心,方得始终。不管前路如何艰难,只要心中有梦想,就有力量。 1156

AOX Proxy Pool: 动态代理池的高效解决方案

AOX Proxy Pool: 动态代理池的高效解决方案 aox_proxy_pool 本项目是为了解决在抓取代理ip后, 代理ip失效快, 不稳定的问题 以及代理ip使用不方便等问题。 项目地址: https://gitcode.com/gh_mirrors/a...

gitblog_00092的博客 475
上一篇: 六大数据统计图——Python的数据可视化
下一篇: 超好用的Python web开发框架-Flask
爱码小士
博客等级 码龄8年 253粉丝 114原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值