爬取免费代理IP并测试

代理IP测试方法 分享一个python 测试代理IP的可用性方法: 下面是我从一些代码网站爬取下来的ip 直接上代码了 import csv import requests filename = r"C:\Users\Administrator\Desktop\代理ip.csv"#待测代理ip文件 f = open(filename) sheet = f.readlines() for she in sheet[1:len(sheet)]: she_str = she.split(",") #逗号分隔,转列表格式 阅读详情

爬取免费代理IP并测试



写在开头:这次总共爬了三个代理ip的网站,前两个网站经过测试,ip并不能访问我真正想爬的网站


Git仓库:https://gitee.com/jiangtongxueya/my-spider/tree/master/%E7%88%AC%E5%8F%96%E4%BB%A3%E7%90%86IP

一. 三一代理


这是我爬的第一个代理ip网站,爬的都是https的ip
1. 网页结构

首先,想要爬一个网站,肯定要先了解一下网站html的结构。
在这里插入图片描述
这是网页的图片,通过页面,我们大概知道他是一个table的形式来显示数据的,然后我们通过F12的审查元素来看看他的具体html代码。
在这里插入图片描述
通过查看html代码,我们可以发现,整个table有一个属性,他的类名叫做table table-striped,那么我们之后就可以通过选取这个类名来准确获取到这个表的数据了。再来看第一个<tr>标签,这个<tr>标签显示的是表头,也就是表中每个字段的名字,所以我们在之后爬取的时候需要跳过第一个<tr>,爬取之后的tr标签。接着我们再仔细观察,一个<tr>里面有好多个<td>标签,其中第二个<td>存放的是ip,第三个<td>存放的是端口号,那么我们可以知道,根据table的规则,每一行的第二个和第三个都是ip和端口号,所以我们就知道该怎么爬取这几个数据了。接下来,我们一起看看具体怎么敲代码来爬取数据。

2. 导入库
from lxml import etree
import requests
from bs4 import BeautifulSoup
import os
import re
import time
import random
3. 定义的一些全局变量

我不想定义在函数内,而且又是不会变的东西,所以就写在函数外面,写成全局变量,url是代理ip的网站网址,basepath是当前程序运行的路径,user-agent是请求头中的参数,访问网站时,网站会根据请求头中的参数来识别访问者是谁(最简单的反爬措施,因为网站还可以通过cookie和ip等东西来判断来访者)

url='http://31f.cn/https-proxy/'             #目标网站
basePath = os.getcwd()                       #当前程序所在的路径
userAgentList = [                            #user-agent列表
    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36",
    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)",
    "Mozilla/5.0 (Macintosh; U; PPC Mac OS X 10.5; en-US; rv:1.9.2.15) Gecko/20110303 Firefox/3.6.15",
    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3823.400 QQBrowser/10.7.4307.400",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4315.4 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1",
    "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.9.168 Version/11.50",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; Tablet PC 2.0; .NET4.0E)",
]
timeout = 10                                 #连接超时时间
4. 获取网页html代码部分

这里最好是要做try catch处理的,但是因为爬的东西少,而且简单,也就没去做异常处理了
在请求头中选择不同的user-agent可以一定程度上避免被网站监测到是爬虫,其效果较差

def get_one_page(url): 
    global timeout
    time.sleep(5)                                             #睡眠1秒,避免频繁范围
    headers={                                                 #在请求头中加入user-agent参数,通过random库,
        'User-Agent':random.choice(userAgentList),            #随机选取上面user-agent列表中的一条user-agent
    }
    response=requests.get(                                    #发起请求
        url,                                                  #目标网站
        headers=headers,                                      #请求头
        timeout=timeout,                                      #超时时间
        verify=False,                                         #不检测ssl证书
    )
    if response.status_code==200:                             #响应状态码为200的情况,表示访问成功
        response.close()                                      #按网上的方法来的,避免连接太多
        return response.text                                  #返回目标网站的html代码
    return None
5. 解析html部分

这部分主要就是把获取的html解析成特定的格式,然后从中获取自己所需的标签和数据

def parse_one_page(html):                                     #解析html部分
    ipList = {}
    okList = {}
    soup=BeautifulSoup(html,'lxml')                           #用beautifulsoup进行解析
    table = soup.find_all(class_="table table-striped")[0]    #选取html代码中class为table table-striped的第一个标签
#     print(table)
    trList = table.select("tr")                               #再选取其中标签为tr的所有标签
    for i in range(len(trList)):                              #循环获取tr的标签列表
        if (i != 0):                                          #由于第一个tr是表头中的tr,所以我们要去掉第一个tr,所以i要不等于0
            tdList = trList[i].select("td")                   #选取当前tr标签中的td标签
#             print(tdList)
#             print(tdList[1].next_element)
#             print(tdList[1].next_element+":"+tdList[2].next_element)
            ip = tdList[1].next_element+":"+tdList[2].next_element   #通过分析html代码我们可以知道,第二个和第三个td是我们需要的ip和端口号
            aDict = {"https":ip}                              #将ip做成一个字典(其实这么做是错的,字典的key只能唯一,所以会覆盖之前的ip)
            ok = checkIpIsOK(aDict)                           #测试这个ip能不能访问之后真正想爬取的网站(请看我下一篇博客)
            ipList.update(aDict)                              #将aDict存进ipList
            okList.update({ip:ok})                            #如果测试ip可以成功访问的,就把ip存进okList
    return ipList,okList                                      #这个return其实没用,因为我直接在上面进行了检测,不需要出去再检测
6. 检测ip是否可用部分

其实和第四步的代码基本相同,只是换了个不同的url而已

def checkIpIsOK(ipList):                                     #检测ip是否可以成功访问的函数
    headers={
        'User-Agent':random.choice(userAgentList),
    }
    try:
        response=requests.get(
            url='https://unpkg.com/browse/element-ui@2.14.1/',
            headers=headers,
            timeout=timeout,
            verify=False,
            proxies=ipList,
        )
        if response.status_code==200:                        #只要状态码是200就说明可以正常访问,不需要做更多操作
            response.close()
            return True
        return False
    except BaseException:
        return False
7. 主函数

这里我本来是想最后再一块检测ip是否可用的,但是后来想想,爬一个检测一个更方便,这样工作量小一点,所以就把检测放到爬取中间做了。

def main():
    global url
    html=get_one_page(url)
    ipList,okList = parse_one_page(html)
    print(okList)
#     checkIpIsOK(ipList)

main()
8.最后结果

结果说明,这个网站的免费代理ip无法当做我的代理ip去爬我想爬的网站




二.齐云代理


这是我爬的第二个网站,这个网站和上一个大体相同,不同的地方是这个网站ip量大,有做分页处理,所以可以爬很多个页面。
1. 网页结构

和第一个网站一样,首先先来分析一下网页结构
在这里插入图片描述
在这里插入图片描述
这是网站的页面,首先先来注意一下这个网址,当我点击第二页后,他变成了这样子。说明这个网站是通过在url后面追加page这个参数来显示不同的页面的,所以,我们之后只需要动态变化这个page的值就可以做到爬取每一页的内容了。接下来F12审查元素看看网页源代码,
在这里插入图片描述
首先和第一个网站一样,这都是一个table的形式,<table>的类名叫table table-bordered table-striped,接着注意这个<tr>,第一个<tr>存放的内容是表头,所以我们还是照例需要跳过。
然后我们来看看接下来的<tr>标签,<tr>还是有好几个<td>,第一个<td>是ip,第二个<td>是端口号,所以同样的方法,我们开始爬虫。

2. 导入库
from lxml import etree
import requests
from bs4 import BeautifulSoup
import os
import re
import time
import random
3. 定义的一些全局变量

大体和第一个网站的代码相同,但是注意,这里的url没有page的参数,只到page=,因为后面的页码,需要我们动态添加,不能写死。

url='https://www.7yip.cn/free/?action=china&page='             #目标网站
basePath = os.getcwd()                                         #当前程序所在的路径
userAgentList = [                                              #user-agent列表
    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36",
    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)",
    "Mozilla/5.0 (Macintosh; U; PPC Mac OS X 10.5; en-US; rv:1.9.2.15) Gecko/20110303 Firefox/3.6.15",
    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3823.400 QQBrowser/10.7.4307.400",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4315.4 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1",
    "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.9.168 Version/11.50",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; Tablet PC 2.0; .NET4.0E)",
]
timeout = 10                                                    #连接超时时间
ipList = {}                                                     #这里我把这两个列表也直接全局变量了
okList = {}                                                     #这里我把这两个列表也直接全局变量了
4. 获取网页html代码部分

这里和第一个网站的代码基本相同,没做什么改动,就去掉了睡眠时间,ssl证书检测和超时时间,因为对于爬取这种小小的东西来说,实在没必要加着

def get_one_page(url): 
    global timeout
#     time.sleep(5)                                             #睡眠1秒,避免频繁范围
    headers={                                                   #在请求头中加入user-agent参数,通过random库,
        'User-Agent':random.choice(userAgentList),              #随机选取上面user-agent列表中的一条user-agent
    }
    response=requests.get(                                      #发起请求
        url,                                                    #目标网站
        headers=headers,                                        #请求头
#         timeout=timeout,                                      #超时时间
#         verify=False,                                         #不检测ssl证书
    )
    if response.status_code==200:                               #响应状态码为200的情况,表示访问成功
        response.close()                                        #按网上的方法来的,避免连接太多
        return response.text                                    #返回目标网站的html代码
    return None
5. 解析html部分

这里和第一个网站的代码也是基本相同,我甚至震惊了,看上去也没用什么前端框架,页面效果完全不同的两个网站,其中的类名竟然惊人的相似。

def parse_one_page(html):                                       #解析html部分
    global ipList,okList
    soup=BeautifulSoup(html,'lxml')                             #用beautifulsoup进行解析
    table = soup.find_all(class_="table table-bordered table-striped")[0]    #选取html代码中class为table table-bordered table-striped的第一个标签
#     print(table)
    trList = table.select("tr")                                 #再选取其中标签为tr的所有标签
#     print(trList)
    for i in range(len(trList)):                                #循环获取tr的标签列表
        if (i != 0):                                            #由于第一个tr是表头中的tr,所以我们要去掉第一个tr,所以i要不等于0
            tdList = trList[i].select("td")                     #选取当前tr标签中的td标签
#             print(tdList)
#             print(tdList[1].next_element)
#             print(tdList[1].next_element+":"+tdList[2].next_element)
            ip = tdList[0].next_element+":"+tdList[1].next_element   #通过分析html代码我们可以知道,第一个和第二个td是我们需要的ip和端口号
            aDict = {"https":ip}                                #将ip做成一个字典(其实这么做是错的,字典的key只能唯一,所以会覆盖之前的ip)
            ok = checkIpIsOK(aDict)                             #测试这个ip能不能访问之后真正想爬取的网站(请看我下一篇博客)
            ipList.update(aDict)                                #将aDict存进ipList
            okList.update({ip:ok})                              #如果测试ip可以成功访问的,就把ip存进okList
    return ipList,okList                                        #这个return其实没用,因为这两个list已经是全局变量了,外面也可以看得到
6. 检测ip是否可用部分

这里和上面的代码完全一样,因为整个代码我都是复制上一个网站的过来改的ヾ(@▽@)ノ

def checkIpIsOK(ipList):                                     #检测ip是否可以成功访问的函数
    headers={
        'User-Agent':random.choice(userAgentList),
    }
    try:
        response=requests.get(
            url='https://unpkg.com/browse/element-ui@2.14.1/',
            headers=headers,
            timeout=timeout,
            verify=False,
            proxies=ipList,
        )
        if response.status_code==200:                        #只要状态码是200就说明可以正常访问,不需要做更多操作
            response.close()
            return True
        return False
    except BaseException:
        return False
7. 主函数

这里稍微和第一个网站有些区别了,通过for循环,动态添加url中的page参数,使得可以爬取每页的内容。

def main():
    global url
    for i in range(10):                                       #通过循环取得一个数字i
        html=get_one_page(url+str(i+1))                       #因为循环是从0开始的,所以i+1,并且转换成str类型添加在url末尾
        parse_one_page(html)
    print(okList)
#     checkIpIsOK(ipList)

main()
8.最后结果

结果说明,这个网站的免费代理ip还是无法当做我的代理ip去爬我想爬的网站




三.西拉代理


这是我爬的第三个网站,首先一提,这个网站的ip有很多可用的,所以这是我爬的最后一个网站
##### 1. 网页结构
首先,还是看看网页结构


同样的也是table的样子,然后我们通过审查元素看看源代码

大致相同的布局,和前两个基本没差,注意table的类名叫fl-table,第一个<tr>是表头,每一列的第一个<td>是ip和端口号

2. 导入库
from lxml import etree
import requests
from bs4 import BeautifulSoup
import os
import re
import time
import random
3. 定义的一些全局变量

和上面的一样,除了url有变化

url='http://www.xiladaili.com/https/'                          #目标网站
basePath = os.getcwd()                                         #当前程序所在的路径
userAgentList = [                                              #user-agent列表
    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36",
    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)",
    "Mozilla/5.0 (Macintosh; U; PPC Mac OS X 10.5; en-US; rv:1.9.2.15) Gecko/20110303 Firefox/3.6.15",
    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3823.400 QQBrowser/10.7.4307.400",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4315.4 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1",
    "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.9.168 Version/11.50",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; Tablet PC 2.0; .NET4.0E)",
]
timeout = 10                                                    #连接超时时间
ipList = {}                                                     #这里我把这两个列表也直接全局变量了
okList = {}                                                     #这里我把这两个列表也直接全局变量了
4. 获取网页html代码部分

和上面的一样

def get_one_page(url): 
    global timeout
#     time.sleep(5)                                             #睡眠1秒,避免频繁范围
    headers={                                                   #在请求头中加入user-agent参数,通过random库,
        'User-Agent':random.choice(userAgentList),              #随机选取上面user-agent列表中的一条user-agent
    }
    response=requests.get(                                      #发起请求
        url,                                                    #目标网站
        headers=headers,                                        #请求头
#         timeout=timeout,                                      #超时时间
#         verify=False,                                         #不检测ssl证书
    )
    if response.status_code==200:                               #响应状态码为200的情况,表示访问成功
        response.close()                                        #按网上的方法来的,避免连接太多
#         print(response.text)
        return response.text                                    #返回目标网站的html代码
    return None
5. 解析html部分

基本没变,稍微改了一点地方

def parse_one_page(html):                                       #解析html部分
    global ipList,okList
    soup=BeautifulSoup(html,'html5lib')                         #用beautifulsoup进行解析,这个地方稍微有点不同,lxml解析不了,需要跳过html5lib来解析
    table = soup.find_all(class_="fl-table")[0]                 #选取html代码中class为fl-table的第一个标签
#     print(table)
    trList = table.select("tr")                                 #再选取其中标签为tr的所有标签
#     print(trList)
    for i in range(len(trList)):                                #循环获取tr的标签列表
        if (i != 0):                                            #由于第一个tr是表头中的tr,所以我们要去掉第一个tr,所以i要不等于0
            tdList = trList[i].select("td")                     #选取当前tr标签中的td标签
#             print(tdList)
#             print(tdList[1].next_element)
#             print(tdList[1].next_element+":"+tdList[2].next_element)
#             ip = tdList[0].next_element+":"+tdList[1].next_element
            ip = tdList[0].next_element                         #通过分析html代码我们可以知道,第一个td是我们需要的ip和端口号
#             print(ip)
            aDict = {"https":ip}                                #将ip做成一个字典(其实这么做是错的,字典的key只能唯一,所以会覆盖之前的ip)
            ok = checkIpIsOK(aDict)                             #测试这个ip能不能访问之后真正想爬取的网站(请看我下一篇博客)
            ipList.update(aDict)                                #将aDict存进ipList
            okList.update({ip:ok})                              #如果测试ip可以成功访问的,就把ip存进okList
    return ipList,okList                                        #这个return其实没用,因为这两个list已经是全局变量了,外面也可以看得到
6. 检测ip是否可用部分

没改动

def checkIpIsOK(ipList):                                    #检测ip是否可以成功访问的函数
    headers={
        'User-Agent':random.choice(userAgentList),
    }
    try:
        print(ipList)
        response=requests.get(
            url='https://unpkg.com/browse/element-ui@2.14.1/',
            headers=headers,
            timeout=timeout,
            verify=False,
            proxies=ipList,
        )
        if response.status_code==200:                        #只要状态码是200就说明可以正常访问,不需要做更多操作
            print("ok")
            response.close()
            return True
        return False
    except BaseException:
        return False
7. 主函数

这里稍微和第一个网站有些区别了,通过for循环,动态添加url中的page参数,使得可以爬取每页的内容。

def main():
    global url
    for i in range(1):                                       #不需要循环,但是懒得改代码了,所以就循环改成1,相当于没有循环
        html=get_one_page(url)
        parse_one_page(html)
#     print(okList)
#     checkIpIsOK(ipList)

main()
8.最后结果

终于成功了,有很多可用的ip




爬虫实战记录——requests与scrapy中IP池的建立与使用(及scrapy代理中间件详解、重写代理中间件等) 获取免费代理IP 这一部分中,我希望获取一些主流代理网站的免费IP供我个人使用。由于免费IP可用性相对私密代理较差,因此我希望在获取到代理后进行进行可用性的校验,并将可用IP保存至本地。同时,我希望可以对IP列表进行更新。 所需模块 import requests from lxml import etree import time import datetime import random ... 阅读详情

相关推荐

https-agent:具有透明代理支持的 Node 的 HTTPS 代理

https代理 具有透明代理支持的 Node 的 HTTPS 代理 创建一个使用https_proxy环境变量自动处理代理隧道的。 然后,您可以将代理插入您选择的 HTTP 客户端,并使用 SSL 客户端身份验证发出请求。 安装 npm install https-agent 用法 var httpsAgent = require ( 'https-agent' ) ; var fs = require ( 'fs' ) ; var agent = httpsAgent ( { pfx : fs . readFileSync ( '/path/to/client.p12' ) , passphrase : 'client' } ) ; 创建代理时支持所有标准。 对 PKCS12 格式的cert使用pfx和passphrase选项,或对单独的证书和密钥文件使用cert和key

Node 环境下 axios 的 proxy 配置—— https-proxy-agent

app.js 端口号 3000 node app.jsvar express = require('express'); const path = require('path'); const axios = require("axios"); const HttpsProxyAgent = require("https-proxy-agent"); var app = express(); app.set('port', 3000); app.get('/', function(re.

AnitaSun的博客 1万+

node-https-proxy-agent, HTTPS端点的HTTP代理 `http.Agent` 实现.zip

node-https-proxy-agent, HTTPS端点的HTTP代理 `http.Agent` 实现 https-proxy-agent HTTPS的HTTP代理 http.Agent 实现 这个模块为连接到指定的HTTP或者HTTPS代理服务器提供了 http.Agent 实现,并且可以与内置的https 模块一起使用。具体地

axios proxy 和 httpsAgent 的使用差异案例详解

因为 wadesk 开发了本地 http 服务,http 本地服务是运行在 electron-main 的纯 node 环境中的,这个之前探讨了 node 下怎么使用 fetch 时就提到了一个 https-proxy-agent 库,这次使用 axios,发现 axios 自带 proxy 配置项,就没有多想,造成了 4 个小时的时间浪费,此次排查应该作为一个反思例子对待。

王森的博客 1779

智能车竞赛环岛处理全解析:从图像识别到状态机控制

在嵌入式系统与自动控制领域,状态机是管理复杂系统行为、实现清晰逻辑流的核心设计模式。其原理在于定义一组有限的状态,以及触发状态迁移的事件和条件,从而将连续、模糊的过程分解为离散、确定的阶段。这种技术在机器人导航、工业自动化等场景中价值显著,尤其适用于需要应对多种场景、做出序列化决策的场合。在智能车竞赛中,赛道元素识别与路径跟踪是典型应用,其中环岛作为连续闭环的复杂场景,对系统的鲁棒性和决策连贯性提出了更高要求。通过图像处理提取赛道边线、宽度和曲率等特征,结合陀螺仪等传感器数据,可以构建一个专门处理环岛的状态

weixin_34033624的博客 567

从SIGGRAPH审稿人视角看:什么样的TOG论文更容易被接收?

本文从SIGGRAPH审稿人视角深入解析TOG论文的审稿标准与投稿策略,揭示如何提升论文接收概率。重点探讨创新性、技术深度、实验验证等核心评分维度,并提供写作技巧与审稿意见应对策略,帮助研究者优化ACM Transactions on Graphics投稿质量。

weixin_33721344的博客 110

爬取快代理的免费IP并测试

各大免费IP的网站的反爬手段往往是封掉在一定时间内访问过于频繁的IP,因此在爬取的时候需要设定一定的时间间隔,不过说实话,免费代理很多时候基本都不能用,可能一千个下来只有十几个可以用,而且几分钟之后估计也扑街了。虽然有那种付费的大量代理IP,但是也不见得好,测试过,里面优质的也很少。目前体验比较好的还是私密代理,当然还有其他。贵有贵的道理。 import requests imp...

disuoshao7625的博客 337

用C++从零复刻Wordle:手把手教你实现命令行猜词游戏(含完整源码解析)

本文详细介绍了如何使用C++从零开始实现一个命令行版本的Wordle猜词游戏,包含完整的源码解析和核心模块设计。通过游戏逻辑控制器、单词库管理器等模块的构建,开发者可以学习C++实战技巧和性能优化方法,适合提升编程能力和游戏开发兴趣。

weixin_26763955的博客 336

python爬取代理IP并进行有效的IP测试

爬取代理IP及测试是否可用 很多人在爬虫时为了防止被封IP,所以就会去各大网站上查找免费的代理IP,由于不是每个IP地址都是有效的,如果要进去一个一个比对的话效率太低了,我也遇到了这种情况,所以就直接尝试了一下去网站爬取免费的代理IP,并且逐一的测试,最后将有效的IP进行返回。 在这里我选择的是89免费代理IP网站进行爬取,并且每一个IP都进行比对测试,最后会将可用的IP进行另存放为一个列表 https://www.89ip.cn/ 一、准备工作 导入包并且设置头标签 import requests

weixin_45066966的博客 3216

8.5/Q1,Charls最新高分文章解读!

8 257名受试者中,672人(8.14%)在9年内发生过卒中。在调整的多因素cox回归模型中,TyG和ABSI仍然是卒中的预测因素,TyG的HR为1.25(95%CI:1.06~1.47),ABSI的HR为1.33(95%CI:1.06~1.68)。TyG和ABSI联合诊断效能最高(AUC:0.579,95%CI:0.553~0.597),而TyG(AUC:0.566,95%CI:0.544~0.587)和ABSI(AUC:0.533,95%CI:0.524~0.597)的诊断效能最低。

gsky_sci的博客 1017

UVM验证中,为什么我的pack_bytes()返回长度是0?手把手教你排查自定义do_pack函数

本文深入解析UVM验证中pack_bytes()返回长度为0的常见原因及系统排查方法。从UVM打包机制原理出发,详细列举了super.do_pack()缺失、field automation冲突等典型问题,并提供动态数组处理、位宽计算等进阶调试技巧,帮助开发者快速定位和解决自定义do_pack函数问题。

weixin_42523693的博客 127

多线程爬取免费代理ip池 (给我爬)

多线程爬取免费代理ip池 (给我爬) 文章目录多线程爬取免费代理ip池 (给我爬)安装的库IP 隐藏代理ip多线程爬取读入代理ip写入代理ip验证代理ip解析网页得到代理ip获取网页响应测试已有文件的ip是否正确多线程爬取完整代码 天网恢恢疏而不漏,有时候爬太多数据的时候会把自己的ip给封掉,所以呢,我左思右想,就想能不能把自己的ip给换掉,换成那种高匿ip,这样的话,就找不到我的真实ip,这样我就可以好好隐藏自己了哈哈哈。(注意:本博客和代码仅可用于计算机技术学习及数据抓取、爬虫采集等合法行为) 安装的库

风信子的猫Redamancy的快乐星球 3179

便携式水下动态实时视频色彩还原设备,一键快速实现对水下偏色视频和图像的色彩还原处理

便携式水下动态实时视频色彩还原,一键快速对水下图像进行色彩校正,清晰度提升和亮度均衡处理,为水下资源勘探和科学考古,海洋生态环境监测,水下机器作业等应用提供有力的协助

weixin_43518680的博客 634

代理的基本原理 及用Xpath爬取代理网站IP列表 测试并存入数据库

前言 在网络爬虫中,有些网站会设置反爬虫措施,服务器会检测某个IP在单位时间内的请求次数,如果超过了这个阈值,就会直接拒绝服务,返回一些错误信息,例如 403 Forbidden,“您的IP访问频率过高”这样的提示,这就是IP被封禁了,这种情况下就需要进行IP伪装。 代理的基本原理 代理实际上指的是代理服务器(proxy server),它的功能是代理网络用户去去的网络信息,是网络信息的中转站,一般情况下,请求访问网站时,是先发送请求给Web服务器,Web服务器再把响...

Yy_Rose的博客 2583

【系统分析师】核心考点:100个高频知识点汇总

本文系统梳理了系统分析师考试的11大领域高频考点,重点解析了计算机硬件与体系结构的7个核心知识点:计算机五大部件(CPU/存储器/总线等)、校验码类型(奇偶/海明/CRC)、CISC与RISC指令系统对比、总线分类与特性、RAID磁盘阵列级别、流水线技术原理及Flynn系统分类法。内容涵盖硬件组成、数据校验、指令架构、存储技术等关键概念,通过表格对比和公式说明,为考生提供结构化的知识框架与备考重点。

数据知道的博客 5575

YOLOv11改进策略【损失函数篇】| 引入Soft-NMS,提升密集遮挡场景检测精度,包括GIoU-NMS、DIoU-NMS、CIoU-NMS、SIoU-NMS、 EIou-NMS

传统的非极大值抑制(NMS)算法在目标检测中存在一个问题,即当一个物体的检测框与具有最高得分的检测框M有重叠(在预定义的重叠阈值内)时,会将该检测框的得分设置为零,从而导致该物体可能被遗漏,降低了平均精度。为了解决这个问题,作者提出了Soft-NMS算法。本文将YOLOv11默认的NMS修改成GIoU-NMSDIoU-NMSCIoU-NMSSIoU-NMSEIou-NMS。

Limiiiing的博客 4321

Python:爬取免费代理IP创建自己的代理IP池

在进行爬虫时,有时候爬取的次数多了或者短时间太过频繁就会出现无法访问的情况,此时是网站封了我们的IP ,为了避免这种情况,我们可以设置代理IP池,通过爬取免费代理IP网站获取代理IP ,然后不断测试更新代理IP池。由于免费的代理IP的不稳定性,因此只能是给大家提供个参考,在真正应用到工程时还是需要有稳定的代理IP。 下载运行ProxyPool step1: 下载ProxyPool代码,按照说明配置好Python环境:安装redis数据库,并启动服务,然后安装Python依赖包 pip install

xiaoxiaojie521的博客 727

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

【虫术】资深爬虫师带你爬取代理IP

  有时候在网站看小说,会莫名跳出来一个“疑似机器恶意爬取,暂时无法访问”这样类似的网站提示,需要刷新一下或者输入一个验证码才能重新进入,这样的情况偶有发生,相信大家都有遇到过。出现这个现象的原因就是我们浏览的网页采取了反爬虫的措施,特别做爬虫爬取网页,在某个ip单位时间请求网页次数过多时,服务器会拒绝服务,这种情况就是由于访问频率引起的封ip,这种情况靠解封不能很好的解决,所以我们就想到了...

拿Q 875

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

python爬虫基础(6:IP代理池)

除了上篇文章(https://blog.csdn.net/Jeeson_Z/article/details/81409730)提到的 UA检测 外 反爬措施还有 IP检测 IP检测 有些网站当检测到同一个IP连续快速访问时,可能会把这个IP拉黑,封锁掉 爬虫的速度贼快,有极大的可能被网站封锁 IP代理 相当于一个 中介 你把请求给他,他帮你安排不同的IP访问,相当于是很多不同的IP在...

Jeeson_Z的博客 1154

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

爬取某代理网站代理IP

import re from urllib.parse import urlparse import requests from fake_useragent import UserAgent class ProxySpider: def __init__(self,url_init='https://www.xicidaili.com/nn/'): ''' ...

ryuhfxz的博客 835

如何获取大量廉价可靠代理IP地址?

  难在怎么拥有起码5000个以上的IP地址,对于我这种平民玩家,我更喜欢免费代理,毕竟不花钱,想要免费代理的话,这个我们可以弄个Cookie池,   免费代理网站: 代理名 网站 快代理 https://www.kuaidaili.com/ops/ 66免费代理 http://www.66ip.cn/ IP海 http://www.iphai.com...

u010013838的博客 1254

Scrapy反爬机制——ip代理池

简介 在众多网站中通过检测某一ip的请求频率来判断是否为爬虫的请求是最有效率和准确的反爬策率之一,所以写爬虫程序时限制请求的频率尤其重要,但爬虫限速也无法幸免于难时,就需要通过其他的手段了。通过ip代理池随机更改每次请求时的ip可以非常有效的应对这种反爬策略。这里主要说一下不要钱的方法。 不要钱的方法 免费的ip代理在百度一搜一大堆,是的这种方法就是将免费的代理ip爬下来并存到数据库,自己维...

hengdawei3087的博客 698

python建立ip代理池_Python爬虫——建立IP代理池

在使用Python爬虫时,经常遇见具有反爬机制的网站。我们可以通过伪装headers来爬取,但是网站还是可以获取你的ip,从而禁掉你的ip来阻止爬取信息。在request方法中,我们可以通过proxies参数来伪装我们的ip,一些网站上有免费的ip代理网站,可以通过爬取这些ip,经检测后建立ip代理池。ip代理网站:(https://www.xicidaili.com/nt/)(https://w...

weixin_35340181的博客 539

js获取ip_爬虫被封怎么办?用Node.js构建一个私人IP代理池

还记得刚学爬虫的时候,选了一个美女网站来练手,效率极高,看到什么都想爬下来。爬得正高兴呢,出现了一连串错误信息,查看后发现因为爬取太过频繁,被网站封了ip,那时起就有了构建代理ip池的念头。网上搜索一下代理ip就会发现有很多网站提供,但是稳定好用的都要收费,免费倒也有一堆,但大多数都不能用。而且我写的一般都是小爬虫,极少有爬取上白g数据的时候,用收费的代理ip有点浪费。所以,写了这个代理ip池,从...

weixin_39778393的博客 308

多线程爬取代理并验证

前言 在反爬虫中最常见的一种手段就是,判断你的请求频率。如果你在短时间内发送了大量的请求,不管你是不是人,先封你账号或者ip一段时间。这时为了达到自己爬虫的目的就需要使用代理IP,用它来伪装自己。下面就用多线程爬取代理ip并且验证。 分析 本次的免费代理ip的来源是西刺免费代理IP,请看下图: 源码分析:由下图,我选择用xpath直接提取,和BeautifulSoup相比,xpath不但快而且还...

qq_44767889的博客 335
上一篇: 一个奇怪的跨域问题
下一篇: 巨简单的golang入门,学不会我一头撞死豆腐上
请叫我江同学呀
博客等级 码龄7年 29粉丝 29原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值