python最简洁!最简单!爬取糗百笑话内容!(有详细说明)

详细实例:用python爬虫爬取幽默笑话网站!(建议收藏) 前言: 今天为大家带来的内容是详细实例:用python爬虫爬取幽默笑话网站!(建议收藏),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下! 爬取网站为:http://xiaohua.zol.com.cn/youmo/ 查看网页机构,爬取笑话内容时存在如下问题: 1、每页需要进入“查看... 阅读详情

python最简洁!最简单!爬取糗百笑话内容!

最近突然想起了半年前上python实验课的时候老师布置的实验内容,爬取糗百笑话,印象非常深刻,当时只学了关于爬虫最基本的内容,虽然自己很感兴趣,但仅仅简单了解了相关库的基本的使用方法,根本无从下手(当时看了两个多小时的代码,全程懵逼,还记得当时连替换requests请求的headers都要百度),所谓说,老师领进门,修行靠自己,现在就弥补以下当时的遗憾(时间过得有点久,哈哈哈哈哈),用自己认为最简单!最简洁!的代码爬取一下。

首先给出目标网页的第一页的url:

糗百官网

上代码:

1.所要用到的库:

import requests
from bs4 import BeautifulSoup
import re

老样子,requests库主要用来发起请求获得目标网页的源代码,BeautifulSoup库和re库组合使用,利用正则表达式***一行代码***抓取所要的内容。

2.给出整体程序的执行流程(是不是一看就明白呀):

if __name__ == '__main__':
    page = 5   #page表示爬取笑话内容的html网页的页数,此为5页
    url_list = []    #存放5页的url链接

    #通过观察每一页的url链接的特点,通过for循环将每一页的url链接存入url_list列表中备用
    for i in range(1,page+1):
        i = str(i)
        url = 'https://www.qiushibaike.com/hot/page/' + i + '/'
        url_list.append(url)

    list = getJokeText(url_list)   #解析每一个网页源代码,获得未经处理的笑话内容,列表形式返回
    text_list = subText(list)    #处理内容,将<br/>换行符剔除
    saveText(text_list)     #保存到本地指定.txt文本文档中

3.具体解析每一个方法的实现:

(1)获取网页的源码:

#获取网页的源码
def getHTMLText(url):
    try:
        hd = {'user-agent':'chorme/10'}
        r = requests.get(url,headers = hd)
        r.raise_for_status()
        #r.encoding = r.apparent_encoding
        return r.text
    except:
        return ''

这个代码可以作为一个爬取网页源码的通用框架来使用,需要注意的是此处未使用从爬取网页解析出的编码方式,及r.apparent_encoding返回的结果,因为requests请求返回的头部信息中就有编码方式gbk,不试用此会出现乱码的情况,兄弟们可以自己试一试哟。

(2)解析每一个网页源代码,获得未经处理的笑话内容,列表形式返回:

在写代码前先观察下目标内容的所在的标签位置(F12直接查看源码):

很容易就看出其中的特点,上代码!

#解析网页

def getJokeText(url_list):
    a = []  #存放未经处理的爬取到的笑话内容
    for i in url_list:
        soup = BeautifulSoup(getHTMLText(i),'html.parser')
        #通过soup.find_all方法,设置其中的属性直接找到存放内容的标签<span>的父亲标签<div class="context">
        for j in soup.find_all('div', attrs={'class': 'content'}):
            text = re.findall(r'<span>(.*?)</span>', str(j), re.S)    #正则表达式一行代码爬取内容
            a.append(text)   #添加进a列表中
    return a

此时已经将内容爬取到,但其中包含很多换行符标签,在网页源代码截屏处也可以看到

注意re.findall()中设置标志r.S是表明包含换行符在内的所有内容,若不设置的话会返回空的呢,可以自己试一试其中的区别。

(3)处理内容,将换行符剔除:

def subText(list):
    text_list = []   #存放处理好的内容
    for list in list:
        for text in list:
            tds = re.sub(r'<br\/>', '', text, re.S)      #用正则表达式将内容中的<br/>找到替换为空字符串
            text_list.append(tds)
    return text_list

(4)保存到本地指定.txt文本文档中:

def saveText(text_list):
    path = 'jok.txt'
    with open(path, 'w', encoding='utf-8') as f:
        for i in text_list:
            # i.encode("utf-8")
            f.write(i)

注意在打开文件时必须指定编码方式,否则会保存不进去的哟,你可以试一试二者的不同

(5)出结果!上图!
在这里插入图片描述

在这里插入图片描述

是不是很简单呀,总结以下自己在写代码时的新的体会,当抓取多个页面的具有相同格式的内容时,建议先从一页开始,当一页成功的时候,多页内容直接for循环就完全ojbk了

Python-爬虫-段子网笑话 Python-爬虫,通过使用BS4,requests库页面爬取所需信息 立即下载

相关推荐

【python爬虫 系列】15.实战五 爬取笑话大全

BeautifulSoup4是爬虫必学的技能。BeautifulSoup最主要的功能是从网页抓取数据,Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为utf-8编码。BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,如果我们不安装它,则 Python 会使用 Python默认的解析器,lxml 解析器更加强大,速度更快,推荐使用lxml 解析器。 爬取笑话大全: 冷笑话的页面: 1.寻找url规律: http://xiaohua.zol.com.cn/lengxiaohua/1.html http://xiaohua

Python爬虫抓取笑话

爬虫爬取糗事百科 提示:爬取笑话讲给女朋友,这是属于我们爬虫爱好者的浪漫 文章目录爬虫爬取糗事百科前言一、为什么学爬虫二、爬虫开始1.引入库2.获取网页3.获取网页4.调用函数5.爬取的内容展示总结 前言 随着python语言的不断发展,爬虫这门技术也越来越重要,很多人都开启了自己的爬虫之路,本文就介绍了爬虫的功能。跟着我带你走进爬虫的大门 提示:以下是本篇文章正文内容,下面案例可供参考 一、为什么学爬虫 爬虫是可以有规则的提取html的内容,获取到我们需要的对象,爬虫的高效和简单让我们爬虫爱好者更

IT6848的博客 790

Latex | IEEE双栏排版中长公式的排版

IEEE双栏排版中,有时候公式过于长了,过宽,导致单栏排版不下。

qq_43466146的博客 1万+

【python实现网络爬虫(8)】requests+bs4实现笑话大全数据爬取

这里就直接给代码和输出结果 import re import requests from bs4 import BeautifulSoup def get_url(n): lst = [] for i in range(n): ui = f"http://xiaohua.zol.com.cn/lengxiaohua/{i}.html" lst.append(ui) return ...

lys_828的博客 1141

使用libx265对YUV进行h265编码

使用libx265对YUV进行h265编码

Embedded engineer 3082

ZYNQ RFSoC 的DAC如何做到从 0到Fs频段 信号输出

之前一直没太了解 RFSoC 的DAC如何输出在 Fs/2 到 Fs 频率范围内的信号,例如 ZCU216中的 ZU49DR,其RF-DAC最大采样率是 9.85GSPS,如果想输出的信号中心频率在5.8G,它是如何有效输出在第二奈奎斯特区域范围的信号的。

weixin_44630490的博客 1555

Python利用Beautifulsoup爬取笑话网站

利用Beautifulsoup爬取知名笑话网站 首先我们来看看需要爬取的网站:http://xiaohua.zol.com.cn/ 1.开始前准备 1.1 python3,本篇博客内容采用python3来写,如果电脑上没有安装python3请先安装python3. 1.2 Request库,urllib的升级版本打包了全部功能并简化了使用方法。下载方法...

weixin_33755557的博客 256

WPS制作甘特图实操(带图超详细)

一、数据准备 图1 二、添加公式 在表格的E3处添加公式:=IF(C3>=G3,0,IF(C3+D3>=G3,G3-C3,D3)),点击该单元格的右下角。使鼠标箭头变“+”后下拉拖拽,复制该公式。F3处的公式为:=D3-E3,使用相同的拖拽方式复制公式应用,操作完毕如下图3. 图2 图3 三、插入图表 1、选中方框1内容,按住ctrl按键,继续选择2、3列的内容,点击插入全部图表中的条形图,选择2对应的图标样式,生成图6的样式。 点击图6中的3标尺,右击选择数据弹出图8,点击+号选择表格中

m0_49047167的博客 3万+

Python 爬取与反爬取进阶

目录 任务描述 相关知识 编程要求 测试说明 任务描述 本关任务:使用随机请求头爬取 www.qiushibaike.com/text/ 前两页的段子内容,并保存在 ./step4/content.txt 中。 相关知识 在反爬机制中,许多网站会通过 ip 以及请求头来限制你的访问,在不影响网站正常运作的情况下,我们可以使用 ip 代理池以及随机请求头来伪装自己的爬虫,其中需要用到的就是 python 的 random 模块。 编程要求 请仔细阅读右侧代码,结合相关知识,在 Be

xiaolanglang_的博客 2590

英飞凌功率MOSFET SPICE 瞬态仿真不收敛问题解决(基于TINA)

英飞凌功率MOSFET SPICE仿真容易出现不收敛问题,这个对于IGBT和SIC的管子应该是一样的,在瞬态仿真分析中,出现如下图所示的报错,Convergence problem。spice是为线性电路设计的,例如运算放大器、线性电源等,不是专门仿真开关电路的。在瞬态仿真时,仿真器是要不断迭代求解的,开关快速的跳变,容易在迭代式出现不收敛的问题。,由于时间步长减少,会消耗更多的计算机内存,如果运行多次内存消耗过大,会报“Out of memory”.解决方法是:报错工程,重启软件,内存重新计算。

miaoxiaokeji的博客 2305

生成式引擎优化(GEO)全景指南:技术架构、实施策略与未来趋势

生成式引擎优化(GEO)全景指南摘要 GEO(生成式引擎优化)是针对AI生成内容(如ChatGPT、文心一言等)的优化策略,通过结构化数据、权威建设与语义优化提升企业内容在AI答案中的引用优先级,实现“无点击曝光”。其核心价值在于从流量竞争转向信任构建,突破传统SEO局限。技术架构依托RAG(检索增强生成)、向量数据库及反馈学习机制,动态优化内容生成与引用逻辑。实施策略包括:部署结构化数据(如JSON-LD)、维护动态知识图谱、适配多模态内容(3D/VR)、联合权威机构发布白皮书。行业案例显示,美妆、智能家

解锁AI流量新红利!🚀 GEO优化(生成引擎优化)助您掌控AI搜索,让AI成为您的品牌最佳代言人! 1455

【python】爬虫-爬取糗百

# -*- coding: utf-8 -*- from urllib import request from urllib import error import re, threading, time '''author fzuim''' class QSBK: def __init__(self): self.pageIndex = 1 self....

Fzuim的博客 315

知识图谱(Knowledge Graph)原理与代码实战案例讲解

知识图谱(Knowledge Graph)原理与代码实战案例讲解 作者:禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来

AI天才研究院 1081

【python实现网络爬虫(3)】最简单的网络爬虫(笑话大全网冷笑话标题爬取)

爬取笑话网 笑话大全网址,找到笑话分类,选择冷笑话 窥探网页细节 首先、观察翻页之后URL的变化 第一页的URL:http://xiaohua.zol.com.cn/lengxiaohua/ 第二页的URL:http://xiaohua.zol.com.cn/lengxiaohua/2.html 第三页的URL:http://xiaohua.zol.com.cn/lengxiaohua/3.ht...

lys_828的博客 3445

SAP 集成泛微 OA Open API 新建流程申请接口

《SAP ERP 与泛微 OA 的系统集成》系列文章。泛微 Open API 是基于 HTTPS 的 Restful 接口,上篇文章,我已经完成了调用业务接口之前的准备工作,这篇文章我以新建流程申请这个系统集成最重要的接口为例,讲解接口设计、泛微 API 调用的过程、遇到的问题、解决的办法。

SAP李斌,本人承诺所有原创文章均不使用任何AI生成技术,请大家放心阅读。 3558

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

python爬虫实践之爬取笑话段子

目录 概述 准备 所需模块 涉及知识点 运行效果 完成爬虫 1. 分析网页 2. 爬虫代码 概述 爬取笑话段子。 准备 所需模块 re requests lxml 涉及知识点 python基础 requests模块基础 re模块基础 xpath表达式基础 运行效果 控制台打印: 完成爬虫 1. 分析网页 打开笑话大全,按F12分析网页 第一页的U...

二木成林 924

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Python爬取笑话存储在mysql里

爬取思路:爬取http://www.jokeji.cn/,得到一个html页面,分析此html页面,获得分类框里的所有分类的url地址,遍历每一个分类的url,爬取分类url的html网页,分析分类url网页,得到全部笑话网页列表,遍历笑话网页列表url,得到最终的包含一个一个笑话的html页面,获取笑话,存储到mysql数据库。 爬取我用的是Google浏览器,在这个网站下按F12就可以看到网页...

人生苦短, 还不用Python? 363

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

python成功爬取拉勾网——初识反爬(一个小白真实的爬取路程,内容有点小多)

python成功爬取拉勾网(一个小白的心里路程) 最开始想爬取拉钩是因为半年前上python实验课的时候,老师给了两个任务,一个时爬取糗百的笑话内容,另一个时爬取拉勾网的职位信息,当时因为课时紧张的缘故,老师讲解了关于爬虫的相关的库(requests,BeautifulSoup库等)的基本使用方法,发下了爬取糗百网的源码,让我们自己试一试,说是拉勾网不好爬取,目前的水平不够。疫情在家这几天我基本可...

cc的博客 5222

Python爬取糗百内容

先上代码,此处代码参照 崔庆才博客-Python爬虫实战一之爬取糗事百科段子,感谢分享,在这里仅记录一下自己实战时的理解,如有不对之处,还请帮忙指正。 崔庆才的博客-Python爬虫实战一之爬取糗事百科段子 # -*- coding:utf-8 -*- import urllib import urllib2 import re url = 'http://www.qiushib

永远的魔术1号 472

爬虫爬取幽默笑话

爬取网站为:http://xiaohua.zol.com.cn/youmo/ 查看网页机构,爬取笑话内容时存在如下问题: 1、每页需要进入“查看更多”链接下面网页进行进一步爬取内容每页查看更多链接内容比较多,多任务进行,这里采用线程池的方式,可以有效地控制系统中并发线程的数量。避免当系统中包含有大量的并发线程时,导致系统性能下降,甚至导致 Python 解释器崩溃,引入线程池,花费时...

376

python爬取糗百第一页的笑话

自学python网络爬虫,发现request比urllib还是要好用一些,因此利用request和BeautifulSoup来实现糗百的首页笑话的抓取。BeautifulSoup通过find和findAll以及利用正则表达式实现HTML对应模块的抓取,当然select也是一个不错的选择。下面是临时的代码,后续还会继续完善。 1 # coding=utf-8 2 import reque...

weixin_34119545的博客 151

Python——获取各种笑话/段子

获取各种笑话/段子

Boom!脑洞大爆炸的博客 2049

Python爬虫项目:爬虫爬取正则分析糗百数据

在上一章学习中,介绍了网络爬虫的作用和在Python中使用自带模块urllib.request的步骤。并且提到了当服务器后台提供动态数据时,可使用charles等软件获取动态数据的接口地址,得到的json数据可用python自带模块内存的数据结构的形式存储。但是爬虫时,很多情况下,数据会直接显示在网页上,需要获取全部网页数据后,在进一步加以分析,提取有用数据,进行存储或者其他操作。在本章学习中,我...

u012156341的专栏 367

【python实现网络爬虫(7)】scrapy爬取笑话大全网站全过程(505问题的解决)

确定要爬取的网站及内容 笑话大全网站中的冷笑话,如下 要采集的字段,有标题,来源、正文、点赞数和被踩数五个部分 创建scrapy项目 步骤一、启动爬虫项目 在某处(比如桌面)创建一个名称为“scrapy爬取笑话大全”新的文件夹,然后进入该文件夹中空白位置同时点击shift+鼠标右键,在弹出的窗口中选择“在此处打开powershell窗口”,然后输入如下代码指令(代表创建一个名为jokes的项目爬...

lys_828的博客 1376

使用Python3和BeautifulSoup爬取笑话网站内容,并导入Excel

本文使用Python3和BeautifulSoup爬取网站内容,并导入Excel。   #抓取糗事百科笑话的脚本 import urllib.request from bs4 import BeautifulSoup import xlwt #写入文件 import xlrd #打开excel文件 import time #返回文本式的html def getHTML(url): ...

李谦的博客 3万+
上一篇: python批量爬取图片并保存在本地文件夹下
下一篇: Matplotlib库入门——简单使用方法(折线图,柱状图,饼图,散点图)
onesalatree
博客等级 码龄9年 179粉丝 58原创
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值