致CSDN读者的一些话:感恩这十年的陪伴,不负遇见,短暂消失

pyecharts丨将主题的演变嵌入时间长河中——主题河流图 主题河流图 终于是好像比较高级的图了hhhh但其实早在2008年都有比较出色的运用了, 2008年2月,《纽约时报》发布了一个最典型、最著名的河流图的例子《电影的衰退和流动:过去20年的电影票房收入》,描述了从1986年1月到2008年2月期间,所有电影的上映时间以及期间的周票房变化。在这个河流图中,流形状的宽度代表了某部电影的周票房,流形状的起始是由电影的上映时间决定的。颜色由电影的总票房决定,票房就是电影的“附加定量”,颜色越深代表了电影最终票房越高。 那么应该怎么去看这个看上去花里胡哨的河流图呢 阅读详情
AI摘要

本文作者回顾了在CSDN的十年博客生涯,分享了使用Python进行文本挖掘的过程,包括数据爬取、计量统计、词云、LDA主题模型、情感分析等,并表达了因博士学业暂时放缓技术博客更新的决心。

从2010年我来到CSDN,再到2013年我撰写第一篇博客,转眼已经过去十年。590篇原创文章,786万次阅读量,19万位关注博友,这一个个数字的背后,是我3000多天的默默付出,也是我写下近千万文字的心血。

有人说,世间一切,都是遇见,都是机缘。是啊,因为CSDN,我与很多人成为了好朋友,虽未谋面,但这种默默鼓励、相互分享的感觉真好;因为CSDN,我人生进度条八分之一(十年)的许多故事在这里书写,笔耕不辍,也算不得辜负时光吧;因为CSDN,我更珍惜每一位博友、每一位朋友、每一位老师,解答大家的问题,鼓励考研或找工作失败的人继续战斗;因为CSDN,我认识了女神,并分享了许多我们一家的故事。

东西湖的夜很静,博士的征途很辛苦,远方的亲人异常思念。
为什么我要写这样一篇文章呢?一方面,感谢读者这十年的陪伴和包容,不论我分享什么内容,你们给予我的都是鼓励和感动;另一方面,因为改变,接下来我将短暂告别CSDN一段时间(技术更新放缓),好好沉下心来去读论文,去做做科研。

同时,这篇文章非常硬核,会利用Python文本挖掘详细分享这十年的故事,也算是为文本挖掘初学者和写相关论文的读者一些福利。真诚的对所有人说一声感谢,感恩这十年的陪伴,不负遇见,不负时光。请记住一个叫Eastmount的分享者,此生足矣~

在这里插入图片描述


一.忆往昔分享岁月

关于作者与CSDN这十年的故事,可以阅读这篇文章:

十年,转瞬即逝,我从青葱少年成长为了中年大叔。或许,对其他人来说写博客很平淡,但对我来说,它可能是我这十年最重要的决定和坚守之一。

十年,不负遇见,不负自己,不负时光。感恩所有人的陪伴,因为有你们,人生路上我不孤单。幸好,这十年来,我可以摸着自己的良心说,每一篇博客我都在很认真的撰写,雕琢,都在用万字长文书写下我的满腔热血。

下图是我这十年分享博客按月统计的数量,从2015年找工作分享一次高峰,到如今读博,从零学习安全知识并分享又是一座高峰。

在这里插入图片描述

下图是这十年我在CSDN撰写博客的主题演化图,整个十年,我经历了四个阶段。

  • 本科阶段:2013年3月至2014年8月
    当时以本科课程为主,包括C#、网络开发、课程基础知识等等。
  • 硕士阶段:2014年9月至2016年8月
    该阶段研究生方向为NLP和知识图谱,因此撰写了大量的Python基础知识,包括Android、C#、面试和LeetCode、网站开发等等。
  • 工作阶段:2016年9月至2019年7月
    该阶段作者初入职场,选择回到贵州当一名普通的大学教师,并分享了《Python数据挖掘》《网站开发》等课程,撰写《Python人工智能》《Python图像处理》等专栏。
  • 博士阶段:2019年9月至2021年4月
    该阶段作者再次返回校园,离别家乡亲人选择读博,并换了大方向,转而学习系统安全和网络安全,大量安全知识从零学起,《网络安全自学篇》《网络安全提高班》《系统安全和恶意代码检测》专栏也开启。

在这里插入图片描述

有许多人问我,“你分享快乐吗?”
快乐。其实每写一篇博客我的内心都非常喜悦的,每看到读者的一个点赞或评论,我真的开心得像一个小孩。

那为什么还要短暂消失呢?
因为毕业,因为想家,因为想他(她)。我相信,大多数分享者都和我有同样的心情,分享知识的魅力让人久久不能忘怀。但每个阶段都需要做每个阶段的事,远方的亲人尤为思恋,经过我反复思考,所以我决定短暂放下技术博客的撰写,转而选择论文研究。

在这里插入图片描述

短暂的消失,并不意味着不分享。
而接下来90%的分享都将与论文和科研技术相关,并且每个月不再PUSH自己写文。我不知道接下来的几年,我究竟能做到什么程度,我也不能保证能否发一篇高质量的论文,但我会去拼搏,会去战斗,会去享受。况且,这十年走来,我从来不认为自己是个聪明的人,比我优秀的人太多太多,我更喜欢的是默默撰写,默默经历,陪着大家一起成长。别人称赞我博客的时候,我更多的回复是“都是时间熬出来的”,也确实是时间熬出来的,只是写了3012天。

但我是真的享受啊,享受在CSDN所分享的一切,享受与每一位博友的相遇相识,享受每一位朋友的祝福与鼓励,我感恩的写下590篇文章,65个专栏,千万文字和代码,也勉强可以说上一句“不负遇见,不负青春,此生足矣”。

在这里插入图片描述

在这里插入图片描述

下图展示了这十年我写的博客涉及的各个方向。这些年,我一直都知道学得太杂,而没有深入,就希望博士期间能深入某个领域,博一博二安全基础知识也学了很多,所以接下来是时候进入第五个阶段,开启论文的阅读和撰写以及实验复现。也希望博友们理解,更期待您的陪伴。

在这里插入图片描述

沙子是握不住的,时间也是。
但当我付出之后,我可以随手把它扬起,我可以把在时间中发生的点滴记录,比如技术、又如爱情。读博苦吗?苦,无数个寂静的夜都需要我们去熬,去拼,但有的人更苦,比如家里的另一位。接下来三年,我希望自己始终记住,我为什么选择来到这里,选择来到东西湖。也是时候沉下心来去学习论文和做实验了,技术分享该放就放,虽然不舍。握不住的沙,就随手扬了它;即便回到原点,我也没有失去什么,况且这段经历也是人生的谈资啊。也希望每一位博友都珍惜当下,都去做自己喜欢的事情,去经历。

在这里插入图片描述

我看着路,梦的入口有点窄,这或许是最美丽的意外。
这篇文章我将使用在CSDN的第一次群发,还请见谅,下一次应该是2024年我博士毕业那天。再次感谢所有人的陪伴,一个好的分享者需要不断去学习新知识,前沿技术再总结给大家,所以我们应该尊重每一位创作者的果实。同时,我在这里向所有读者保证,三年之后,我将带着新的理解,新的感受,去分享更优质的文章,去回馈所有读者,帮助更多初学者入门,或许手痒我也会写一篇非常详细的总结吧。

再次感谢大家,希望大家记住CSDN有一位叫Eastmount的作者,一位叫杨秀璋的博主,如果能记住娜璋和小珞一家就更开心了,哈哈~爱你们喔,困惑或遇到困难的读者,可以加我微信共同前行。

在这里插入图片描述

我们的故事都还在续写,你们的陪伴依然继续。
最后,熟悉我的读者知道我开了三个付费专栏。常常有读者因在校读书或经济拮据,因此我在文中多次提到可以私聊我给全文,其实我早已把这些文章开源到了github,我更希望每一位读者都能从文章中学到知识,希望觉得文章好且手里轻松的给个9块打赏,奶粉钱就够了。在此,我也把这三个地址分享给需要的读者吧!且行且珍惜,购买也欢迎喔。

  • Python图像处理
    https://github.com/eastmountyxz/CSDNBlog-ImageProcessing
  • 网络安全自学篇
    https://github.com/eastmountyxz/CSDNBlog-Security-Based
  • Python人工智能
    https://github.com/eastmountyxz/CSDNBlog-AI-for-Python

在这里插入图片描述

给想学技术的说声抱歉,大家记得等我喔!江湖再见,感恩同行。

在这里插入图片描述



二.硬核-CSDN博客文本挖掘

之前我给学安全的读者一波福利,告诉大家安全学习路线及CSDN优秀的博主。

这里,我最后再给Python文本挖掘读者一波福利。希望您喜欢~这篇文章思路大家可以借鉴,但不要直接拿去写论文喔!但思路已经非常清晰,大家一定动手撰写代码。

1.数据爬取

这里不介绍具体代码,保护CSDN原创,但会给出对应的核心知识点。建议读者结合自己的方向去抓取文本知识。

核心扩展包:

  • import requests
  • from lxml import etree
  • import csv

核心流程:

  • 解决headers问题
  • 解决翻页问题
  • 审查元素分析DOM树结构
  • 定位节点采用Xpath分析
  • 分别赚取标题、URL、时间、阅读和评论数量
  • 详情页面抓取

在这里插入图片描述

在这里插入图片描述

爬虫输出结果,建议学会打桩输出(多用print)。

在这里插入图片描述

整理后的结果如下图所示,内容输出到CSV存储。

在这里插入图片描述


2.计量统计和可视化分析

(1) 按小时分析作者撰写习惯
首先,我们来分析作者“Eastmount”的撰写博客习惯,同时利用Matplotlib和PyEcharts绘制图形,发现Echarts绘制的图形更好看。由图可知,该作者长期在深夜和下午撰写博客。

在这里插入图片描述

源代码如下:

# encoding:utf-8
"""
By:Easmount CSDN 2021-04-19
"""
import re
import time
import csv
import pandas as pd
import numpy as np

#------------------------------------------------------------------------------
#第一步 读取数据
dd = []   #日期
tt = []   #时间
with open("data.csv", "r", encoding="utf8") as csvfile:
    csv_reader = csv.reader(csvfile)
    k = 0
    for row in csv_reader:
        if k==0:      #跳过标题
            k = k + 1
            continue
        #获取数据 2021-04-08 21:52:21
        value_date = row[4]
        value_time = row[5]
        hour = value_time.split(":")[0]
        hour = int(hour)
        dd.append(row[4])
        tt.append(hour)
        #print(row[4],row[5])
        #print(hour)
        k = k + 1
print(len(tt),len(dd))
print(dd)
print(tt)

#------------------------------------------------------------------------------
#第二步 统计不同小时的个数
from collections import Counter
cnt = Counter(tt)
print(cnt.items())  #dict_items
#字典按键排序
list_time = []
list_tnum = []
for i in sorted(cnt):
    print(i,cnt[i])
    list_time.append(i)
    list_tnum.append(cnt[i])

#------------------------------------------------------------------------------
#第三步 绘制柱状图
import matplotlib.pyplot as plt
N = 24
ind = np.arange(N)
width=0.35
plt.bar(ind, list_tnum, width, color='r', label='hour') 
plt.xticks(ind+width/2, list_time, rotation=40) 
plt.title("The Eastmount's blog is distributed by the hour")  
plt.xlabel('hour')  
plt.ylabel('numbers')  
plt.savefig('Eastmount-01.png',dpi=400)  
plt.show()

#------------------------------------------------------------------------------
#第四步 PyEcharts绘制柱状图

from pyecharts import options as opts
from pyecharts.charts import Bar
bar=(
    Bar()
        .add_xaxis(list_time)
        .add_yaxis("数量", list_tnum, color="blue")
        .set_global_opts(title_opts=opts.TitleOpts(
            title="Eastmount博客按小时分布", subtitle="hour"))
    )
bar.render('01-Eastmount博客按小时分布.html')

(2) 按月份统计博客
作者按月份撰写博客如下图所示,2015年找工作撰写了大量LeetCode代码,后续是读博期间安全分享较多。

在这里插入图片描述

源代码如下:

# encoding:utf-8
"""
By:Easmount CSDN 2021-04-19
"""
import re
import time
import csv
import pandas as pd
import numpy as np

#------------------------------------------------------------------------------
#第一步 读取数据
dd = []   #日期
tt = []   #时间
with open("data.csv", "r", encoding="utf8") as csvfile:
    csv_reader = csv.reader(csvfile)
    k = 0
    for row in csv_reader:
        if k==0:      #跳过标题
            k = k + 1
            continue
        #获取数据 2021-04-08 21:52:21
        value_date = row[4]
        value_time = row[5]
        hour = value_time.split(":")[0]   #获取小时
        hour = int(hour)
        month = value_date[:7]            #获取月份
        dd.append(month)
        tt.append(hour)
        #print(row[4],row[5])
        #print(hour,month)
        print(month)
        k = k + 1
        #break
print(len(tt),len(dd))
print(dd)
print(tt)

#------------------------------------------------------------------------------
#第二步 统计不同日期的个数
from collections import Counter
cnt = Counter(dd)
print(cnt.items())  #dict_items
#字典按键排序
list_date = []
list_dnum = []
for i in sorted(cnt):
    print(i,cnt[i])
    list_date.append(i)
    list_dnum.append(cnt[i])

#------------------------------------------------------------------------------
#第三步 PyEcharts绘制柱状图
from pyecharts import options as opts
from pyecharts.charts import Bar
from pyecharts.charts import Line
from pyecharts.commons.utils import JsCode

line = (
    Line()
    .add_xaxis(list_date)
    .add_yaxis('数量', list_dnum, is_smooth=True,
               markline_opts=opts.MarkLineOpts(data=[opts.MarkLineItem(type_="average")]),
               markpoint_opts=opts.MarkPointOpts(data=[opts.MarkPointItem(type_="max"),
                                                       opts.MarkPointItem(type_="min")]))
    # 隐藏数字 设置面积
    .set_series_opts(
        areastyle_opts=opts.AreaStyleOpts(opacity=0.5),
        label_opts=opts.LabelOpts(is_show=False))
    # 设置x轴标签旋转角度
    .set_global_opts(xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate=-30)), 
                     yaxis_opts=opts.AxisOpts(name='数量', min_=3), 
                     title_opts=opts.TitleOpts(title='Eastmount博客按日期分布'))        
    )
line.render('02-Eastmount博客按日期分布.html')

(3) 按星期统计博客
按星期统计如下,调用date.weekday()函数可以输出对应的星期。周末作者更新稍微少一些。

在这里插入图片描述

核心代码如下:

# encoding:utf-8
"""
By:Easmount CSDN 2021-04-19
"""
import re
import time
import csv
import pandas as pd
import numpy as np
import datetime

#定义星期函数
def get_week_day(date):
    week_day_dict = {
        0 : '星期一',
        1 : '星期二',
        2 : '星期三',
        3 : '星期四',
        4 : '星期五',
        5 : '星期六',
        6 : '星期天'
    }
    day = date.weekday()
    return week_day_dict[day]

#------------------------------------------------------------------------------
#第一步 读取数据

dd = []   #日期
tt = []   #时间
ww = []   #星期
with open("data.csv", "r", encoding="utf8") as csvfile:
    csv_reader = csv.reader(csvfile)
    k = 0
    for row in csv_reader:
        if k==0:      #跳过标题
            k = k + 1
            continue
        #获取数据 2021-04-08 21:52:21
        value_date = row[4]
        value_time = row[5]
        hour = value_time.split(":")[0]   #获取小时
        hour = int(hour)
        month = value_date[:7]            #获取月份
        dd.append(month)
        tt.append(hour)

        #获取星期
        date = datetime.datetime.strptime(value_date, '%Y-%m-%d').date()
        week = get_week_day(date)
        ww.append(week)
        #print(date,week)
        k = k + 1
print(len(tt),len(dd),len(ww))
print(dd)
print(tt)
print(ww)

#------------------------------------------------------------------------------
#第二步 统计不同日期的个数
from collections import Counter
cnt = Counter(ww)
print(cnt.items())  #dict_items
#字典按键排序
list_date = ['星期一','星期二','星期三','星期四','星期五','星期六','星期天']
list_dnum = [0,0,0,0,0,0,0]

for key,value in cnt.items():
    k = 0
    while k<len(list_date):
        if key==list_date[k]:
            list_dnum[k] = value
            break
        k = k + 1
print(list_date,list_dnum)

#------------------------------------------------------------------------------
#第三步 PyEcharts绘制柱状图
from pyecharts import options as opts
from pyecharts.charts import Bar
from pyecharts.charts import Line
from pyecharts.commons.utils import JsCode
bar=(
    Bar()
        .add_xaxis(list_date)
        .add_yaxis("数量", list_dnum, color='pink')
        .set_global_opts(title_opts=opts.TitleOpts(
            title="Eastmount博客按星期分布", subtitle="week"))
    )
bar.render('03-Eastmount博客按星期分布.html')

3.核心词统计及词云分析

词云分析非常适合初学者,这里作者也简单分享核心主题词统计和词云分析的过程。

(1) 统计核心关键词及词频
输出结果如下图所示:

在这里插入图片描述

代码如下:

# coding=utf-8
"""
By:Easmount CSDN 2021-04-19
"""
import jieba
import re
import time
import csv
from collections import Counter

#------------------------------------中文分词----------------------------------
cut_words = ""
all_words = ""
stopwords = ["[", "]", ")", "(", ")", "(", "【", "】",
             ".", "、", "-", "—", ":", ":", "《", "》",
             "的", "和", "之", "及", "“", "”", "?", "?"]

#导入自定义词典
#jieba.load_userdict("dict.txt")

f = open('06-data-fenci.txt', 'w')

with open("data.csv", "r", encoding="utf8") as csvfile:
    csv_reader = csv.reader(csvfile)
    k = 0
    for row in csv_reader:
        if k==0:      #跳过标题
            k = k + 1
            continue
        #获取数据
        title = row[1]
        title = title.strip('\n')
        #print(title)
        #分词
        cut_words = ""
        seg_list = jieba.cut(title,cut_all=False)
        for seg in seg_list:
            if seg not in stopwords:
                cut_words += seg + " "
        #cut_words = (" ".join(seg_list))
        f.write(cut_words+"\n")
        all_words += cut_words
        k = k + 1
f.close()
#输出结果
all_words = all_words.split()
print(all_words)

#------------------------------------词频统计---------------------------------- 
c = Counter()
for x in all_words:
    if len(x)>1 and x != '\r\n':
        c[x] += 1
#输出词频最高的前10个词
print('\n词频统计结果:')
for (k,v) in c.most_common(10):
    print("%s:%d"%(k,v))
#存储数据
name ="06-data-word.csv"
fw = open(name, 'w', encoding='utf-8')
i = 1
for (k,v) in c.most_common(len(c)):
    fw.write(str(i)+','+str(k)+','+str(v)+'\n')
    i = i + 1
else:
    print("Over write file!")
    fw.close()

(2) PyEcharts词云可视化
输出结果如下图所示,出现词频越高的单词显示越大、越鲜艳。

在这里插入图片描述

代码如下:

# coding=utf-8
"""
By:Easmount CSDN 2021-04-19
"""
import jieba
import re
import time
import csv
from collections import Counter

#------------------------------------中文分词----------------------------------
cut_words = ""
all_words = ""
stopwords = ["[", "]", ")", "(", ")", "(", "【", "】",
             "01", "02", "03", "04", "05", "06", "07",
             "08", "09", "什么"]
f = open('06-data-fenci.txt', 'w')

with open("data.csv", "r", encoding="utf8") as csvfile:
    csv_reader = csv.reader(csvfile)
    k = 0
    for row in csv_reader:
        if k==0:      #跳过标题
            k = k + 1
            continue
        #获取数据
        title = row[1]
        title = title.strip('\n')
        #print(title)
        #分词
        cut_words = ""
        seg_list = jieba.cut(title,cut_all=False)
        for seg in seg_list:
            if seg not in stopwords:
                cut_words += seg + " "
        #cut_words = (" ".join(seg_list))
        f.write(cut_words+"\n")
        all_words += cut_words
        k = k + 1
f.close()
#输出结果
all_words = all_words.split()
print(all_words)

#------------------------------------词频统计---------------------------------- 
c = Counter()
for x in all_words:
    if len(x)>1 and x != '\r\n':
        c[x] += 1
#输出词频最高的前10个词
print('\n词频统计结果:')
for (k,v) in c.most_common(10):
    print("%s:%d"%(k,v))
#存储数据
name ="06-data-word.csv"
fw = open(name, 'w', encoding='utf-8')
i = 1
for (k,v) in c.most_common(len(c)):
    fw.write(str(i)+','+str(k)+','+str(v)+'\n')
    i = i + 1
else:
    print("Over write file!")
    fw.close()

#------------------------------------词云分析----------------------------------
from pyecharts import options as opts
from pyecharts.charts import WordCloud
from pyecharts.globals import SymbolType

# 生成数据 word = [('A',10), ('B',9), ('C',8)] 列表+Tuple
words = []
for (k,v) in c.most_common(200):
    # print(k, v)
    words.append((k,v))
# 渲染图
def wordcloud_base() -> WordCloud:
    c = (
        WordCloud()
        .add("", words, word_size_range=[20, 40], shape='diamond') #shape=SymbolType.ROUND_RECT
        .set_global_opts(title_opts=opts.TitleOpts(title='Eastmount十年博客词云图'))
    )
    return c

# 生成图
wordcloud_base().render('05-Eastmount十年博客词云图.html')

4.LDA主题挖掘

LDA模型是文本挖掘或主题挖掘中非常经典的算法,读者可以阅读作者之前的文章,详细介绍该模型。这里,我们用它来对作者博客进行主题挖掘,设置的主题数为4,通常需要计算困惑度比较。

在这里插入图片描述

同时计算各个主题对应的主题词,如下所示。注意,建议读者结合自己的文本进行相应的优化,这会得到更符合真实情况的主题词,并且主题之间会存在相互交融的现象,比如安全系列博客,会有Python相关的渗透文章。

在这里插入图片描述

完整代码如下:

#coding: utf-8
import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer, CountVectorizer

#---------------------  第一步 读取数据(已分词)  ----------------------
corpus = []

# 读取预料 一行预料为一个文档
for line in open('06-data-fenci.txt', 'r').readlines():
    corpus.append(line.strip())
        
#-----------------------  第二步 计算TF-IDF值  ----------------------- 
# 设置特征数
n_features = 2000
tf_vectorizer = TfidfVectorizer(strip_accents = 'unicode',
                                max_features=n_features,
                                stop_words=['的','或','等','是','有','之','与','可以','还是','这里',
                                            '一个','和','也','被','吗','于','中','最','但是','大家',
                                            '一下','几天','200','还有','一看','300','50','哈哈哈哈',
                                             '“','”','。',',','?','、',';','怎么','本来','发现',
                                             'and','in','of','the','我们','一直','真的','18','一次',
                                           '了','有些','已经','不是','这么','一一','一天','这个','这种',
                                           '一种','位于','之一','天空','没有','很多','有点','什么','五个',
                                           '特别'],
                                max_df = 0.99,
                                min_df = 0.002) #去除文档内出现几率过大或过小的词汇
tf = tf_vectorizer.fit_transform(corpus)
print(tf.shape)
print(tf)

#-------------------------  第三步 LDA分析  ------------------------ 
from sklearn.decomposition import LatentDirichletAllocation
# 设置主题数
n_topics = 4
lda = LatentDirichletAllocation(n_components=n_topics,
                                max_iter=100,
                                learning_method='online',
                                learning_offset=50,
                                random_state=0)
lda.fit(tf)
# 显示主题数 model.topic_word_
print(lda.components_)
# 几个主题就是几行 多少个关键词就是几列 
print(lda.components_.shape)                         
# 计算困惑度
print(u'困惑度:')
print(lda.perplexity(tf,sub_sampling = False))

# 主题-关键词分布
def print_top_words(model, tf_feature_names, n_top_words):
    for topic_idx,topic in enumerate(model.components_):  # lda.component相当于model.topic_word_
        print('Topic #%d:' % topic_idx)
        print(' '.join([tf_feature_names[i] for i in topic.argsort()[:-n_top_words-1:-1]]))
        print("")
# 定义好函数之后 暂定每个主题输出前20个关键词
n_top_words = 20                                       
tf_feature_names = tf_vectorizer.get_feature_names()
# 调用函数
print_top_words(lda, tf_feature_names, n_top_words)

#------------------------  第四步 可视化分析  ------------------------- 
import pyLDAvis
import pyLDAvis.sklearn

#pyLDAvis.enable_notebook()
data = pyLDAvis.sklearn.prepare(lda,tf,tf_vectorizer)
print(data)
#显示图形
pyLDAvis.show(data)
pyLDAvis.save_json(data,' 06-fileobj.html')

5.层次聚类主题树状图

层次聚类绘制的树状图,也是文本挖掘领域常用的技术,它会将各个领域相关的主题以树状的形式进行显示,这里输出结果如下图所示:

在这里插入图片描述

注意,这里作者可以通过设置过滤来显示树状图显示的主题词数量,并进行相关的对比实验,找到最优结果。

# -*- coding: utf-8 -*-
import os
import codecs
from sklearn.feature_extraction.text import CountVectorizer, TfidfTransformer
from sklearn.manifold import TSNE
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import jieba
from sklearn import metrics
from sklearn.metrics import silhouette_score
from array import array
from numpy import *
from pylab import mpl
from sklearn.metrics.pairwise import cosine_similarity
import matplotlib.pyplot as plt
import matplotlib as mpl
from scipy.cluster.hierarchy import ward, dendrogram

#---------------------------------------加载语料-------------------------------------
text = open('06-data-fenci.txt').read()
print(text)
list1=text.split("\n")
print(list1)
print(list1[0])
print(list1[1])
mytext_list=list1

#控制显示数量
count_vec = CountVectorizer(min_df=20, max_df=1000)  #最大值忽略
xx1 = count_vec.fit_transform(list1).toarray()
word=count_vec.get_feature_names() 
print("word feature length: {}".format(len(word)))
print(word)
print(xx1)
print(type(xx1))
print(xx1.shape)
print(xx1[0])

#---------------------------------------层次聚类-------------------------------------
titles = word
#dist = cosine_similarity(xx1)

mpl.rcParams['font.sans-serif'] = ['SimHei']

df = pd.DataFrame(xx1)
print(df.corr())
print(df.corr('spearman'))
print(df.corr('kendall'))
dist = df.corr()
print (dist)
print(type(dist))
print(dist.shape)

#define the linkage_matrix using ward clustering pre-computed distances
linkage_matrix = ward(dist) 
fig, ax = plt.subplots(figsize=(8, 12)) # set size
ax = dendrogram(linkage_matrix, orientation="right",
                p=20, labels=titles, leaf_font_size=12
                ) #leaf_rotation=90., leaf_font_size=12.
#show plot with tight layout
plt.tight_layout() 
#save figure as ward_clusters
plt.savefig('07-KH.png', dpi=200)
plt.show()

6.社交网络分析

社交网络分析常用于引文分析,文科领域有的成为文献知识图谱(和Google提出的知识图谱或本体有区别),它也是文献挖掘领域常用的技术手段。这里我们绘制社交网络关系图谱如下所示,主要利用Gephi软件,也推荐Neo4j或D3。可以看到作者十年的分享主要集中在四块内容,它们又相互联系,相辅相成。

  • 网络安全
  • Python
  • 逆向分析
  • 基础知识或编程技术

推荐文章:

在这里插入图片描述

第一步,我们需要计算两两共现矩阵。数据量过大可能会边界溢出。
输出结果如下图所示,此时希望大家进行停用词过滤或将异常关系删除。

# -*- coding: utf-8 -*-
"""
@author: eastmount CSDN 2020-04-20
"""
import pandas as pd
import numpy as np
import codecs
import networkx as nx
import matplotlib.pyplot as plt
import csv
from scipy.sparse import coo_matrix
 
#---------------------------第一步:读取数据-------------------------------
word = [] #记录关键词
f = open("06-data-fenci.txt", encoding='gbk')            
line = f.readline()           
while line:
    #print line
    line = line.replace("\n", "") #过滤换行
    line = line.strip('\n') 
    for n in line.split(' '):
        #print n
        if n not in word:
            word.append(n)
    line = f.readline()
f.close()
print(len(word)) #关键词总数 2913

#--------------------------第二步 计算共现矩阵----------------------------
a = np.zeros([2,3])
print(a)

#共现矩阵
#word_vector = np.zeros([len(word),len(word)], dtype='float16')

#MemoryError:矩阵过大汇报内存错误 采用coo_matrix函数解决该问题
print(len(word))
#类型<type 'numpy.ndarray'> 注意切勿写成int8 范围太小
word_vector = coo_matrix((len(word),len(word)), dtype=np.int32).toarray() 
print(word_vector.shape)

f = open("06-data-fenci.txt", encoding='gbk')  
line = f.readline()           
while line:
    line = line.replace("\n", "") #过滤换行
    line = line.strip('\n') #过滤换行
    nums = line.split(' ')

    #循环遍历关键词所在位置 设置word_vector计数
    i = 0
    j = 0
    while i<len(nums):         #ABCD共现 AB AC AD BC BD CD加1
        j = i + 1
        w1 = nums[i]           #第一个单词
        while j<len(nums):
            w2 = nums[j]       #第二个单词
            #从word数组中找到单词对应的下标
            k = 0
            n1 = 0
            while k<len(word):
                if w1==word[k]:
                    n1 = k
                    break
                k = k +1
            #寻找第二个关键字位置
            k = 0
            n2 = 0
            while k<len(word):
                if w2==word[k]:
                    n2 = k
                    break
                k = k +1
            #重点: 词频矩阵赋值 只计算上三角
            if n1<=n2:
                word_vector[n1][n2] = word_vector[n1][n2] + 1
            else:
                word_vector[n2][n1] = word_vector[n2][n1] + 1
            #print(n1, n2, w1, w2)
            j = j + 1
        i = i + 1
    #读取新内容
    line = f.readline()
    #print("next line")
f.close()
print("over computer")


#--------------------------第三步  CSV文件写入--------------------------
c = open("word-word-weight.csv","w", encoding='utf-8', newline='')    #解决空行
#c.write(codecs.BOM_UTF8)                                 #防止乱码
writer = csv.writer(c)                                    #写入对象
writer.writerow(['Word1', 'Word2', 'Weight'])

i = 0
while i<len(word):
    w1 = word[i]
    j = 0 
    while j<len(word):
        w2 = word[j]
        #判断两个词是否共现 共现词频不为0的写入文件
        if word_vector[i][j]>0:
            #写入文件
            templist = []
            templist.append(w1)
            templist.append(w2)
            templist.append(str(int(word_vector[i][j])))
            #print templist
            writer.writerow(templist)
        j = j + 1
    i = i + 1
c.close()

第二步,我们需要构建实体(节点)和关系(边)的CSV文件。如下图所示:

  • entity-clean.csv
  • rela-clean.csv

在这里插入图片描述

在这里插入图片描述

第三步,新建工程,并选择“数据资料”,输入电子表格。导入节点表格,选择entity实体表。

在这里插入图片描述

第四步,导入数据,设置为“边表格”,注意CSV表格数据一定设置为 Source(起始点)、Target(目标点)、Weight(权重),这个必须和Gephi格式一致,否则导入数据会提示错误。

在这里插入图片描述

第五步,导入成功后点击“概览”显示如下所示,接着就是调整参数。

在这里插入图片描述

第六步,设置模块化,在右边统计中点击“运行”,设置模块性。同时设置平均路径长度,在右边统计中点击“运行”,设置边概述。

在这里插入图片描述

在这里插入图片描述

第七步,重新设置节点属性。节点大小数值设定为“度”,最小值还是20,最大值还是120。节点颜色数值设定为“Modularity Class”,表示模块化。

在这里插入图片描述

第八步,在布局中选择“Fruchterman Reingold”。调整区、重力和速度。

在这里插入图片描述

第九步,点击预览。设置宋体字,显示标签,透明度调整为20,如下图所示。

在这里插入图片描述

第十步,图谱优化和调整。
同时可以过滤权重或设置颜色模块浅色。比如得到更为精细的关系图谱。

在这里插入图片描述


7.博客情感分析

情感分析主要采用SnowNLP实验,也推荐大家使用大连理工大学情感词典进行优化。这里推荐作者之前分析的文章。输出结果如下图所示:

在这里插入图片描述

但是如果我们计算每天或每月新闻的总体情感分数,就会达到时间序列的情感分析图,从而更好地对情感趋势进行预测,文本挖掘或图书情报领域中使用得也非常多。

在这里插入图片描述

# -*- coding: utf-8 -*-
from snownlp import SnowNLP
import codecs
import os

#获取情感分数
source = open("06-data-fenci.txt", "r", encoding='gbk')
fw = open("09-result.txt", "w", encoding="gbk")
line = source.readlines()
sentimentslist = []
for i in line:
    s = SnowNLP(i)
    #print(s.sentiments)
    sentimentslist.append(s.sentiments)

#区间转换为[-0.5, 0.5]
result = []
i = 0
while i<len(sentimentslist):
    result.append(sentimentslist[i]-0.5)
    fw.write(str(sentimentslist[i]-0.5)+"\n")
    print(sentimentslist[i]-0.5, line[i].strip("\n"))
    i = i + 1
fw.close()

#可视化画图
import matplotlib.pyplot as plt
import numpy as np
plt.plot(np.arange(0, 598, 1), result, 'k-')
plt.xlabel('Number')
plt.ylabel('Sentiment')
plt.title('Analysis of Sentiments')
plt.show()

8.博客主题演化分析

最后是主题化验研究,这里推荐大家阅读南大核心相关的论文。其实主题演化通常分为:

  • 主题新生
  • 主题消亡
  • 主题融合
  • 主题孤独

主题融合的计算方法各种各样,大家可以寻找最适合自己论文的方法,比如词频、权重、O系数、关联性分析等等。这里推荐大家使用Echarts绘制,作者的图谱如下图所示:

在这里插入图片描述

注意,作者这里给出的代码是另一个案例。但原理一样,仅供参考。真实情况的计算过程更为复杂,计算演化系数通常为小数。

option = {
    series: {
        type: 'sankey',
        layout:'none',
        focusNodeAdjacency: 'allEdges',
        data: [
        {
            name: 'T1-竞争情报'
        },{
            name: 'T1-企业'
        },{
            name: 'T1-企业管理'
        }, {
            name: 'T1-情报研究'
        },{
            name: 'T1-竞争对手'
        },{
            name: 'T1-情报工作'
        },{
            name: 'T1-市场经济'
        },{
            name: 'T2-竞争情报'
        },{
            name: 'T2-企业'
        },{
            name: 'T2-企业管理'
        },{
            name: 'T2-竞争情报系统'
        },{
            name: 'T2-竞争对手'
        },{
            name: 'T2-知识管理'
        },{
            name: 'T2-反竞争情报'
        },{
            name: 'T3-竞争情报'
        },{
            name: 'T3-企业'
        },{
            name: 'T3-竞争情报系统'
        },{
            name: 'T3-企业管理'
        },{
            name: 'T3-高校图书馆'
        },{
            name: 'T3-反竞争情报'
        },{
            name: 'T3-知识管理'
        },{
            name: 'T4-竞争情报'
        },{
            name: 'T4-企业'
        },{
            name: 'T4-大数据'
        },{
            name: 'T4-产业竞争情报'
        },{
            name: 'T4-竞争情报系统'
        },{
            name: 'T4-高校图书馆'
        },{
            name: 'T4-企业管理'
        }
        
        ],
        links: [{
            source: 'T1-竞争情报',
            target: 'T2-竞争情报',
            value: 10
        }, {
            source: 'T1-企业',
            target: 'T2-企业',
            value: 7
        }, {
            source: 'T1-企业管理',
            target: 'T2-企业管理',
            value: 6
        },{
            source: 'T1-情报研究',
            target: 'T2-竞争情报',
            value: 5
        },{
            source: 'T1-竞争对手',
            target: 'T2-竞争对手',
            value: 5
        },{
            source: 'T1-情报工作',
            target: 'T2-竞争情报',
            value: 3
        },{
            source: 'T1-市场经济',
            target: 'T2-竞争情报',
            value: 3
        },{
            source: 'T1-竞争情报',
            target: 'T2-竞争情报系统',
            value: 5
        },{
            source: 'T1-竞争情报',
            target: 'T2-竞争情报系统',
            value: 3
        },{
            source: 'T1-竞争情报',
            target: 'T2-知识管理',
            value: 3
        },{
            source: 'T1-竞争情报',
            target: 'T2-反竞争情报',
            value: 3
        },
        
        {
            source: 'T2-竞争情报',
            target: 'T3-竞争情报',
            value: 10
        },{
            source: 'T2-企业',
            target: 'T3-企业',
            value: 7
        },{
            source: 'T3-竞争情报系统',
            target: 'T4-竞争情报',
            value: 3
        },{
            source: 'T2-企业管理',
            target: 'T3-企业管理',
            value: 6
        },{
            source: 'T2-竞争情报系统',
            target: 'T3-竞争情报系统',
            value: 5
        },{
            source: 'T2-竞争对手',
            target: 'T3-竞争情报',
            value: 5
        },{
            source: 'T2-知识管理',
            target: 'T3-知识管理',
            value: 3
        },{
            source: 'T2-反竞争情报',
            target: 'T3-反竞争情报',
            value: 3
        },{
            source: 'T2-竞争情报',
            target: 'T3-高校图书馆',
            value: 4
        },
        
        {
            source: 'T3-竞争情报',
            target: 'T4-竞争情报',
            value: 10
        },{
            source: 'T3-企业',
            target: 'T4-企业',
            value: 7
        },{
            source: 'T3-竞争情报',
            target: 'T4-大数据',
            value: 5
        },{
            source: 'T3-竞争情报',
            target: 'T4-产业竞争情报',
            value: 5
        },{
            source: 'T3-竞争情报系统',
            target: 'T4-竞争情报系统',
            value: 6
        },{
            source: 'T3-企业管理',
            target: 'T4-企业管理',
            value: 4
        },
        {
            source: 'T3-高校图书馆',
            target: 'T4-高校图书馆',
            value: 4
        },{
            source: 'T3-反竞争情报',
            target: 'T4-竞争情报',
            value: 3
        },{
            source: 'T3-知识管理',
            target: 'T4-竞争情报',
            value: 2
        }
        
        ]
    }
};

运行截图如下所示:

在这里插入图片描述


9.拓展知识

读者还可以进行各种各样的文本挖掘,比如:

  • 命名实体识别
  • 知识图谱构建
  • 智能问答处理
  • 舆情事件预测
  • …


三.总结

最后用我的博客签名结束这篇文章,“无知·乐观·低调·谦逊·生活”,时刻告诉自己:无知的我需要乐观的去求知,低调的底色是谦逊,而谦逊是源于对生活的通透,我们不止有工作、学习、编程,还要学会享受生活,人生何必走得这么匆忙,做几件开心的事,写几篇系统的文,携一位心爱的人,就很好!感恩CSDN,感谢你我的坚守和分享,这又何止是十年。

感恩所有读者十年的陪伴,短暂消失只为更好的遇见。接下来三年,愿接纳真实的自己,不自卑,不自傲;愿踏踏实实努力、认认真真生活,爱我所爱,无怨无悔,江湖再见。欢迎大家留言喔,共勉~

在这里插入图片描述

(By:Eastmount 2021-04-28 晚上12点 http://blog.csdn.net/eastmount/ )


在线主题演化模型 <br /> <br />基本思想:<br /> <br />1.时间片切分<br />   两种方法:纯粹时间切分按照大小切分,考虑计算情况<br />2.LDA演化模型<br />      本文用前一时间片的后验概率影响下一时间片的先验概率来保持主题间的连续性。<br />对影响程度的度量用遗传度W来进行设置。具体为前一时间片计算出的主题-词的后验概率<br />at-1乘上遗传度W 作为当前时间片的先验概率at,即<br />           at =at-1*W。<br />直观的解释就是把当 阅读详情

相关推荐

信息安全学习总结

信息安全学习 [愿安全人不在踩坑,网络安全的学习经验]...

kaihang_cai的博客 2217

一分钟绘制LDA主题演化桑基础图

提示:这里对文章进行总结:例如:以上就是今天要分享的内容,本文仅仅简单介绍了利用 Excel 轻松绘制基础的桑基图。如需要一对一讲解,获取博文中的lda主题分析源码均可联系博主!

weixin_58006135的博客 2389

【python数据挖掘课程】二十一.朴素贝叶斯分类器详解及中文文本舆情分析

这是《Python数据挖掘课程》系列文章,也是我上课内容及书籍中的一个案例。本文主要讲述朴素贝叶斯分类算法并实现中文数据集的舆情分析案例,希望这篇文章对大家有所帮助,提供些思路。内容包括: 1.朴素贝叶斯数学原理知识 2.naive_bayes用法及简单案例 3.中文文本数据集预处理 4.朴素贝叶斯中文文本舆情分析本篇文章为基础性文章,希望对你有所帮助,如果文章中存在错误或

杨秀璋的专栏 1万+

重新出发

昨天在浏览CSDN首页的时候,看到了有“网络安全”字眼的博客,点进去浏览,浏览过后,发现博主叫杨秀璋,非常优秀,是CSDN博客专家。他现在在武汉大学读博士,最近对网络安全和机器学习、深度学习都有很高强度的学习,文章产出也很大。 自己之前一直很彷徨,导师也不给具体的研究方向,同门有做深度学习的,有做代码API推荐的,有做code2vec的。因为算法岗近几年很火,工资很高,研究生毕业实在不想继续做简单...

cecurio的博客 909

华为云《从零到壹Python图像处理及识别》开源电子书_杨秀璋1

1.什么是图像处理 11 2.图像处理基础 12 5.总结 19 1.OpenCV 常见数据类型 21 2.OpenCV 读取与显示图像 22 8.总结 34

在线社交网络的主题分析模型

随着社交网络平台的快速发展和移动终端的广泛使用,基于社交网络数据的主题分析技术越来越受到人们的关注。 由于数据长度短和内容碎片化的严重性,基于社交网络的话题分析技术已经发展成为三个主要部分:信息恢复,话题检测和话题演化。 其中,信息恢复是主题检测的基础,主题演化依赖于主题检测。 在三部分相关工作的特点总结的基础上,考虑了社区,影响力和用户等因素,提出了社交网络主题分析的通用模型。 阐述了话题分析技术的内在过程,是社会网络上话题分析技术的有效总结。

2022年总结:感谢十二年的陪伴——分享回归,不忘初心(Eastmount博客总结及未来规划)

曾记否,2021年4月28日,为了更好地从事科研和学习,当时给所有读者群发了我在CSDN唯一的私信,感谢大家十年的陪伴,短暂消失,不负青春。当时也收到了很多博友的鼓励与祝福,感恩。转眼,部分重要的事情将要完成,作者的分享也将逐渐回归,仅以此文感谢读者十二年的陪伴和支持,感谢分享路上所有师长、家人、同学、朋友、博友和读者的陪伴及鼓励。同时,这篇文章将总结和归档作者这些年的博客专栏,并描述未来将要分享的技术和方向。

杨秀璋的专栏 1万+

【大模型推理】工作负载的弹性伸缩

推荐采用 并发请求数(Concurrency) 或 队列深度(Queue Size) 结合GPU监控指标(显存/算力利用率),并依托Knative KPA、Fluid缓存、优先级调度等技术实现高效弹性伸缩[citation:6][citation:7][citation:8]。QPS无法体现这种资源消耗累积效应[citation:6]。并发数的本质:是实时反映资源占用的瞬时状态量,而非速率指标,尤其适合单次请求资源消耗大、处理时间长的业务(如LLM推理)[citation:1][citation:6]。

王尚权 qq:2515162716 1189

「Python爬虫系列讲解」七、基于数据库存储的 BeautifulSoup 招聘爬取

本专栏是以杨秀璋老师爬虫著作《Python网络数据爬取及分析「从入门到精通」》为主线、个人学习理解为主要内容,以学习笔记形式编写的。 本专栏不光是自己的一个学习分享,也希望能给您普及一些关于爬虫的相关知识以及提供一些微不足道的爬虫思路。专栏地址:Python网络数据爬取及分析「从入门到精通」 更多爬虫实例详见专栏:Python爬虫牛刀小试 前文回顾:「Python爬虫系列讲解」一、网络数据爬取概述「Python爬虫系列讲解」二、Python知识初学「Python爬虫系列讲解」三、正则表达式爬虫...

闭关修炼——暂退 8560

通讯软件013——分分钟学会Kepware OPC AE Server仿真配置

本文介绍如何使用Kepware软件仿真OPC AE Server配置。

zhouwl72的博客 2231

DIY电磁炉核心驱动方案:IR2153PBF自振荡半桥芯片实战指南(附电路图)

本文详细介绍了IR2153PBF自振荡半桥驱动芯片在DIY电磁炉核心驱动方案中的实战应用。该芯片集成了振荡器与600V高压驱动能力,仅需少量外围元件即可生成互补带死区的PWM信号,极大简化了半桥逆变电路设计。文章深入解析了其工作原理、关键参数,并提供了完整的电路设计、PCB布局指南及调试步骤,帮助电子爱好者构建稳定高效的感应加热驱动核心。

beer8的博客 595

Theme Evolution3.0一款用于科学主题演化分析的软件

Theme Evolution3.0一款用于科学主题演化分析的软件 科学的发展具有一定的规律,那么,我们能否通过研究主题的演化对某一领域研究发展与演进过程进行刻画呢? 显然是可以的! 本文独家介绍如何对科学主题演化路径进行绘制 另有一个特色是操作过程完全自定义,可根据需要划分时间,构建关系,选择演化权重等条件!!! 案例图如下: 该图能够有效反应主题之间扩散、融合、演化等趋势 ...

qq_39974284的博客 1563

利用Android系统漏洞实现后台弹窗(外弹)

关键:从 Android 8.0(API 26)开始,禁止使用 context.sendBroadcast() 发送隐式广播(即没有指定 setPackage() 或明确组件的广播)。demo核心代码展示利用Android显示系统和广播系统的漏洞实现在后台弹窗的功能,支持最新Android15,16版本。核心功能都是在so层去做,大量使用了jni反调, 如果要上架到应用市场,需要对代码做进一步混淆,加固以应对市场安全扫描。3,开启虚拟显示窗口,这是个透明像素窗口。5,可开启一个线程,调用这个外弹窗口。

2018,再出发~ 1319

数风流人物,俱在今朝!|2019年度CSDN博客之星TOP10榜单揭晓

培根说,『读书造成充实的人,会议造成未能觉悟的人,写作造成正确的人』。 在短信短视频快速迭代的快时代,更深度的思考、更正确的实践,更成体系的写作与分享,尤显可贵。这里,每一篇博文都是开发者实战的经验解读;每一个笔触都是技术人潜心修炼的知识凝练。在CSDN网站的博客频道,数万人长年在键盘后面笔耕不缀,技术之心不止,以乐于分享的精神布道知识,砥砺精进技术。正是他们勤奋且毫无保留的分享,督促激励和感染着...

CSDN 官方博客 2万+

从像素到光影:解析《黑神话:悟空》中Nanite与Lumen的协同渲染革命

本文深度解析了《黑神话:悟空》如何利用Unreal Engine 5的Nanite与Lumen技术实现渲染革命。Nanite处理亿级多边形几何细节,无需传统LOD优化;Lumen提供全动态全局光照,实现实时光线反弹。两者协同工作,为游戏带来电影级视觉体验,重塑了实时渲染的技术标准与工作流程。

f6g7h8i9j的博客 425

SAP Joule for Consultants 与 Joule for Developers 全面解读

SAP推出面向不同用户群体的Joule AI助手:开发者版(Joule for Developers)专注于编码提效,嵌入开发工具链辅助生成、重构和测试代码;顾问版(Joule for Consultants)聚焦业务场景,集成SAP云应用知识库,为咨询项目提供方案设计、差距分析和实施指引。两者共享AI底座但功能侧重点不同:开发者版优化技术开发流程,顾问版加速项目交付周期。典型应用场景包括制造业云转型方案制定和ABAP代码迁移,分别展示了两版本在业务决策支持和技术实施中的价值。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 552

20 周年特别策划 | 说出你与 CSDN 的故事!

CSDN 编者按:不知不觉,CSDN 已经与开发者共同走过 20 年岁月。20 年间,CSDN 与开发者们互相见证彼此的进步,共同收获成长。在成立 20 周年之际,CSDN 特推出特别策...

CSDN资讯 1万+

PyTorch生成式人工智能(1)——神经网络与模型训练过程详解

在本节中,我们介绍了传统机器学习与人工神经网络间的差异,并了解了如何在实现前向传播之前连接网络的各个层,以计算与网络当前权重对应的损失值;实现了反向传播以优化权重达到最小化损失值的目标。并实现了网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降,从零开始构建并训练了一个简单的神经网络。

盼小辉丶的博客 1万+

「Python爬虫系列讲解」五、用 BeautifulSoup 爬取电影信息

本专栏是以杨秀璋老师爬虫著作《Python网络数据爬取及分析「从入门到精通」》为主线、个人学习理解为主要内容,以学习笔记形式编写的。 本专栏不光是自己的一个学习分享,也希望能给您普及一些关于爬虫的相关知识以及提供一些微不足道的爬虫思路。专栏地址:Python网络数据爬取及分析「从入门到精通」 更多爬虫实例详见专栏:Python爬虫牛刀小试 前文回顾:「Python爬虫系列讲解」一、网络数据爬取概述「Python爬虫系列讲解」二、Python知识初学「Python爬虫系列讲解」三、正则表达式爬虫之..

闭关修炼——暂退 7014

am62x A53与R5F通信

AM62x是Ti的一款异构多核芯片。remoteproc驱动,硬编码(写死)了R5F/M4F固件的名字,这样驱动启动时,就会找硬件编码的固件,下面是其对应关系。值得注意的是,linux内核中的M4F remoteproc驱动启动M4F,而linux内核中的R5F remoreteproc驱动不启动R5F,相反,它attach到已经在boot阶段启动的R5F固件上。在/lib/firmware的真实固件名:,而我们生成的固件名如下所示,没有直接对应的,经确认,.out文件就是我们需要的,重命名后即可。

鹰之翔 1363

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

「Python爬虫系列讲解」一、网络数据爬取概述

本专栏是以杨秀璋老师爬虫著作《Python网络数据爬取及分析「从入门到精通」》为主线、个人学习理解为主要内容,以学习笔记形式编写的。 本专栏不光是自己的一个学习分享,也希望能给您普及一些关于爬虫的相关知识以及提供一些微不足道的爬虫思路。 专栏地址:Python网络数据爬取及分析「从入门到精通」 1 网络爬虫 1.1 背景引入 随着互联网的迅速发展,万维网已成为大量信息的载体,越来越多的网民可以通过互联网搜索引擎获取所需要的信息。 事实上,市面上通用的搜索引擎是存在一定局限性的: 搜索引擎返回的结果包.

闭关修炼——暂退 4826

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

2018~2019第二学年17级信管班杨秀璋老师《大数据技术及运用》课堂python代码学习汇总(第四部分)

1、网页基础 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <meta http-equ...

阿优乐扬的博客 585

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

实用小技能 | 用 Word 和 Excel 自制一个题库自判断答题系统!

作者 | 杨秀璋责编 | 夕颜来源 | CSDN博客如果你需要做题库,并且喜欢电子答题的方法,这篇文章或许会对你有所帮助。反正李老师班级的平均成绩高出其他班级的14分,这就是它的好处,...

CSDN云计算 1665

《数字人文技术及运用》课程PPT分享:在AI时代重构人文的新范式

在智能时代的浪潮中,数字人文 已成为连接人文社会科学与计算技术的桥梁与催化剂。数字人文作为“新文科”建设的典范,是承接人文社会科学与计算科学的关键。数字人文教育有助于形成技术与人文相结合的综合视野,为智能时代的学术创新与文化传承打下坚实基础。《数字人文技术及运用》 课程正是在这一跨学科前沿中展开探索。

杨秀璋的专栏 1768

2018~2019第二学年17级信管班杨秀璋老师《大数据技术及运用》课堂python代码学习汇总(第三部分)

1、画曲线 # coding:utf-8 import numpy as np import matplotlib.pyplot as plt #定义数组 X = np.arange(3,10) print (X) #画图 plt.plot(X, X*4, "r--", label="y=X*4") plt.plot(X, X*X+3, "b:", label="y=X*X+3") plt.p...

阿优乐扬的博客 444
上一篇: [译] APT分析报告:10.Lazarus以ThreatNeedle家族攻击工业事件还原(BMP图片隐藏RAT)
下一篇: [论文阅读] (07) RAID2020 Cyber Threat Intelligence Modeling Based on Heterogeneous GCN
Eastmount
Eastmount 优质创作者: python技术领域 优质创作者: python技术领域 领域专家: 数据科学与机器学习技术领域 领域专家: 数据科学与机器学习技术领域
博客等级 码龄15年 25万+粉丝 873原创
评论 303
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Eastmount

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值