CIC-IDS数据集特征介绍

网络入侵检测中使用的机器学习特征:深入解析 这篇文章将会介绍在网络入侵检测中使用的机器学习特征,我们将会深入解析每个特征的含义和用途。 阅读详情
AI摘要

本文介绍了CIC-IDS-2017数据集,这是一个包含最新常见攻击和良性数据的数据集,旨在克服现有数据集的问题。文章详细描述了数据集的来源、下载方式及各项特征,适用于网络安全研究。

1、简介

通信安全机构(CSE)与加拿大网络安全研究所(CIC)合作项目,该项目对自 1998 年以来现有的 11 个数据集的评估表明,大多数数据集(比如经典的 KDDCUP99,NSLKDD 等)已经过时且不可靠。其中一些数据集缺乏流量多样性和容量,一些数据集没有涵盖各种已知的攻击,而另一些数据集将数据包有效载荷数据匿名化,这不能反映当前的趋势。有些还缺少特征集和元数据。

CIC-IDS-2017 数据集包含良性和最新的常见攻击,类似真实世界数据(PCAPs)。

它的数据采集截至 2017 年 7 月 7 日(星期五)下午 5 时,共计 5 天。星期一是正常的一天,只包括正常的流量。实现的攻击包括暴力 FTP、暴力 SSH、DoS、Heartbleed、Web 攻击、渗透、僵尸网络和 DDoS。他们分别于周二、周三、周四和周五上午和下午被执行。

其官方网站为:https://www.unb.ca/cic/datasets/ids-2017.html

关于该数据集的介绍,其有一篇论文,感兴趣的可以去看看:

论文链接:https://www.scitepress.org/Papers/2018/66398/66398.pdf

> 论文对比自 1998 年以来现有的 11 个数据集的优劣、CIC-IDS2017 数据集如何形成(网络部署、攻防步骤等)、使用机器学习算法对该数据集进行测试(有测试结果)以及多个数据集的优劣对比等。

2、下载

 

直接前往[官网](https://www.unb.ca/cic/datasets/ids-2017.html),最底部有下载按钮:

点击按钮,需要填写注册信息,随意填写就可以,填写完成,就可以看到下载目录:

如上图所示,在目录中,有三类文件,其中 GeneratedLabelledFlows 是完整提取文件,而 MachineLearningCSV 则是在前者基础上进行修剪后的版本,剔除了 IP 和时间戳等不适合机器学习的属性列,如果只是单纯进行机器学习训练,只需要下载后者即可。

除了上面两类文件,还有 Pcaps 文件,这个是纯粹的数据流文件,上面两个文件都在通过该 pcap 文件提取出来的。

 

3、数据特征

下载完成,其目录格式如下:

```

 Destination Port  Flow Duration   Total Fwd Packets   Total Backward Packets Total Length of Fwd Packets  Total Length of Bwd Packets   Fwd Pa

研究型论文_CICIDS2017 数据集中基于异常的入侵检测系统的机器学习基准测试(英文论文) 文章目录Benchmarking of Machine Learning for Anomaly Based Intrusion Detection Systems in the CICIDS2017 Dataset论文摘要论文解决的问题1.ANN(人工神经网络)2.DT(决策树)3.knn4.NB(朴素贝叶斯)5.RF(随机森林)6.SVM7.CNN8.其他总结 Benchmarking of Machine Learning for Anomaly Based Intrusion Detection S 阅读详情

相关推荐

CSE-CIC-IDS2018数据集实战:从AWS下载到本地分析的完整指南(附常见错误解决)

本文提供了CSE-CIC-IDS2018数据集从AWS下载到本地分析的完整实战指南。针对国内网络环境,详细介绍了AWS CLI高效配置、分步下载策略、断点续传技巧以及HTTP直连等解决方案。同时,通过Python代码示例,演示了数据加载、清洗、特征分析和构建入侵检测基准模型的完整流程,帮助网络安全研究者和工程师快速上手这一权威数据集。

weixin_29230649的博客 1170

针对CIC-IDS2017数据集机器学习算法对比

前言 针对CIC-IDS2017数据集,采用了其中常见的机器学习算法对该数据集进行了训练和测试,这里记录一下测试结果。 关于CIC-IDS2017数据集介绍可以参照:https://blog.csdn.net/yuangan1529/article/details/115024003?spm=1001.2014.3001.5501 1、采用算法和数据相关特征 采用机器学习算法如下: 支持向量机(SVM) 逻辑回归 K近邻算法 决策树 随机森林 朴素贝叶斯 Adaboo...

蓝亚之舟的博客 1万+

cicids2017数据集训练

这是因为数据不平衡,total.csv 数据集中,正常数据(也就是标签为 begin)的数据太多了,占据了几乎 99%的比例,只要它预测正确,那么整个数据集的准确率就会很高,至于其他标签的准确率哪怕再低,也不会有多大影响。由上图可以看到,整个数据集相当不平衡,正常数据非常大,而攻击流量却相当少,可以说整个数据集是相当不平衡的,怎么解决这个问题,下一节来说一说。根据分布产生更多数据,因为数据太少了(只有几十个),而且特征太多,估计出来的分布会十分不准确,而由此分布产生的数据则更加不准确了。

沐阳的博客 1万+

CIC-IDS-2018特征数据清洗与整合实战

本文详细介绍了CIC-IDS-2018网络入侵检测数据集的特征数据清洗与整合实战方法。通过数据预处理、无效行清理、大数据量合并技巧等步骤,帮助开发者高效处理真实网络流量数据,优化内存使用和计算效率,为网络安全分析提供高质量数据基础。

weixin_29280657的博客 390

【深度学习】Transformer分类器,CICIDS2017,入侵检测,随机森林、RFE、全连接神经网络

随着网络攻击的日益猖獗,保护网络安全变得愈发重要。传统的入侵检测系统(IDS)在应对复杂和多变的攻击模式时显得力不从心。为了应对这一挑战,我们提出了一种基于Transformer的入侵检测系统,以提高检测精度和鲁棒性。入侵检测系统(IDS)是一种监控网络流量、识别和响应潜在安全威胁的工具。它们通过分析流量模式来检测异常行为,从而保护网络安全。然而,随着攻击技术的不断进化,传统的IDS面临着识别新型和复杂攻击的挑战。

q742971636的博客 3124

入侵检测数据集 CIC-IDS-2017 完整版本

CIC-IDS-2017 入侵检测数据集,包含以下8个CSV文件:可以用于机器学习的训练 Friday-WorkingHours-Afternoon-DDos.pcap_ISCX.csv Friday-WorkingHours-Afternoon-PortScan.pcap_ISCX.csv Friday-WorkingHours-Morning.pcap_ISCX.csv Monday-WorkingHours.pcap_ISCX.csv Thursday-WorkingHours-Afternoon-Infilteration.pcap_ISCX.csv Thursday-WorkingHours-Morning-WebAttacks.pcap_ISCX.csv Tuesday-WorkingHours.pcap_ISCX.csv Wednesday-workingHours.pcap_ISCX.csv

CIC-IDS-2017加拿大入侵检测数据集(.CSV)第一部分

加拿大入侵检测数据集第一部分,因为数据太大,所以就分两部分上传,这是第一部分。

CICIDS数据集(仅CSV文件)

CICIDS数据,数据来源:https://www.unb.ca/cic/datasets/ids-2017.html

完整2017机器学习python异常检测的CICIDS2017数据集

CICIDS2017数据集包含良性和最新的常见攻击,与真实的现实世界数据(PCAPs)相类似。它还包括使用CICFlowMeter进行网络流量分析的结果,并根据时间戳、源和目的IP、源和目的端口、协议和攻击来标记流量(CSV文件)。此外,还提供了提取的特征定义。 生成真实的背景流量是我们建立这个数据集的首要任务。我们使用了我们提出的B-Profile系统(Sharafaldin, et al. 2016)来描述人类互动的抽象行为并生成自然的良性背景流量。对于这个数据集,我们建立了基于HTTP、HTTPS、FTP、SSH和电子邮件协议的25个用户的抽象行为。Friday-WorkingHours-Afternoon-DDos.pcap_ISCX.csv 2023-02-28 73.55MB Wednesday-workingHours.pcap_ISCX.csv 2023-02-28 214.74MB Friday-WorkingHours-Afternoon-PortScan.pcap_ISCX.csv 2023-02-28 73.34MB Friday-WorkingHours-Mo

网络流量入侵检测数据集CIC-IDS-2017

网络流量入侵检测数据集CIC-IDS-2017

主流仿真软件Sigrity/HFSS/Siwave/Hyperlynx/ADS差异

在电子设计自动化(EDA)领域,各种仿真软件如Cadence Sigrity、Mentor Graphics的HyperLynx、Keysight的ADS以及ANSYS的SIwave等,都广泛应用于不同的应用场景中。综上所述,这些EDA仿真软件在各自的应用场景中发挥着重要作用,帮助工程师在设计阶段就能够评估和优化电子产品的性能,提高设计的可靠性和效率。:Sigrity由全球最大的EDA公司Cadence推出,Cadence还推出了Orcad和Allegro等著名软件。:由安捷伦(现是德科技)公司开发。

Geektec的专栏 9410

2017阿里内推笔试题--算法工程师(运筹优化)

2017阿里内推笔试题–算法工程师(运筹优化)题目沐哲是一个菜鸟仓库的一个拣货员,但他有非常个怪异的习惯。每次拣货的重量都要比之前拣的一个轻,每次拣到货后都可以得到1块钱,沐哲想知道这样最多能赚多少钱 32 34 7 33 21 2 13 12 3 11 26 36 16 30 22 1 24 14 20 23 25 5 19 29 27 15 9 17 31 4 6 18 8 10 3

shawpan的专栏 1万+

设计数据库 ER 图太麻烦?不妨试试这两款工具,自动生成数据库 ER 图!!!

告别手动画图,提高效率~

楼下小黑哥 2万+

CH341的I2C流模式(StreamI2C)到底怎么用?从EEPROM读写到自定义设备,一篇讲清参数配置逻辑

本文详细解析了CH341的I2C流模式(StreamI2C)的使用方法,从EEPROM读写到自定义设备的参数配置逻辑。通过深入分析I2C协议基础、StreamI2C参数映射关系及典型设备配置示例,帮助开发者快速掌握StreamI2C的应用技巧,解决实际开发中的常见问题。

weixin_30932215的博客 452

单片机多级菜单的简单实现

单片机多级菜单的简单实现 多级菜单的思路 最近想把stm32上的oled显示屏做的好看一些,于是动手写了写一个多级菜单,思路很简单,每个页面用单独的函数封装好,每个功能也是用单独的函数进行封装,用了3个按键,两个切换键,一个确定键。 首先来看看用啥判断页面的(这偷个懒,希望没人打我) //页面标志位 uint8_t s1 = 0; //主页面功能号 uint8_t s2 = 0; //主次页面判断标志位 uint16_t s3 = 1; //次页面功能号 主页面的显示函数,这是个很枯燥的一

qq_43940175的博客 7608

MQTT(轻量级消息中间件)基本使用指南

MQTT(Message Queuing Telemetry Transport,消息队列遥测传输)是一种轻量级的发布 / 订阅模式(Pub/Sub)消息传输协议,专为低带宽、不稳定网络环境设计,广泛应用于物联网(IoT)、移动设备、传感器网络等场景(如空气净化器、智能家居设备的远程控制)。Eclipse Mosquitto 是一款轻量级、开源的 MQTT 消息服务器(Broker),由 Eclipse 基金会维护,专为低资源消耗和易用性设计。

墨鸦的博客 1万+

PCB模块化设计24——DCDC电源模块PCB布局布线设计规范

PCB模块化设计24——DCDC电源模块PCB布局布线设计规范

qq_31444421的博客 2万+

代谢组数据分析(三):代谢组降维分析

本文详细介绍了代谢组学中常用的降维分析方法,包括PCA、PLS-DA和OPLS-DA。PCA通过线性变换降低数据维度,便于数据可视化和异常值检测;PLS-DA是一种有监督的模式识别方法,适用于分类和预测;OPLS-DA通过正交分解避免过拟合,更准确地筛选差异代谢物。降维分析在揭示样本间差异和发现生物标志物方面具有重要意义

专注生信领域 3792

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

上一篇: 机器学习实战(4)——朴素贝叶斯(下)
下一篇: CIC-IDS2017数据集训练和测试
蓝亚之舟
博客等级 码龄11年 4965粉丝 65原创
评论 20
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值