【大数据挖掘】03- 统计评估方法和聚类分析概述

收藏43个免费数据挖掘软件 数据挖掘是在大型数据集中发现模式的计算过程,涉及到使用人工智能、机器学习、统计分析和数据库系统的方法,目标是从数据集中提取信息,并将其转化为可理解的结构,以便进一步使用。 在当今的商业市场中,客户与企业、服务甚至产品之间的接触程度已经发生了变化。公司已经通过Facebook、Twitter和WhatsApp等社交平台变得容易访问,使其在线存在变得突出。这些平台提供了宝贵的数据,这些数据是非结构化的。这就是为什么大多数公司需要数据挖掘工具的原因。 数据挖掘软件允许不同的企业从不同的平台收集信息,并将数据用于各 阅读详情

统计评估方法包括假设检验、方差分析 ANOVA;聚类分析概述包括K‑means 聚类、DBSCAN 聚类,以及其他聚类算法。

统计评估方法

1 假设检验 Hypothesis Testing

原假设 H0:不存在统计显著差异

备择假设 HA:存在显著差异。假设需要在验证数据前定义。

  • 决策逻辑:要么拒绝原假设,支持备择假设;要么不能拒绝原假设,不能直接说 “接受原假设”。

2 均值差异检验

两个总体均值是否有显著差异,不仅看均值差值,还取决于方差。

下图一mean=-3,图二mean=3.两张正态分布图演示:方差小,分布几乎无重叠,差异显著;方差大,分布大量重叠,差异不显著。

① Student’s t‑test(独立样本 t 检验)

适用前提:两个总体服从正态分布、总体方差相等但未知,equal but unknown variance。 

  • T服从自由度 n1+n2-2 的 t 分布;T 距离 0 越远,两组差异越显著。
  • 显著性水平 α:原假设实际为真时却拒绝原假设的概率,常用α=0.05。若|T| >= T*,拒绝H0。

R 调用:t.test(x,y,var.equal=TRUE)

② Welch’s t‑test

当总体方差不相等时使用;仍然假设总体正态分布;不使用合并方差,直接使用两组各自样本方差。

R 调用:t.test(x,y,var.equal=FALSE)

③ Wilcoxon Rank‑Sum Test(威尔科克森秩和检验,非参数)
  • t 检验属于参数检验,对总体分布做假设;当数据不满足正态假设,使用非参数检验Wilcoxon 秩和检验,不对分布形态做假设。
  • p 值含义:假设两组总体分布完全相同,观察得到当前秩和结果的概率。
  • R 调用:wilcox.test(x,y,conf.int = TRUE)

3 I 类错误、II 类错误 & 统计功效

  • I 类错误(α):原假设为真,错误拒绝原假设(假阳性)。
  • II 类错误(β):原假设为假,未能拒绝原假设(假阴性)。
  • 统计功效 Power:正确拒绝错误原假设的概率,Power=1-beta。

4 ANOVA 方差分析(多组均值比较)

t 检验只能对比两组;ANOVA 用于3 组及以上总体均值比较,避免多次 t 检验带来的误差膨胀。

假设至少有一对总体均值不相等。

前提:各组正态分布、各组方差齐性。

计算 F 统计量

F 值越大,组间差异远大于组内随机波动,越可能拒绝原假设;F 服从 F 分布。

R 实现

model <- aov(purchase_amt ~ offers, data=offertest)
summary(model)

事后两两对比:Tukey HSD。ANOVA 只能判断 “存在差异”,不能定位哪两组有差异;TukeyHSD 做全部组对比较,控制整体置信水平。

TukeyHSD(model)

聚类分析(无监督学习)

监督学习:带标签数据;

无监督学习:无标签,挖掘数据内在结构;聚类、密度估计、降维属于无监督。

聚类目标:把相似样本归为一类。

1 K‑means 聚类

原理与 4 步算法

给定 k,把 n 维空间的 m 个数据点划分 k 个簇。

  1. 指定 k,初始化 k 个质心(centroid);
  2. 计算每个点到各个质心的欧氏距离,分配到距离最近的质心所属簇;
  3. 更新每个簇的质心:簇内所有点的重心(算术平均);
  4. 迭代 2‑3 直到收敛(质心不再大幅变化)。
应用场景

客户分群、患者分组、图像颜色压缩;可作为分类任务前置步骤,聚类完成后再给簇打标签做分类。

选择 k 值:手肘法(Elbow Method)

WSS 组内平方和 Within‑Sum‑of‑Squares:每个样本到所属簇质心距离平方总和。

k 越大,WSS 持续下降;手肘点:WSS 下降速率显著变缓的 k,作为最优 k。

需要检查:

  1. 各个簇之间是否分离良好;
  2. 是否存在样本极少的簇;
  3. 质心之间距离是否过近。 原则:增加 k 不能带来更好区分效果,优先选择更小 k。
K‑means 注意事项(Reasons to Choose and Cautions)
  1. 特征选择与缩放
    • 度量单位会直接影响距离计算,建议标准化 / 归一化属性(除以标准差);
    • 避免过多特征(维灾难);避免高度相关变量;可以使用信息增益、PCA 做特征筛选。
  2. 对初始质心敏感:使用nstart多次运行取最优。
  3. 距离变体:曼哈顿距离,对应簇使用中位数而非均值。
  4. K‑means 局限:
    • 适合球形、密度相近、大小相近的簇;
    • 对噪声、离群点敏感;
    • 非球形簇、簇密度差异大、簇大小悬殊效果差,会出现空簇。需要可视化验证数据是否适合 K‑means。
拓展:K‑modes

K‑means 只处理数值;K‑modes 用于分类类别数据,用属性取值不同的个数衡量距离;也可以将类别编码成数值。

2 DBSCAN 密度聚类

核心思想:簇是数据空间中高密度连通区域,被低密度区域分隔。

  • 优点:发现任意形状簇;自动识别噪声 / 离群点;不需要预先指定簇的数量 k。
  • 参数:Eps(邻域半径)、MinPts(邻域内最少点数,密度阈值)。
点的三类定义
  1. 核心点 Core point:Eps 邻域内样本数 ≥ MinPts,处于簇内部;
  2. 边界点 Border point:本身不是核心点,但落在某个核心点的 Eps 邻域;
  3. 噪声点 Noise point:既不是核心点,也不属于任何核心点邻域,视作离群点。
DBSCAN 算法步骤
  1. 遍历所有点,标记每个点:核心、边界、噪声;
  2. 将互相 Eps 可达的核心点归为同一个簇;
  3. 将边界点分配给关联的核心点所在簇;噪声保留为异常点。
DBSCAN 优缺点

优势:抗噪声,处理任意形状簇;复杂度和 K‑means 接近。

短板:密度变化很大的数据效果差;高维稀疏数据表现差。可以采样、降维来缓解。 R 调用:dbscan(data, eps, MinPts=5)

3 层次聚类 Hierarchical Clustering

分为凝聚式(从每个点独立成簇,不断合并相似簇,R 函数hclust())、分裂式。

  • 输出树状图 dendrogram;
  • 计算代价很高O(n^2)O(n^3),大数据场景很少使用。

整体对比

算法是否需要预先给 k处理噪声簇形状适合数据
K‑means必须指定 k差,对异常点敏感球形簇数值、规模较大数据
DBSCAN不需要 k,需要 Eps/MinPts优秀任意形状簇密度变化不大的中低维数据
层次聚类不需要 k,可从树图选簇一般任意形状小数据集,大数据不适用

统计检验用于评估模型 / 组间差异;聚类属于无监督,K‑means 侧重距离,DBSCAN 侧重局部密度,使用前要结合可视化判断算法适配性。

66、数据挖掘在低薪工作场所识别与黑色素瘤预测中的应用 本博文探讨了数据挖掘在两个不同领域的应用:低薪工作场所的识别和黑色素瘤的预测。在低薪工作场所识别部分,介绍了使用可变精度粗糙集(VPRS)模型结合英国企业数据来识别可能违反最低工资规定的企业,并通过离散化方法和约简选择标准提高分类准确性;同时与ID3决策树方法进行了比较,显示VPRS模型在预测准确率上更具优势。在黑色素瘤预测部分,研究重点在于改进传统的ABCD公式,通过凝聚法和分裂法两种离散化方法寻找最优预测模型,实验结果表明合适的离散化方法对降低诊断错误率具有重要意义。整体研究突出了数据挖掘技术在现实问题 阅读详情

相关推荐

从入门到精通:MediaGo跨平台部署全攻略,Docker+NAS实战案例深度拆解!

本篇将深入解析开源媒体处理工具MediaGo的运作机制,该软件具备跨平台兼容性,支持Windows、MacOS及Linux三大主流操作系统。其核心创新在于采用模块化架构设计,用户无需额外依赖任何插件即可完成快速部署。作为GitHub平台上的开源项目,该工具特别注重用户体验设计,通过Docker容器化方案可无缝接入各类网络存储设备,显著优化系统资源占用并提升数据处理效率。以飞牛云NAS系统为实施案例,本文将详细展示本地化部署全流程。

Yawesh的博客 1956

【数据挖掘算法与应用】——数据挖掘导论

数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息或知识的非平凡过程。

Python全栈系列 3万+

手把手教你用Qt和DSP28335实现串口Bootloader,附赠源码和避坑指南

本文详细介绍了如何使用Qt和DSP28335实现串口Bootloader,包括开发环境搭建、通信协议设计、Qt上位机开发、DSP端Bootloader核心实现以及应用程序工程的特殊配置。通过实战案例和源码分享,帮助开发者快速掌握嵌入式固件升级技术,提升工业设备远程升级的效率和可靠性。

weixin_29176179的博客 137

电商平台数据挖掘之用户运营

电商平台数据挖掘之用户运营

hbwzhsh的专栏 2116

华大HC32F460串口超时中断+DMA收发实战:从STM32迁移的避坑指南

本文为从STM32迁移至华大HC32F460的开发者提供了串口DMA收发的实战避坑指南。核心在于理解HC32F460以串口接收超时中断替代空闲中断的机制,并调整DMA配置策略:DMA应设置为由串口接收事件持续触发搬运,超时中断仅负责通知和重置DMA,从而实现高效可靠的数据收发。

weixin_29175469的博客 114

【Flutter 问题系列第 85 篇】Xcode 运行 Flutter 提示 The Dart VM Service was not discovered after 60 seconds.

在 Xcode 上运行 Flutter 时提示 `The Dart VM Service was not discovered after 60 seconds. This is taking much longer than expected...`,意思是 `60秒后未发现Dart虚拟机服务。这比预期的要长得多`

“Allen Su”的博客 2242

如何对聚类结果进行分析_干货:如何对用户进行聚类分析?

- 点击上方“中国统计网”订阅我吧!-聚类分析(cluster analysis)是常见的数据挖掘手段,其主要假设是数据间存在相似性。而相似性是有价值的,因此可以被用于探索数据中的特性以产生价值。常见应用包括:用户分割:将用户划分到不同的组别中,并根据簇的特性而推送不同的广告欺诈检测:发现正常与异常的用户数据,识别其中的欺诈行为如上图,数据可以被分到红蓝绿三个不同的簇(cluster)中...

weixin_39724009的博客 1万+

1、语义数据建模:避免陷阱与突破困境

本文探讨了语义数据建模的兴起背景、核心概念、生命周期及常见挑战。从数据丰富型组织和AI开发者的需求出发,分析了语义建模的关键元素和质量维度,并深入讨论了建模过程中可能出现的陷阱与解决方案。文章还针对语义模型的演化、治理和战略组织问题提供了突破思路,旨在帮助数据从业者更好地理解和应用语义建模技术,以提升数据驱动应用的有效性。

c8d9e0f1的博客 120

【聚类分析】典型行业数据实践应用!

01 聚类分析的典型应用场景聚类分析的一个重要用途就是针对目标群体进行多指标的群体划分,类似这种目标群体的分类就是精细化经营,个性化运营的基础和核心,只有进行了正确的分类...

lsxxx2011的专栏 1901

道路缺陷检测实战指南:基于YOLOv11的深度学习系统从搭建到落地

道路缺陷检测项目的每一步,都是“理论→实践→反思→优化”的成长循环。当你看到自己开发的系统能精准识别出道路上的每一处裂缝、每一个坑洼时,那种“技术解决真实问题”的成就感,会让你明白深度学习不止是论文里的公式,更是改变行业的工具。如果过程中遇到模型不收敛、界面功能异常等问题,不妨把问题拆解成“数据是否标注准确?”“模型参数是否合理?”“界面逻辑是否有漏洞?”等小问题逐一排查。记住,每解决一个问题,你就离“能独立落地AI项目的工程师”更近一步。

LXY_LOVE36的博客 173

面向口齿不清者的语音识别新突破:用大模型拯救“听不懂”的声音

面向构音障碍患者的语音识别新突破:大语言模型显著提升识别准确率 国际语音研究团队在Interspeech 2025发表最新成果,通过将大语言模型(LLM)融入语音识别系统,显著改善了对构音障碍(dysarthria)患者语音的识别效果。研究表明: 传统语音识别(如CTC模型)对构音障碍语音的词错误率(WER)高达50-54%,Whisper模型降至38-40%。 引入LLM解码器后,BART模型将WER降至30-32%,而Whisper-Vicuna组合更将WER降低至21-26%。 关键优势:LLM能有效

帅小柏的博客 274

R语言数据挖掘包

与数据挖掘有关或者有帮助的R包和函数的集合。 1、聚类 常用的包: fpc,cluster,pvclust,mclust 基于划分的方法: kmeans, pam, pamk, clara 基于层次的方法: hclust, pvclust, agnes, diana 基于模型的方法: mclust 基于密度的方法: dbscan 基于画图的方法: plotcluster, plot.

1814

【数据集】中国2003年至2022年全天空每日气温数据集

中国2003年至2022年全天空每日气温数据集

WW、forever的博客 605

电商平台数据挖掘之产品分析

电商平台数据挖掘之产品分析

hbwzhsh的专栏 1456

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

聚类分析(一):K均值聚类与层次聚类

介绍三类聚类分析算法,本篇介绍K均值聚类、层次聚类,下篇介绍图团体(graph community)聚类。 聚类分析又称群分析,它是研究样本分类问题的一种统计分析方法,同时也是数据挖掘的一个重要算法。聚类分析以相似性为基础,在一个聚类(cluster)中的样本模式之间比不在同一聚类中的样本模式之间具有更多的相似性 K均值聚类 算法描述:算法随机将每个样本分配到K聚类中的一类,然后计算每个...

Jony0917的专栏 1万+

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

2018-03-02 第一章:引论

1.1 为什么进行数据挖掘1.1.1 迈向信息时代   当代社会,数据的爆炸式增长、广泛可用和巨大数量使得我们的时代成为真正的数据时代。需要功能强大和通用的工具,从海量数据中发现有价值的信息,把这些数据转化成有组织的知识。这种需求导致了数据挖掘的产生。1.1.2 数据挖掘是信息技术的进化  数据挖掘可以看做是信息技术自然进化的结果。在今天,大量数据库系统提供查询和事务处理已经司空见惯,高级数据分析...

qq_21746075的博客 474

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

R语言书籍学习03 《深入浅出R语言数据分析》-第八章 逻辑回归模型 第九章 聚类模型

逻辑回归模型属于广义的线性模型,在数学上,GLM可以表示为使用glm()构建逻辑回归模型,在逻辑回归模型中,使用default特征作为因变量,其他作为自变量。 1.3 逻辑回归预测 使用predict()函数进行预测,指定type="response"。 1.4 逻辑回归评估 评估分类模型最常见的事情可能是使用交叉表将实际响应值与预测响应值进行比较,可以使用base中的table()函数生成此矩阵。 1.5 总结 逻辑回归模型适用于二分类问题。ROC、KS等方法被用来衡量模型的优劣。聚类是

深竹清风的博客 358

层次聚类分析代码_4个步骤,用聚类分析法实现用户分析!

- 点击上方“中国统计网”订阅我吧!-聚类分析(cluster analysis)是常见的数据挖掘手段,其主要假设是数据间存在相似性。而相似性是有价值的,因此可以被用于探索数据中的特性以产生价值。常见应用包括:用户分割:将用户划分到不同的组别中,并根据簇的特性而推送不同的广告欺诈检测:发现正常与异常的用户数据,识别其中的欺诈行为如上图,数据可以被分到红蓝绿三个不同的簇(cluster)中...

weixin_32866237的博客 1339

数据挖掘学习07 - 《数据挖掘导论》第二章:数据

本文目的 最近在看《数据挖掘导论》,此书作为此领域的入门书籍,很有口碑。这几天抽业余时间,看了第二章,觉得该记点什么,否则对不起自己。人总在与遗忘作斗争,好记性不如烂笔头。 主要内容 本章节主要讨论了数据处理的4个主要方面: 数据类型 数据质量 数据预处理 相似度测量 数据类型(Type of Data) 定义数据的属性,记录,数据集。 属性的类...

weixin_34203426的博客 128

数据挖掘 = 多学科交叉?此书第 4 版震撼发布!新增图神经网络 + Transformer

全书保持简洁、与时俱进。在网页分析、推荐系统、精准营销、生物与医学数据分析、软件缺陷检测、社会网络反恐等领域,数据挖掘已成为幕后功臣。Google、Microsoft、LinkedIn、Meta 等公司已将数据挖掘嵌入日常功能,而SAS、Oracle、SQL Server 等工具则提供专业化平台。:卷积网络、循环网络、图神经网络、Transformer 等前沿架构,正重塑计算机视觉、自然语言处理与社交网络分析。此外,序列、趋势与演化分析、图挖掘、信息网络与Web挖掘等,进一步扩展了数据挖掘的疆域。

程序边界 8928

【医疗数据挖掘黄金流程】:20年临床统计专家亲授R语言6步标准化建模法(附NIH验证模板)

解决临床数据建模不规范难题,系统梳理医疗R语言临床数据挖掘步骤:涵盖数据清洗、变量筛选、多模型对比、NIH验证、结果可视化与报告生成6步标准化流程。适用于真实世界研究与回顾性队列分析,提升可重复性与期刊接受率,值得收藏。

VarLens的博客 284

用户画像的原理、模型和应用

全文共 4078个字,建议阅读9分钟在数字时代,用户数据的规模和复杂性不断增加,对企业而言,了解和理解用户成为关键的竞争优势。用户画像作为一种有效的用户分析工具,能够帮助企业深入洞察用户需求、行为和特征。本文将介绍用户画像的基础概念、原理、方法论(模型)以及在实际应用中的价值。01 用户画像的基础概念用户画像是根据用户的个人信息、兴趣爱好、行为习惯等多维度数据进行分析和描述,形成的用户特征模...

大数据星球-浪尖 483

AI人工智能计算机视觉讲师之用户画像的原理、模型和应用

通过了解用户的特征和行为,企业可以更好地理解用户需求、定制个性化的服务和营销策略,从而提升用户满意度、增加用户忠诚度,并实现商业目标的达成。根据用户的历史行为和偏好,推荐相关的产品、内容或服务,提高用户的满意度和购买转化率。通过分析用户的社交媒体互动、评论和评价,企业可以了解用户的情感倾向和对品牌的看法,及时调整和改进品牌策略,维护品牌声誉。特征提取:在用户数据中提取关键的特征,这些特征可以是用户的个人信息(如年龄、性别、地理位置)、行为特征(如购买频率、浏览偏好、搜索习惯)、兴趣爱好、社交关系等。

人工智能讲师分享前沿技术 668

应用统计学想做商业分析师,考什么证比较对口?

应用统计学专业转向商业分析,通常不缺回归分析、假设检验等方法基础,真正需要补齐的是另一条能力链:把经营问题转化为分析任务,再把分析结果转化为业务行动。选择证书,也应围绕这条能力链展开。

2601_96296664的博客 254
上一篇: 【Web Development】04Web Form网页表单
下一篇: 【感知与规划】02 Sensors传感器类型与局限
曦樂~
博客等级 码龄5年 4470粉丝 203原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

曦樂~

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值