统计评估方法包括假设检验、方差分析 ANOVA;聚类分析概述包括K‑means 聚类、DBSCAN 聚类,以及其他聚类算法。
统计评估方法
1 假设检验 Hypothesis Testing
原假设 H0:不存在统计显著差异
备择假设 HA:存在显著差异。假设需要在验证数据前定义。
- 决策逻辑:要么拒绝原假设,支持备择假设;要么不能拒绝原假设,不能直接说 “接受原假设”。
2 均值差异检验
两个总体均值是否有显著差异,不仅看均值差值,还取决于方差。
下图一mean=-3,图二mean=3.两张正态分布图演示:方差小,分布几乎无重叠,差异显著;方差大,分布大量重叠,差异不显著。

① Student’s t‑test(独立样本 t 检验)
适用前提:两个总体服从正态分布、总体方差相等但未知,equal but unknown variance。

- T服从自由度 n1+n2-2 的 t 分布;T 距离 0 越远,两组差异越显著。
- 显著性水平 α:原假设实际为真时却拒绝原假设的概率,常用α=0.05。若|T| >= T*,拒绝H0。

R 调用:t.test(x,y,var.equal=TRUE)

② Welch’s t‑test
当总体方差不相等时使用;仍然假设总体正态分布;不使用合并方差,直接使用两组各自样本方差。

R 调用:t.test(x,y,var.equal=FALSE)

③ Wilcoxon Rank‑Sum Test(威尔科克森秩和检验,非参数)
- t 检验属于参数检验,对总体分布做假设;当数据不满足正态假设,使用非参数检验Wilcoxon 秩和检验,不对分布形态做假设。
- p 值含义:假设两组总体分布完全相同,观察得到当前秩和结果的概率。
- R 调用:
wilcox.test(x,y,conf.int = TRUE)

3 I 类错误、II 类错误 & 统计功效
- I 类错误(α):原假设为真,错误拒绝原假设(假阳性)。
- II 类错误(β):原假设为假,未能拒绝原假设(假阴性)。
- 统计功效 Power:正确拒绝错误原假设的概率,Power=1-beta。
4 ANOVA 方差分析(多组均值比较)
t 检验只能对比两组;ANOVA 用于3 组及以上总体均值比较,避免多次 t 检验带来的误差膨胀。
假设至少有一对总体均值不相等。

前提:各组正态分布、各组方差齐性。
计算 F 统计量
![]()
F 值越大,组间差异远大于组内随机波动,越可能拒绝原假设;F 服从 F 分布。
R 实现
model <- aov(purchase_amt ~ offers, data=offertest)
summary(model)
事后两两对比:Tukey HSD。ANOVA 只能判断 “存在差异”,不能定位哪两组有差异;TukeyHSD 做全部组对比较,控制整体置信水平。
TukeyHSD(model)
聚类分析(无监督学习)
监督学习:带标签数据;
无监督学习:无标签,挖掘数据内在结构;聚类、密度估计、降维属于无监督。
聚类目标:把相似样本归为一类。
1 K‑means 聚类
原理与 4 步算法
给定 k,把 n 维空间的 m 个数据点划分 k 个簇。
- 指定 k,初始化 k 个质心(centroid);
- 计算每个点到各个质心的欧氏距离,分配到距离最近的质心所属簇;
- 更新每个簇的质心:簇内所有点的重心(算术平均);
- 迭代 2‑3 直到收敛(质心不再大幅变化)。
应用场景
客户分群、患者分组、图像颜色压缩;可作为分类任务前置步骤,聚类完成后再给簇打标签做分类。
选择 k 值:手肘法(Elbow Method)

WSS 组内平方和 Within‑Sum‑of‑Squares:每个样本到所属簇质心距离平方总和。
k 越大,WSS 持续下降;手肘点:WSS 下降速率显著变缓的 k,作为最优 k。
需要检查:
- 各个簇之间是否分离良好;
- 是否存在样本极少的簇;
- 质心之间距离是否过近。 原则:增加 k 不能带来更好区分效果,优先选择更小 k。
K‑means 注意事项(Reasons to Choose and Cautions)
- 特征选择与缩放
- 度量单位会直接影响距离计算,建议标准化 / 归一化属性(除以标准差);
- 避免过多特征(维灾难);避免高度相关变量;可以使用信息增益、PCA 做特征筛选。
- 对初始质心敏感:使用
nstart多次运行取最优。 - 距离变体:曼哈顿距离,对应簇使用中位数而非均值。
- K‑means 局限:
- 适合球形、密度相近、大小相近的簇;
- 对噪声、离群点敏感;
- 非球形簇、簇密度差异大、簇大小悬殊效果差,会出现空簇。需要可视化验证数据是否适合 K‑means。
拓展:K‑modes
K‑means 只处理数值;K‑modes 用于分类类别数据,用属性取值不同的个数衡量距离;也可以将类别编码成数值。
2 DBSCAN 密度聚类
核心思想:簇是数据空间中高密度连通区域,被低密度区域分隔。
- 优点:发现任意形状簇;自动识别噪声 / 离群点;不需要预先指定簇的数量 k。
- 参数:
Eps(邻域半径)、MinPts(邻域内最少点数,密度阈值)。
点的三类定义
- 核心点 Core point:Eps 邻域内样本数 ≥ MinPts,处于簇内部;
- 边界点 Border point:本身不是核心点,但落在某个核心点的 Eps 邻域;
- 噪声点 Noise point:既不是核心点,也不属于任何核心点邻域,视作离群点。
DBSCAN 算法步骤
- 遍历所有点,标记每个点:核心、边界、噪声;
- 将互相 Eps 可达的核心点归为同一个簇;
- 将边界点分配给关联的核心点所在簇;噪声保留为异常点。
DBSCAN 优缺点
优势:抗噪声,处理任意形状簇;复杂度和 K‑means 接近。
短板:密度变化很大的数据效果差;高维稀疏数据表现差。可以采样、降维来缓解。 R 调用:dbscan(data, eps, MinPts=5)
3 层次聚类 Hierarchical Clustering
分为凝聚式(从每个点独立成簇,不断合并相似簇,R 函数hclust())、分裂式。
- 输出树状图 dendrogram;
- 计算代价很高O(n^2)O(n^3),大数据场景很少使用。
整体对比
| 算法 | 是否需要预先给 k | 处理噪声 | 簇形状 | 适合数据 |
|---|---|---|---|---|
| K‑means | 必须指定 k | 差,对异常点敏感 | 球形簇 | 数值、规模较大数据 |
| DBSCAN | 不需要 k,需要 Eps/MinPts | 优秀 | 任意形状簇 | 密度变化不大的中低维数据 |
| 层次聚类 | 不需要 k,可从树图选簇 | 一般 | 任意形状 | 小数据集,大数据不适用 |
统计检验用于评估模型 / 组间差异;聚类属于无监督,K‑means 侧重距离,DBSCAN 侧重局部密度,使用前要结合可视化判断算法适配性。
1956



被折叠的 条评论
为什么被折叠?



