Python空间回归实战:用pysal分析美国大选数据(附完整代码)

空间数据分析入门避坑指南:手把手教你用GeoDa算莫兰指数,看懂p值z值不再懵 本文详细介绍了如何使用GeoDa进行空间数据分析,从软件安装到莫兰指数计算与解读的全流程。通过实战案例解析,帮助读者掌握专题图制作、权重矩阵构建等关键技能,并深入讲解莫兰指数的计算原理、结果解读及常见问题解决方案,是空间数据分析入门的实用指南。 阅读详情

Python空间回归实战:用pysal分析美国大选数据(附完整代码)

空间数据分析正在成为社会科学研究的重要工具,特别是在选举预测、房价分析和公共卫生等领域。本文将带你用Python的pysal库,通过2020年美国大选数据,实战演练空间回归分析的全流程。不同于传统回归分析,空间回归考虑了地理单元之间的相互影响,能更准确地捕捉现实世界中的空间依赖现象。

1. 环境准备与数据加载

在开始分析前,我们需要准备Python环境和相关库。推荐使用Anaconda创建独立环境:

conda create -n spatial python=3.8
conda activate spatial
pip install pysal geopandas matplotlib seaborn numpy pandas

数据集包含两个关键部分:县级选举数据(CSV格式)和地理边界数据(GeoJSON格式)。让我们先加载并探索数据:

import pandas as pd
import geopandas as gpd

# 加载选举数据
voting = pd.read_csv('https://raw.github.com/Ziqi-Li/gis5122/master/data/voting_2020.csv')
voting['median_income'] = voting['median_income']/10000  # 收入单位转换为万美元

# 加载地理边界数据
shp = gpd.read_file("https://raw.github.com/Ziqi-Li/gis5122/master/data/us_counties.geojson")
shp_voting = shp.merge(voting, on="county_id")

# 选择分析变量
variable_names = ['sex_ratio', 'pct_black', 'pct_hisp', 'pct_bach', 'median_income','ln_pop_den']
y = shp_voting[['new_pct_dem']].values  # 因变量:民主党得票率
X = shp_voting[variable_names].values   # 自变量矩阵

数据预处理时需要注意:

  • 检查缺失值:shp_voting.isnull().sum()
  • 变量标准化:对连续变量考虑Z-score标准化
  • 空间权重矩阵的构建方式会影响最终结果

2. 构建空间权重矩阵

空间权重矩阵是空间分析的核心,它定义了地理单元之间的"邻居"关系。pysal提供多种构建方式:

from libpysal.weights import Queen, Rook, KNN

# Queen邻接(共享顶点或边即视为邻居)
w_queen = Queen.from_dataframe(shp_voting)
w_queen.transform = 'R'  # 行标准化

# 可视化连接关系
import matplotlib.pyplot as plt
fig, ax = plt.subplots(figsize=(12,8))
shp_voting.plot(ax=ax, color='white', edgecolor='black')
w_queen.plot(shp_voting, ax=ax, edge_kws=dict(linewidth=0.5, color='red'))
plt.title("Queen Contiguity Spatial Weights")

权重矩阵类型对比:

类型定义适用场景优缺点
Queen共享边界或顶点均匀分布区域更密集连接
Rook仅共享边界规则网格数据连接较少
KNN最近的k个邻居不规则分布点确保每个单元有相同数量邻居
距离阈值指定距离内为邻居点数据连接数不均

提示:实际分析中建议尝试不同权重矩阵,通过Moran's I检验选择最优方案。

3. 基础OLS回归与空间自相关检验

我们先建立普通最小二乘(OLS)模型作为基准:

import spreg
ols = spreg.OLS(y, X, name_y='new_pct_dem', name_x=variable_names)
print(ols.summary)

关键指标解读:

  • R-squared: 0.609 - 模型解释约60.9%的方差
  • pct_black系数0.483 - 黑人比例每增加1%,民主党得票率增加0.48%
  • median_income系数-1.66 - 收入每增加1万美元,得票率下降1.66%

接下来检验残差的空间自相关:

from esda.moran import Moran
from splot.esda import plot_moran

ols_moran = Moran(ols.u, w_queen, permutations=999)
plot_moran(ols_moran, zstandard=True, figsize=(10,4))
print(f"Moran's I: {ols_moran.I:.3f}, p-value: {ols_moran.p_norm:.5f}")

结果显示出强烈的空间自相关(Moran's I=0.6, p<0.001),表明OLS假设被违反,需要考虑空间模型。

4. 空间回归模型实战

4.1 空间误差模型(SEM)

当误差项存在空间依赖时,SEM是合适选择:

sem = spreg.ML_Error(y, X, w=w_queen, name_x=variable_names, name_y='new_pct_dem')
print(sem.summary)

关键发现:

  • lambda系数0.87(p<0.001) - 强烈空间误差依赖
  • pct_black影响增强到0.75 - 考虑空间因素后效应更大
  • AIC=20355 - 优于OLS的23198

验证残差空间自相关:

sem_moran = Moran(sem.e_filtered, w_queen, permutations=999)
print(f"SEM Moran's I: {sem_moran.I:.3f}")  # 接近0,空间依赖已消除

4.2 空间滞后模型(SLM)

当因变量存在空间溢出效应时,SLM更合适:

slm = spreg.ML_Lag(y, X, w=w_queen, name_y='new_pct_dem', name_x=variable_names)
print(slm.summary)

模型特点:

  • rho系数0.58(p<0.001) - 强烈空间滞后效应
  • 教育水平(pct_bach)直接影响0.83
  • AIC=21723 - 优于OLS但不及SEM

4.3 模型比较与选择

三种模型关键指标对比:

指标OLSSEMSLM
AIC231982035521723
Moran's I(残差)0.60-0.080.15
pct_black系数0.480.750.28
空间参数-lambda=0.87rho=0.58

根据AIC和残差空间自相关,SEM是最佳选择。但SLM能分析空间溢出效应,适合不同研究目的。

5. 空间溢出效应分析

SLM的一个独特优势是可以量化空间溢出效应。我们以教育水平(pct_bach)为例:

import numpy as np

# 计算总效应矩阵
rho = slm.rho[0][0]
beta_bach = slm.betas[6][0]  # pct_bach系数
I = np.identity(w_queen.n)
W = w_queen.full()[0]
total_effects = np.linalg.inv(I - rho * W) * beta_bach

# 分析特定县的影响
leon_idx = shp_voting[shp_voting['NAME_x']=="Leon"].index[0]
shp_voting['leon_effect'] = total_effects[:, leon_idx]

# 可视化佛罗里达州内影响
florida = shp_voting[shp_voting['state']==12]
ax = florida.plot(column='leon_effect', legend=True, figsize=(12,8),
                 scheme='quantiles', cmap='Reds')
plt.title("Leon县教育水平提升1%对周边县民主党得票率的影响")

分析发现:

  • 直接影响:Leon县教育水平提升1%,本地民主党得票率增加0.83%
  • 总影响:0.90%(直接+间接)
  • 邻近县如Jefferson受影响约0.12%
  • 远距离县如Miami-Dade几乎无影响

6. 结果可视化技巧

有效可视化能增强分析说服力。以下是几种专业呈现方式:

空间回归系数图:

# 准备系数数据
models = ['OLS', 'SEM', 'SLM']
coefs = {
    'pct_black': [0.483, 0.749, 0.278],
    'pct_bach': [0.975, 0.729, 0.835],
    'median_income': [-1.660, -2.423, -2.991]
}

# 绘制系数比较
fig, axes = plt.subplots(1, 3, figsize=(18,5))
for ax, (var, vals) in zip(axes, coefs.items()):
    ax.bar(models, vals, color=['#4C72B0','#DD8452','#55A868'])
    ax.set_title(f'{var}系数比较')
    ax.axhline(0, color='black', linewidth=0.8)
plt.tight_layout()

残差空间分布图:

from mpl_toolkits.axes_grid1 import make_axes_locatable

fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(20,8))

# OLS残差
divider = make_axes_locatable(ax1)
cax = divider.append_axes("right", size="5%", pad=0.1)
shp_voting.plot(column=ols.u.reshape(-1), ax=ax1, legend=True, cax=cax,
               scheme='quantiles', cmap='RdBu')
ax1.set_title("OLS残差空间分布", fontsize=14)

# SEM过滤残差
divider = make_axes_locatable(ax2)
cax = divider.append_axes("right", size="5%", pad=0.1)
shp_voting.plot(column=sem.e_filtered.reshape(-1), ax=ax2, legend=True, cax=cax,
               scheme='quantiles', cmap='RdBu')
ax2.set_title("SEM过滤残差空间分布", fontsize=14)

在实际项目中,空间回归往往需要多次迭代调试。一个常见问题是权重矩阵选择——我曾遇到使用Queen邻接导致模型不收敛的情况,改用KNN权重后解决。另一个经验是,当空间参数(rho/lambda)接近1时,可能需要检查是否存在空间单元定义错误。

【信息科学与工程学】【审计学】第一篇 招投标领域审计算法01 在每个关键流程节点(如文件上传、开标唱标、评标结束), 计算该环节所有电子文件的数字指纹(如SHA-256哈希值), 并将指纹和元数据(时间、操作人)上链存证。:从发票、合同中提取材料品名、规格、采购价、时间、地点。:对每个供应商, 提取其在历史投标中的行为序列特征, 如:中标率、与特定伙伴同时投标率、自身高报价次数、在伙伴中标项目中的“弃标”或“无效标”次数。:监控开标、评标现场音视频, 识别异常情绪(激烈争吵)、敏感关键词(“打点”、“关照”)、异常物品传递、私下交流等违规行为。 阅读详情

相关推荐

MicroPython驱动ST7789屏避坑实录:从GB2312到完整中文字库的升级之路

本文详细介绍了使用MicroPython驱动ST7789显示屏实现完整中文字库显示的实战方案。从硬件选型到字库系统改造,再到内存优化和显示性能提升,提供了一套突破GB2312限制的全套中文显示解决方案,特别适合ESP32开发者在物联网设备中实现高质量中文显示。

weixin_29190573的博客 394

Applied Spatial Statistics(七):Python 中的空间回归

本笔记本演示了如何使用 pysal 的spreg库拟合空间滞后模型和空间误差模型。

May the Force be with you 2558

CNN经典论文(一)LeNet

Gradient-Based Learning Applied to Document Recognition(梯度学习在文档识别中的应用) Yann LeCun, Leon Bottou, Yoshua Bengio, and Patrick Haffner 发表时间:December 1998 期刊:Proceedings of the IEEE 影响:世界上第一个卷积神经网络 论文地址:Gradient-Based Learning Applied to Document Recognition

loveling丶的博客 3600

Applied Spatial Statistics(八):Python 空间回归实战——从 Moran‘s I 到空间滞后效应分解

本文详细介绍了如何使用Python进行空间回归分析,从Moran's I检验到空间滞后效应分解的全流程实战。通过pysal和spreg库,结合美国大选数据,演示了空间误差模型(SEM)和空间滞后模型(SLM)的应用与选择标准,并深入解析了空间溢出效应的量化方法。

weixin_28684497的博客 386

R语言实战:三因素方差分析(ANOVA)从入门到精通(附完整代码解析)

本文详细介绍了如何使用R语言进行三因素方差分析(ANOVA),从数据准备、模型构建到结果解读与可视化,提供完整代码解析。通过实战案例,帮助读者掌握复杂交互效应的分析方法,适用于科研、教育等多个领域的数据分析需求。

weixin_29081101的博客 248

3D视觉革命丨多相机协同拼接技术如何重塑工业检测边界

本文深入探讨了多相机协同拼接技术如何突破单台3D相机的物理局限,实现工业检测从“点面”到“立体”的无死角覆盖。通过拆解系统标定、同步融合等核心技术,并结合锂电池、长轴零件等实战案例,揭示了该技术如何以虚拟“超级视觉传感器”重塑检测边界,提升精度与效率。

weixin_29056865的博客 391

Applied Spatial Statistics(八):Python 空间回归实战与模型选择指南

本文详细介绍了Python在空间回归分析中的实战应用与模型选择方法,重点解析了空间滞后模型和空间误差模型的使用场景与实现技巧。通过pysal库的spreg模块,结合选举数据案例,展示了如何诊断空间自相关、比较模型效果以及量化空间溢出效应,为地理数据分析提供实用指南。

convnet3designer的博客 442

Qt QChart实战:从零打造一个实时温度监控仪表盘(附完整源码)

本文详细介绍了如何使用Qt QChart模块从零构建一个工业级实时温度监控仪表盘。通过实战案例,展示了波形图的绘制、坐标轴配置、数据流模拟等关键技术,并提供了完整的源码实现,帮助开发者快速掌握Qt在数据可视化领域的应用。

weixin_42537919的博客 248

Xiaomi Home Integration 十分钟指南:米家接入 Home Assistant 并跑通下班回家自动化

用 Xiaomi Home Integration 把米家设备接入 Home Assistant,只需要十分钟。这篇文章写给已经装好 HA、手头有米家设备的你:先过一遍安装与自检清单,再挑定云端或本地控制通道,最后拿到一份直接能跑的回家自动化 YAML。读完并完成操作,你的米家设备就都能在 HA 里被自动化调度了。 ## 动手前先确认什么? 四件事,缺一样都建议先补上再往下走: - **版本

gitblog_00100的博客 289

实战分享:如何利用svchost进程绕过360防护(附完整Shellcode注入教程)

本文深入解析系统进程安全防护机制,探讨svchost等关键进程的安全特性与防护策略。详细分析安全软件的行为检测和内存保护技术,提供系统加固与监控实践建议,助力企业构建多层次防御体系,有效应对潜在安全威胁。

weixin_30752699的博客 101

基于STM32L4XX、HAL库的ESP32-S3-WROOM-1-N4 WIFI模块驱动程序设计

/ 检查是否收到完整的一行(以\r\n结尾)// 例如: 解析AT命令响应或MQTT消息等。// UART2初始化已在CubeMX中配置。// USART2初始化函数(由CubeMX生成)// 缓冲区溢出,重置。// 如果需要等待响应。// 处理接收到的数据。// 处理接收到的数据。// 等待ESP32模块启动。// 主循环其他任务。// 启用UART全局中断。// 发送HTTP GET请求。// 发送AT测试命令。// 连接Wi-Fi。// UART中断回调函数。

zhusl6688的博客 292

GIS与交通融合实战:从空间数据到智能决策的完整项目指南

地理信息系统(GIS)的核心在于对空间数据进行采集、管理与分析,其原理是通过对点、线、面等地理对象的几何与拓扑关系建模,实现对现实世界的数字化映射。这一技术价值在于将静态的空间信息转化为可计算、可分析的结构化知识,从而支撑科学的决策。在工程实践中,GIS与交通工程的交叉融合,催生了网络分析、时空数据挖掘等关键技术,广泛应用于智慧城市、物流优化与自动驾驶等场景。本文聚焦于GIS开发与交通数据分析,通过一个完整的“交通事故热点分析”实战项目,系统演示了如何利用Geopandas、OSMnx等工具链,将空间统计理

weixin_30267785的博客 356

手游功耗优化:从猜想到硬核实测

功耗本质是“硬件在吃电”,要看电流/功率曲线,而不是只看帧率和温度;定量 = 有数字、有曲线、有对比能说“降了 15%”、“峰值从 7W 降到 5.5W”,而不是“我感觉凉快点”;工具方面:大厂会用外接功率仪 + 手机/芯片厂内部平台;平时也会用 Android/iOS/引擎自带的工具做趋势分析;流程上:选典型机型和场景 → 跑脚本采集 → 对齐 Profiler 数据 → 分析 CPU/GPU/网络谁在吃电;再通过版本对比、画质/帧率组合测试,指导配置和优化。这是一个。

本博客聚焦游戏开发技巧、创业实战心得及大学热门课程干货。这里既有技术深度,也有思维广度,无论你是开发者、创业者还是高校学子,都能在这里找到适合自己的成长之路! 185

适合做数据分析的 AI 工具怎么选:五类任务对应五类工具

选数据分析 AI 工具这件事,答案取决于三个条件:你的任务类型、技术门槛,以及要不要做工程化交付。先把结论放在前面:临时看看数据,用聊天式对话分析;日常表格处理,用 Excel/WPS AI;团队看板和口径管理,用商业 BI 或开源 BI;写代码做专业分析,用 Python 生态加编码助手;如果是多文件工程、要跑通并验证、要留版本记录,就进入 AI 原生 IDE 的领地。把“工具哪个好”换成“我属于哪类任务”,选型就不再是排行榜问题,而是条件匹配问题。

2603_96806404的博客 256

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

智能数据分析平台深度评测:主流产品优劣势与适用场景解析

智能数据分析平台的选型,核心是判断企业当前处于哪个数据阶段、下一步要解决什么问题。四款平台各有明确的能力侧重:帆软 FineBI 强在报表与指标体系的标准化,观远数据强在行业场景与决策智能,火山引擎 DataWind 强在字节生态与对话式问数,ThinkingAI 的价值在于把"分析"推进到"行动",让数据闭环真正转起来。与其纠结哪家功能更多,不如先用一个真实业务问题做验证,最快能跑通闭环的那一个,往往就是当前阶段的最优解。

效率工作研究中心 97

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

企业做 AI 数据分析,该用通用办公 Agent 还是专业数据 Agent?

企业做 AI 数据分析,选型的核心判断标准是数据复杂度,而非单纯的产品偏好。当数据分析停留在单表、小数据量、口径模糊的浅层问答时,通用办公 Agent 已经足够;当数据涉及多表关联、大数据量、严格指标口径和权限治理时,通用 Agent 的生成 SQL 路线会在这四道门槛前暴露能力边界,专业数据 Agent 才是承接深度分析的可靠选择。两类 Agent 的定位决定了它们应当协同而非替代。

Leo的博客 128

适合做数据分析的AI工具怎么选:按任务类型拆解五类方案与选型维度

以 AI 原生开发环境这一形态为例,TRAE 保留编辑器、终端、调试、Git 等传统工作流,并内置可规划并执行任务的 AI 智能体,生成的代码可以直接在终端里运行,报错可以进调试器定位,每一次修改都有 Git 提交可回溯。做数据分析选 AI 工具时,最容易踩的坑不是工具太少,而是把不同物种的东西放在一起比:把能聊天的通用大模型当成 BI 用,把自动补全的编程助手当成分析师用,最后得出 AI 做不了数据分析的结论。最后一步建议:拿你手头真实的一个分析任务去试,看工具在报错之后的表现,比看任何评测都准。

2603_96881810的博客 247

数据分析报表自动化:从数据到决策的报告流水线

报表自动化不是把 Excel 换成看板,而是把「取数 → 清洗 → 建模 → 可视化 → 分发」固化为可调度、可复现的流水线。它让人从重复劳动里抽身,只做判断与决策。本文系统拆解 3 个核心能力与 5 个落地步骤,并说明通智睿见如何以智能数据平台的能力,把报表结论沉淀为可问、可测、可复用的洞察资产。

淡然一笑 的专栏 194

适合做数据分析的 AI 工具怎么选:按任务类型与工程要求定位到具体方案

回到最初的问题:适合做数据分析的 AI 工具,答案不是一个名字,而是一张按你的任务条件展开的选型表。表格办公和零代码临时分析不需要引入 AI 工具,对话 AI 加电子表格就能解决;企业级看板交付在成熟 BI 产品里选;写代码的 analysts 和开发者在开源生态加编码助手这条线上效率最好;而当分析项目复杂到需要多文件工程、运行验证和可追溯交付时,TRAE 这类提供 Agent 窗口与 IDE 窗口双形态、保留完整编辑/终端/调试/Git 工作流的 AI 原生 IDE,是值得考察的一类新选项。

2608_96881912的博客 174

读数据分析思维通识课02从数据中快速发现规律(上)

读数据分析思维通识课02从数据中快速发现规律(上)

lyingSeven的博客 732

数据分析与持续同调

这套方法在工程上的价值,集中在它擅长、而传统方法不擅长的场景。第一类是材料科学:在多孔材料、非晶态固体的原子构型里,"孔洞的大小分布、连通性、拓扑类型"直接关乎力学、扩散、催化性能,而这些恰恰是持续同调的强项——它能统计"在每一尺度的孔数量与存活区间",并对材料微结构的变化给出稳健描述,而不需要先定义某种具体的几何量。它的核心思路是:不要在某个固定尺度上测量拓扑,而是在所有尺度上追踪拓扑特征的出现与消失——一个洞在某处出现、又在更大的尺度上被填平,它的"存活时间"就是一个不依赖具体刻度的、稳健的拓扑特征。

2602_95606446的博客 196

WorkBuddy 接入奥威BI:让企业级数据分析在对话里完成

业务人员不需要下载数据、不需要打开 BI 门户,只需在对话框里说出业务问题——比如“分析去年公司经营风险”——就能拿到一份口径统一、数据可溯源的图文分析报告。奥威BI 的价值恰恰在于承接这类存量系统——通过数据接口把金蝶云·星空、K/3 WISE 以及用友等 ERP 的数据统一接入并建模,之后 AI 通过 MCP 调用的就是已经治理好的数据。写好配置之后,需要在连接器管理页面右上角的自定义连接器入口里,对新服务点击“信任”,这一步做完,WorkBuddy 才真正具备调用奥威BI 的能力。

qq_43696218的博客 310

云计算技术应用专业考证路线:从Linux、云平台到Kubernetes与数据分析

云计算技术应用专业选证书,首先要看就业方向:是做云平台运维、Linux系统管理,还是向容器平台、云架构与数据应用发展?岗位不同,值得投入的证书也不同。面向2027年的实习和求职规划,可以重点考虑六项证书:华为HCIA-Cloud Computing、阿里云ACA云计算助理工程师、RHCSA、CDA数据分析师、AWS解决方案架构师助理级认证和CKA。它们分别对应云平台基础、系统管理、数据分析、架构设计与容器运维等能力,不必全部报考。

gentleing的博客 110

“扣子编程”开发数据分析专家Agent实战案例

本项目虽然规模不大,但涉及提示词设计、工具编排、模型调用等多个关键环节。以下五条经验对同类项目具有普遍的借鉴意义。

夏天又到了的专栏 680

关于Atera数据分析的几点问题探讨

关于Atera数据分析的几点问题探讨

weixin_53637133的博客 174

AI 办公提示词模板实战:5 个可复制的 Prompt(会议纪要 / 周报 / 邮件 / 合同 / 数据分析)

5 个可直接复制的办公 Prompt,覆盖会议纪要、周报、对外沟通、合同速读、数据结论。每个给模板、约束点、失效条件,另附五要素框架、失败模式对照表和批量调用骨架。

m0_50747450的博客 366
上一篇: 数字逻辑设计进阶:用Quartus-II 9.0构建可复用的加法器模块库
下一篇: MyBatis批量操作终极指南:从基础到高级实战(附完整代码示例)
github5actions
博客等级 码龄1天 0粉丝 1824原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值