课程:B站大学
记录使用pands完成数据分析、数据测试
pandas 数据处理常用库技术梳理:从读到出
pandas 数据处理常用库技术梳理:从读到出
一、背景
这份文档整理的是 pandas 在日常数据处理中最常用的一部分 API,按"读入、体检、清洗、派生、聚合、连接、窗口、输出"的顺序串成一条线,重点写清三件事:每个操作解决什么问题、默认参数会带来什么偏差、和 SQL 的写法怎么对应。
二、知识地图:一份数据从读到出就六步
pandas 的 API 数量很大,但按处理阶段归类之后能收敛到六个动作。任何一份原始表,走完这六步就能变成可交付的结果。
图 1:数据处理六步主线
表 1:六步对应的核心方法与常见坑
| 阶段 | 核心方法 | 默认行为里藏着的坑 | 对应 SQL 的哪个位置 |
|---|---|---|---|
| 读入 | read_csv、read_excel、read_sql | 自动推断类型,前导零丢失 | 建表、导数 |
| 体检 | info、describe、isnull、value_counts | value_counts 默认丢弃空值 | 无直接对应 |
| 清洗 | dropna、fillna、drop_duplicates、astype | fillna(0) 把空值和 0 混为一谈 | where、distinct、cast |
| 派生 | loc 赋值、np.where、np.select、pd.cut | 分箱边界默认左开右闭 | case when |
| 聚合 | groupby、agg、pivot_table | groupby 默认 dropna=True 丢空分组 | group by、having |
| 连接 | merge、concat | 默认 how=inner,一对多会膨胀 | join、union all |
| 窗口 | rank、transform、shift | rank 的 method 决定并列口径 | row_number、lag |
| 输出 | to_csv、to_excel | 默认写出索引列,中文需 utf-8-sig | 落地表 |
三、核心知识点
3.1 两个数据结构与索引
Series 是带标签的一列,DataFrame 是带行标签和列名的二维表。DataFrame 取单列得到 Series,取多列仍是 DataFrame。
索引是 pandas 与 SQL 差别最大的地方。DataFrame 有两套行定位方式:index 标签和物理位置。loc 按标签,iloc 按位置。平时两者一致,一旦经过筛选、排序、删除,标签就不再连续,此时 loc[0] 取到的未必是第一行。
sub = df[df["amount"] > 100] # index 可能是 0, 2, 5
sub.iloc[0] # 第一行,按位置
sub.loc[0] # 标签为 0 的行,可能不存在
sub.reset_index(drop=True) # 需要连续位置就先重置
实践约定:按位置取数统一用 iloc,按业务键取数统一用 set_index 之后的 loc,两者不要混用。
3.2 读入:三个参数决定后续所有问题
读入阶段的类型推断是最容易被忽略的错误来源。三个参数值得固定写法。
dtype 保住编号类字段的前导零:
pd.read_csv(path)["code"].tolist() # [1, 2, 10]
pd.read_csv(path, dtype={"code": str})["code"].tolist() # ['001', '002', '010']
不指定类型时,001 会被推断成整数 1,后续按编码关联维表永远匹配不上,而且不报错,只体现为结果行数变少。
na_values 统一空值写法。源表里表示空的方式通常不止一种:NULL、null、-、/、空字符串,还有一个字面量的 None 字符串。不统一成 NaN,后续所有空值判断都会漏。
parse_dates 在读取时完成时间解析,比读完后 to_datetime 更省事,也能避免日期列被当成字符串排序。
df = pd.read_excel(
r"D:\data\ods_order_detail.xlsx",
dtype={"product_id": str},
parse_dates=["order_time"],
na_values=["NULL", "null", "-", "/", ""],
engine="openpyxl",
)
补充两点:Windows 下含中文或空格的路径用原始字符串 r"..." 或 pathlib 拼接;读 xlsx 需要 openpyxl,报 ImportError 时先装库再显式指定 engine。
3.3 体检:四件套加两个自定义检查
info 看字段与类型,describe 看数值分布,isnull().sum() 看空值分布,value_counts() 看枚举值分布。四个命令跑完,一份数据能不能用基本就有结论。
在此基础上加两个检查,能挡掉大部分后续事故:
df["order_id"].duplicated().sum() # 业务主键是否唯一
df["amount"].describe(percentiles=[.99]) # 极值是否合理
主键唯一性检查最容易被跳过。明细表里一个订单出现三条记录,直接汇总会让金额虚高,而且数值看起来仍在合理区间,肉眼很难发现。
表 2:体检清单
| 检查项 | 命令 | 判断标准 |
|---|---|---|
| 行数与字段数 | df.shape | 与上游口径一致 |
| 字段类型 | df.dtypes | 金额为数值、编号为字符串、时间为 datetime |
| 空值分布 | df.isnull().sum() | 关键字段缺失率可解释 |
| 枚举值 | df[“channel”].value_counts(dropna=False) | 无 APP、app、App 并存 |
| 数值范围 | df[“amount”].describe() | 无负数、无单位错乱的极值 |
| 主键唯一 | duplicated().sum() | 业务主键重复数为 0 |
3.4 清洗:缺失、重复、类型、异常
缺失值处理的核心不是选哪个函数,而是业务判断。支付金额为空时,fillna(0) 表达的是"这笔付了 0 元",与"这笔没付款"是两种事实。更稳的做法是保留 NaN,在计算那一刻临时用 fillna(0),不回写原表。
重复值用 duplicated() 判断、drop_duplicates(subset=..., keep="last") 删除。keep 默认保留第一条,日志类数据通常要保留最后一条,因为最后一条才是终态。
类型转换不要直接 astype。脏值会让它抛异常,看不到影响范围。先 coerce 再看损失量:
num = pd.to_numeric(df["amount"], errors="coerce")
num.isnull().sum() - df["amount"].isnull().sum() # 被转废的行数
异常值用 clip() 截断,或按分位数圈定范围。金额出现负数,要么是退款,要么是错数,需要回看业务,不能一律删掉。
3.5 筛选与派生列
多条件筛选必须给每个条件加括号,& 的优先级高于比较运算,漏括号会得到错误结果且不报错。
df.loc[(df["channel"] == "APP") & (df["amount"] > 100), ["order_id", "amount"]]
派生列按场景选函数:二值判断用 np.where,多分支用 np.select,连续值分箱用 pd.cut,分位数分箱用 qcut。分箱需要注意边界闭合方向,pd.cut 默认右闭,区间形如 (0, 100],写口径时要把"100 元这一单归哪档"写清楚。
3.6 分组聚合:拆、算、合
groupby 的内部动作可以拆成三步:按 key 拆成若干份,每份单独计算,再把结果拼回一张表。这个模型和 SQL 的执行顺序能逐段对上。
图 2:groupby 的拆算合与 SQL 执行顺序的对应关系
对应规则两条:pandas 里先 query 再 groupby,等价于 SQL 的 where 加 group by;groupby 之后再用布尔索引筛,等价于 having。
g = (df.query("status == '已支付'")
.groupby("channel", dropna=False)
.agg(gmv=("amount", "sum"),
cnt=("order_id", "size"),
avg=("amount", "mean"))
.reset_index())
这里有一处必须显式处理的默认值:groupby 默认 dropna=True,key 为空的行会被整组丢弃;SQL 的 GROUP BY 会把 NULL 单独作为一组。两者的结果差异可以用一张 5 行表验证:
df.groupby("channel")["amount"].sum().shape[0] # 3 组
df.groupby("channel", dropna=False)["amount"].sum().shape[0] # 4 组
df["amount"].sum() # 550.0
分组合计 470,全表合计 550,缺的 80 就是空渠道那一组。这类差异不会报错,只会表现为"分组汇总和总数对不上"。写汇总时统一显式声明 dropna=False,再单独决定空值组是否计入业务口径。
多指标聚合用 agg 的命名元组写法,一次出结果;维度较多时改用 pivot_table,它同时承担行转列的职责。
pd.pivot_table(df, index="channel", columns="status",
values="amount", aggfunc="sum", fill_value=0, margins=True)
3.7 表连接:一对多是主要风险
merge 的参数不多,风险集中在行数变化上。
图 3:一对多连接导致行数与金额同时膨胀
实测:订单表 4 行、金额合计 1000,用户维表中 u1 有两条历史地址,左连接后变成 6 行、金额合计 1400,虚增 40%。全过程无报错、无警告。
validate 参数可以把这类问题挡在执行阶段:
# 维表 key 重复时直接抛 MergeError,不会静默产出错误结果
m = orders.merge(users, on="user_id", how="left", validate="many_to_one")
# MergeError: Merge keys are not unique in right dataset; not a many-to-one merge
# 去重后通过校验
m = orders.merge(users.drop_duplicates("user_id"), on="user_id",
how="left", validate="many_to_one")
validate 支持 one_to_one、one_to_many、many_to_one、many_to_many 四种声明,声明与实际不符即报错。配合 indicator=True 还能拿到每行的匹配来源,用来算关联率。
concat 用于纵向拼接,注意 ignore_index=True 与列顺序对齐;join 是 merge 的索引版语法糖,容易被误用成"万能连接",实际按 index 对齐,业务键连接一律用 merge。
3.8 窗口函数三件套:rank、transform、shift
排名用 rank,method 参数决定并列的处理方式,这是最常被问到的细节。
df["rn"] = df.groupby("dept")["sal"].rank(method="first", ascending=False)
df["rk"] = df.groupby("dept")["sal"].rank(method="min", ascending=False)
df["dense"] = df.groupby("dept")["sal"].rank(method="dense", ascending=False)
表 3:三种并列口径的实际输出
| name | sal | method=first | method=min | method=dense | 对应 SQL |
|---|---|---|---|---|---|
| n1 | 300 | 1 | 1 | 1 | row_number / rank / dense_rank |
| n2 | 300 | 2 | 1 | 1 | 同上 |
| n3 | 200 | 3 | 3 | 2 | 同上 |
取每组前 N 条用 first 口径去重,因为业务要的是 N 个人,不是 N 个名次;要并列同名则用 min。
组内占比用 transform,聚合结果按原行数广播回原表,不必再 join 一次:
df["share"] = df["amount"] / df.groupby("channel")["amount"].transform("sum")
同比环比用 shift,分组后取上一期:
df["prev"] = df.groupby("channel")["amount"].shift(1)
df["yoy"] = df["amount"] / df["prev"] - 1
3.9 时间与字符串:dt 和 str 访问器
时间列转成 datetime 之后,通过 .dt 访问器取年月日、周、季度,不用写循环:
df["month"] = df["order_time"].dt.to_period("M")
df["weekday"] = df["order_time"].dt.dayofweek
df["hour"] = df["order_time"].dt.hour
月份汇总建议转成 period 再分组,避免"1 月到 12 月缺两个月"时折线图直接连过去,看不出缺月。
字符串操作用 .str 访问器,全部向量化:
df["channel"] = df["channel"].str.strip().str.upper()
df["is_app"] = df["order_id"].str.contains("APP", regex=False, na=False)
str.contains 的 na=False 必须显式传。默认遇到 NaN 会返回 NaN,结果是 object 类型而不是 bool,后续用它做布尔索引会直接报错。
3.10 输出
df.to_csv("dwd_order_clean.csv", index=False, encoding="utf-8-sig")
三个细节:index=False 避免多写一列无名索引;给 Excel 看的 CSV 用 utf-8-sig,否则中文乱码;数值列如果做过浮点运算,输出前 round(2),避免出现 0.30000000000000004 这类尾数。
四、pandas 与 SQL 对照
同一份需求两种写法对照,是最省力的记忆方式。需求:按渠道统计已支付订单数与 GMV。
select channel,
count(*) as cnt,
sum(amount) as gmv
from orders
where status = '已支付'
group by channel;
g = (df.query("status == '已支付'")
.groupby("channel", dropna=False)
.agg(cnt=("order_id", "size"),
gmv=("amount", "sum"))
.reset_index())
表 4:常用操作对照
| 需求 | pandas | SQL | 注意点 |
|---|---|---|---|
| 过滤行 | df.loc[条件] / query | where | 多条件要加括号 |
| 分组过滤 | groupby 后布尔索引 | having | 不能写在 where 里 |
| 行数 | size() | count(*) | 数行 |
| 非空计数 | count() | count(列) | 跳过空值 |
| 去重计数 | nunique() | count(distinct) | 与 count(*) 区分 |
| 去重行 | drop_duplicates | distinct | keep 参数决定留哪条 |
| 连接 | merge(how=) | join | 默认都是 inner |
| 纵向拼接 | concat | union all | union 会去重 |
| 排名 | rank(method=) | row_number / rank / dense_rank | method 对应三种 |
| 上期值 | groupby + shift | lag / lead | 缺期要补 |
| 行转列 | pivot_table | case when + sum | 聚合函数要对 |
| 空值替换 | fillna | coalesce / ifnull | 注意区分空与 0 |
两条最容易记混的对应关系:SQL 的分组天然包含 NULL 组,pandas 需要显式 dropna=False;SQL 的 count(*) 对应 size(),count(列) 对应 count()。
六、实测数据:偏差有多大
表 5:五组模拟实验的实际输出
| 实验 | 输入 | 输出 | 偏差 |
|---|---|---|---|
| groupby 默认丢空组 | 5 行,1 行渠道为空 | 3 组 470 元 | 比全表 550 元少 80 元 |
| merge 一对多 | 4 行 1000 元 + 维表 4 行 | 6 行 1400 元 | 金额虚增 40% |
| count 与 size | 4 行,1 行金额为空 | size=4,count=3 | 差 1 行 |
| sum 与 skipna | 100、空、0、50 | sum=150,skipna=False 得 NaN | 口径不同结果不同 |
| 前导零丢失 | 001、002、010 | 1、2、10 | 无法关联维表 |
表 6:性能实测,100 万行、3 次取最快
| 场景 | 写法 | 耗时 | 说明 |
|---|---|---|---|
| 派生列 | apply 行级 lambda(axis=1) | 3287 ms | 基准 |
| 派生列 | np.where 向量化 | 4.6 ms | 约 700 倍 |
| 字符串判断 | apply 内做 in 判断 | 281.9 ms | 基准 |
| 字符串判断 | str.contains 向量化 | 77.8 ms | 约 3.6 倍 |
| 聚合 | groupby agg 三个指标 | 41.8 ms | 百万行可接受 |
内存方面,100 万行三值字符串列,object 类型占 49.59 MB,转 category 后 0.95 MB,相差约 52 倍。低基数字符串列(渠道、状态、省份)一律转 category。
结论很直接:行级 apply 在百万行量级上不具备可用性,能用 np.where、str、dt、map 表达的,不要用 apply。
七、性能与工程习惯
性能三条:优先向量化,其次 map 加字典,最后才是 apply;读文件时用 usecols 和 dtype 把不需要的列和类型挡在外面;中间结果落 parquet 比 csv 快且省空间,类型也能保留。
工程习惯四条:
一,关键步骤显式传参。dropna、skipna、keep、how 这四个默认值每一个都可能让结果安静地错掉,多敲几个字换可预期。
二,脚本里放断言。处理链路越长越需要,行数守恒、金额对账、主键唯一这三条能挡住绝大多数静默错误:
assert len(result) == len(orders), "连接后行数变化,检查维表主键"
assert abs(before - after) < 0.01, f"金额对账失败 {before} vs {after}"
assert not result.duplicated("order_id").any(), "结果主键重复"
三,口径写进代码注释,不留在脑子里。税率、含税不含税、退款是否扣除、空值归入哪一组,这些每月都可能变,写下来才能 diff。
四,一个任务一个脚本,命名带日期,输入输出路径写死常量。数据分析的返工大多来自口径变更,能回滚比写得多快更重要。
八、典型场景速查
几个高频需求的标准写法,直接抄改。
按渠道月度汇总,缺口月份补零,避免折线图断点被连成直线:
df["month"] = df["order_time"].dt.to_period("M")
g = df.groupby(["month", "channel"], dropna=False)["amount"].sum().unstack(fill_value=0)
full = pd.period_range(df["month"].min(), df["month"].max(), freq="M")
g = g.reindex(full, fill_value=0)
每组取最新一条(订单终态),先排序再去重:
latest = (df.sort_values("update_time")
.drop_duplicates("order_id", keep="last"))
每组 TopN,用 first 口径保证"N 个人"而不是"N 个名次":
top = df[df.groupby("channel")["gmv"].rank(method="first", ascending=False) <= 3]
组内占比与累计占比:
df["share"] = df["gmv"] / df.groupby("channel")["gmv"].transform("sum")
df = df.sort_values(["channel", "gmv"], ascending=[True, False])
df["cum_share"] = df.groupby("channel")["gmv"].cumsum() / df.groupby("channel")["gmv"].transform("sum")
环比:
g = g.sort_values("month")
g["mom"] = g.groupby("channel")["gmv"].pct_change()
两表对账,找差异行,indicator 直接标出只在一侧存在的记录:
chk = a.merge(b, on="order_id", how="outer", suffixes=("_a", "_b"), indicator=True)
diff = chk[(chk["_merge"] != "both") | (chk["amount_a"] != chk["amount_b"])]
同样都是取数,但是使用pandas 会更加容易组装数据,效率高,面对百万,千万级数据只靠sql就很难啦
4055



被折叠的 条评论
为什么被折叠?



