pandas 数据处理常用库技术梳理:从读到出,数据可视化

Python常用库实战指南:从数据处理到并发与工程化避坑 Python语言本身的强大,很大程度上依托于其丰富而成熟的第三方库生态。理解这些库的设计原理,是高效开发的关键。例如,NumPy通过向量化运算替代底层循环,成为科学计算与构建邻接矩阵的基础设施;Pandas则用DataFrame模型简化表格数据的清洗与聚合。在工程实践中,Queue的阻塞特性与get_nowait方法常用于调控并发任务,requests与BeautifulSoup的组合支撑起轻量级爬虫,而Matplotlib则提供数据可视化的底层控制能力。从数据处理、网络解析到并发优化与虚拟环境管理,经典库 阅读详情

课程:B站大学
记录使用pands完成数据分析、数据测试


pandas 数据处理常用库技术梳理:从读到出

一、背景

这份文档整理的是 pandas 在日常数据处理中最常用的一部分 API,按"读入、体检、清洗、派生、聚合、连接、窗口、输出"的顺序串成一条线,重点写清三件事:每个操作解决什么问题、默认参数会带来什么偏差、和 SQL 的写法怎么对应。

二、知识地图:一份数据从读到出就六步

pandas 的 API 数量很大,但按处理阶段归类之后能收敛到六个动作。任何一份原始表,走完这六步就能变成可交付的结果。

读入
read_csv / read_excel / read_sql

体检
info / describe / isnull

清洗
缺失 重复 类型 异常

派生与筛选
loc / np.where / cut

聚合
groupby / agg / pivot_table

连接与窗口
merge / rank / shift

输出
to_csv / to_excel

图 1:数据处理六步主线

表 1:六步对应的核心方法与常见坑

阶段核心方法默认行为里藏着的坑对应 SQL 的哪个位置
读入read_csv、read_excel、read_sql自动推断类型,前导零丢失建表、导数
体检info、describe、isnull、value_countsvalue_counts 默认丢弃空值无直接对应
清洗dropna、fillna、drop_duplicates、astypefillna(0) 把空值和 0 混为一谈where、distinct、cast
派生loc 赋值、np.where、np.select、pd.cut分箱边界默认左开右闭case when
聚合groupby、agg、pivot_tablegroupby 默认 dropna=True 丢空分组group by、having
连接merge、concat默认 how=inner,一对多会膨胀join、union all
窗口rank、transform、shiftrank 的 method 决定并列口径row_number、lag
输出to_csv、to_excel默认写出索引列,中文需 utf-8-sig落地表

三、核心知识点

3.1 两个数据结构与索引

Series 是带标签的一列,DataFrame 是带行标签和列名的二维表。DataFrame 取单列得到 Series,取多列仍是 DataFrame。

索引是 pandas 与 SQL 差别最大的地方。DataFrame 有两套行定位方式:index 标签和物理位置。loc 按标签,iloc 按位置。平时两者一致,一旦经过筛选、排序、删除,标签就不再连续,此时 loc[0] 取到的未必是第一行。

sub = df[df["amount"] > 100]     # index 可能是 0, 2, 5
sub.iloc[0]                      # 第一行,按位置
sub.loc[0]                       # 标签为 0 的行,可能不存在
sub.reset_index(drop=True)       # 需要连续位置就先重置

实践约定:按位置取数统一用 iloc,按业务键取数统一用 set_index 之后的 loc,两者不要混用。

3.2 读入:三个参数决定后续所有问题

读入阶段的类型推断是最容易被忽略的错误来源。三个参数值得固定写法。

dtype 保住编号类字段的前导零:

pd.read_csv(path)["code"].tolist()                       # [1, 2, 10]
pd.read_csv(path, dtype={"code": str})["code"].tolist()  # ['001', '002', '010']

不指定类型时,001 会被推断成整数 1,后续按编码关联维表永远匹配不上,而且不报错,只体现为结果行数变少。

na_values 统一空值写法。源表里表示空的方式通常不止一种:NULL、null、-、/、空字符串,还有一个字面量的 None 字符串。不统一成 NaN,后续所有空值判断都会漏。

parse_dates 在读取时完成时间解析,比读完后 to_datetime 更省事,也能避免日期列被当成字符串排序。

df = pd.read_excel(
    r"D:\data\ods_order_detail.xlsx",
    dtype={"product_id": str},
    parse_dates=["order_time"],
    na_values=["NULL", "null", "-", "/", ""],
    engine="openpyxl",
)

补充两点:Windows 下含中文或空格的路径用原始字符串 r"..." 或 pathlib 拼接;读 xlsx 需要 openpyxl,报 ImportError 时先装库再显式指定 engine。

3.3 体检:四件套加两个自定义检查

info 看字段与类型,describe 看数值分布,isnull().sum() 看空值分布,value_counts() 看枚举值分布。四个命令跑完,一份数据能不能用基本就有结论。

在此基础上加两个检查,能挡掉大部分后续事故:

df["order_id"].duplicated().sum()          # 业务主键是否唯一
df["amount"].describe(percentiles=[.99])   # 极值是否合理

主键唯一性检查最容易被跳过。明细表里一个订单出现三条记录,直接汇总会让金额虚高,而且数值看起来仍在合理区间,肉眼很难发现。

表 2:体检清单

检查项命令判断标准
行数与字段数df.shape与上游口径一致
字段类型df.dtypes金额为数值、编号为字符串、时间为 datetime
空值分布df.isnull().sum()关键字段缺失率可解释
枚举值df[“channel”].value_counts(dropna=False)无 APP、app、App 并存
数值范围df[“amount”].describe()无负数、无单位错乱的极值
主键唯一duplicated().sum()业务主键重复数为 0

3.4 清洗:缺失、重复、类型、异常

缺失值处理的核心不是选哪个函数,而是业务判断。支付金额为空时,fillna(0) 表达的是"这笔付了 0 元",与"这笔没付款"是两种事实。更稳的做法是保留 NaN,在计算那一刻临时用 fillna(0),不回写原表。

重复值用 duplicated() 判断、drop_duplicates(subset=..., keep="last") 删除。keep 默认保留第一条,日志类数据通常要保留最后一条,因为最后一条才是终态。

类型转换不要直接 astype。脏值会让它抛异常,看不到影响范围。先 coerce 再看损失量:

num = pd.to_numeric(df["amount"], errors="coerce")
num.isnull().sum() - df["amount"].isnull().sum()   # 被转废的行数

异常值用 clip() 截断,或按分位数圈定范围。金额出现负数,要么是退款,要么是错数,需要回看业务,不能一律删掉。

3.5 筛选与派生列

多条件筛选必须给每个条件加括号,& 的优先级高于比较运算,漏括号会得到错误结果且不报错。

df.loc[(df["channel"] == "APP") & (df["amount"] > 100), ["order_id", "amount"]]

派生列按场景选函数:二值判断用 np.where,多分支用 np.select,连续值分箱用 pd.cut,分位数分箱用 qcut。分箱需要注意边界闭合方向,pd.cut 默认右闭,区间形如 (0, 100],写口径时要把"100 元这一单归哪档"写清楚。

3.6 分组聚合:拆、算、合

groupby 的内部动作可以拆成三步:按 key 拆成若干份,每份单独计算,再把结果拼回一张表。这个模型和 SQL 的执行顺序能逐段对上。

pandas 的 groupby

SQL 的执行顺序

FROM 取表

WHERE 过滤行

GROUP BY 分组

HAVING 过滤组

SELECT 出列

split
按 key 切分

apply
组内聚合

combine
拼成结果

差异点
空值分组默认丢失

图 2:groupby 的拆算合与 SQL 执行顺序的对应关系

对应规则两条:pandas 里先 query 再 groupby,等价于 SQL 的 where 加 group by;groupby 之后再用布尔索引筛,等价于 having。

g = (df.query("status == '已支付'")
       .groupby("channel", dropna=False)
       .agg(gmv=("amount", "sum"),
            cnt=("order_id", "size"),
            avg=("amount", "mean"))
       .reset_index())

这里有一处必须显式处理的默认值:groupby 默认 dropna=True,key 为空的行会被整组丢弃;SQL 的 GROUP BY 会把 NULL 单独作为一组。两者的结果差异可以用一张 5 行表验证:

df.groupby("channel")["amount"].sum().shape[0]                  # 3 组
df.groupby("channel", dropna=False)["amount"].sum().shape[0]    # 4 组
df["amount"].sum()                                             # 550.0

分组合计 470,全表合计 550,缺的 80 就是空渠道那一组。这类差异不会报错,只会表现为"分组汇总和总数对不上"。写汇总时统一显式声明 dropna=False,再单独决定空值组是否计入业务口径。

多指标聚合用 agg 的命名元组写法,一次出结果;维度较多时改用 pivot_table,它同时承担行转列的职责。

pd.pivot_table(df, index="channel", columns="status",
               values="amount", aggfunc="sum", fill_value=0, margins=True)

3.7 表连接:一对多是主要风险

merge 的参数不多,风险集中在行数变化上。

订单表 4 行
金额合计 1000

merge
how=left on user_id

用户维表 4 行
u1 有两条记录

结果 6 行
金额合计 1400

卡点一
维表主键是否唯一

卡点二
结果行数断言

卡点三
金额合计对账

图 3:一对多连接导致行数与金额同时膨胀

实测:订单表 4 行、金额合计 1000,用户维表中 u1 有两条历史地址,左连接后变成 6 行、金额合计 1400,虚增 40%。全过程无报错、无警告。

validate 参数可以把这类问题挡在执行阶段:

# 维表 key 重复时直接抛 MergeError,不会静默产出错误结果
m = orders.merge(users, on="user_id", how="left", validate="many_to_one")
# MergeError: Merge keys are not unique in right dataset; not a many-to-one merge

# 去重后通过校验
m = orders.merge(users.drop_duplicates("user_id"), on="user_id",
                 how="left", validate="many_to_one")

validate 支持 one_to_one、one_to_many、many_to_one、many_to_many 四种声明,声明与实际不符即报错。配合 indicator=True 还能拿到每行的匹配来源,用来算关联率。

concat 用于纵向拼接,注意 ignore_index=True 与列顺序对齐;join 是 merge 的索引版语法糖,容易被误用成"万能连接",实际按 index 对齐,业务键连接一律用 merge。

3.8 窗口函数三件套:rank、transform、shift

排名用 rank,method 参数决定并列的处理方式,这是最常被问到的细节。

df["rn"]    = df.groupby("dept")["sal"].rank(method="first", ascending=False)
df["rk"]    = df.groupby("dept")["sal"].rank(method="min",   ascending=False)
df["dense"] = df.groupby("dept")["sal"].rank(method="dense", ascending=False)

表 3:三种并列口径的实际输出

namesalmethod=firstmethod=minmethod=dense对应 SQL
n1300111row_number / rank / dense_rank
n2300211同上
n3200332同上

取每组前 N 条用 first 口径去重,因为业务要的是 N 个人,不是 N 个名次;要并列同名则用 min。

组内占比用 transform,聚合结果按原行数广播回原表,不必再 join 一次:

df["share"] = df["amount"] / df.groupby("channel")["amount"].transform("sum")

同比环比用 shift,分组后取上一期:

df["prev"] = df.groupby("channel")["amount"].shift(1)
df["yoy"]  = df["amount"] / df["prev"] - 1

3.9 时间与字符串:dt 和 str 访问器

时间列转成 datetime 之后,通过 .dt 访问器取年月日、周、季度,不用写循环:

df["month"]  = df["order_time"].dt.to_period("M")
df["weekday"] = df["order_time"].dt.dayofweek
df["hour"]   = df["order_time"].dt.hour

月份汇总建议转成 period 再分组,避免"1 月到 12 月缺两个月"时折线图直接连过去,看不出缺月。

字符串操作用 .str 访问器,全部向量化:

df["channel"] = df["channel"].str.strip().str.upper()
df["is_app"]  = df["order_id"].str.contains("APP", regex=False, na=False)

str.contains 的 na=False 必须显式传。默认遇到 NaN 会返回 NaN,结果是 object 类型而不是 bool,后续用它做布尔索引会直接报错。

3.10 输出

df.to_csv("dwd_order_clean.csv", index=False, encoding="utf-8-sig")

三个细节:index=False 避免多写一列无名索引;给 Excel 看的 CSV 用 utf-8-sig,否则中文乱码;数值列如果做过浮点运算,输出前 round(2),避免出现 0.30000000000000004 这类尾数。

四、pandas 与 SQL 对照

同一份需求两种写法对照,是最省力的记忆方式。需求:按渠道统计已支付订单数与 GMV。

select channel,
       count(*)    as cnt,
       sum(amount) as gmv
from   orders
where  status = '已支付'
group by channel;
g = (df.query("status == '已支付'")
       .groupby("channel", dropna=False)
       .agg(cnt=("order_id", "size"),
            gmv=("amount", "sum"))
       .reset_index())

表 4:常用操作对照

需求pandasSQL注意点
过滤行df.loc[条件] / querywhere多条件要加括号
分组过滤groupby 后布尔索引having不能写在 where 里
行数size()count(*)数行
非空计数count()count(列)跳过空值
去重计数nunique()count(distinct)与 count(*) 区分
去重行drop_duplicatesdistinctkeep 参数决定留哪条
连接merge(how=)join默认都是 inner
纵向拼接concatunion allunion 会去重
排名rank(method=)row_number / rank / dense_rankmethod 对应三种
上期值groupby + shiftlag / lead缺期要补
行转列pivot_tablecase when + sum聚合函数要对
空值替换fillnacoalesce / ifnull注意区分空与 0

两条最容易记混的对应关系:SQL 的分组天然包含 NULL 组,pandas 需要显式 dropna=False;SQL 的 count(*) 对应 size(),count(列) 对应 count()。

六、实测数据:偏差有多大

表 5:五组模拟实验的实际输出

实验输入输出偏差
groupby 默认丢空组5 行,1 行渠道为空3 组 470 元比全表 550 元少 80 元
merge 一对多4 行 1000 元 + 维表 4 行6 行 1400 元金额虚增 40%
count 与 size4 行,1 行金额为空size=4,count=3差 1 行
sum 与 skipna100、空、0、50sum=150,skipna=False 得 NaN口径不同结果不同
前导零丢失001、002、0101、2、10无法关联维表

表 6:性能实测,100 万行、3 次取最快

场景写法耗时说明
派生列apply 行级 lambda(axis=1)3287 ms基准
派生列np.where 向量化4.6 ms约 700 倍
字符串判断apply 内做 in 判断281.9 ms基准
字符串判断str.contains 向量化77.8 ms约 3.6 倍
聚合groupby agg 三个指标41.8 ms百万行可接受

内存方面,100 万行三值字符串列,object 类型占 49.59 MB,转 category 后 0.95 MB,相差约 52 倍。低基数字符串列(渠道、状态、省份)一律转 category。

结论很直接:行级 apply 在百万行量级上不具备可用性,能用 np.where、str、dt、map 表达的,不要用 apply。

七、性能与工程习惯

性能三条:优先向量化,其次 map 加字典,最后才是 apply;读文件时用 usecols 和 dtype 把不需要的列和类型挡在外面;中间结果落 parquet 比 csv 快且省空间,类型也能保留。

工程习惯四条:

一,关键步骤显式传参。dropna、skipna、keep、how 这四个默认值每一个都可能让结果安静地错掉,多敲几个字换可预期。

二,脚本里放断言。处理链路越长越需要,行数守恒、金额对账、主键唯一这三条能挡住绝大多数静默错误:

assert len(result) == len(orders), "连接后行数变化,检查维表主键"
assert abs(before - after) < 0.01, f"金额对账失败 {before} vs {after}"
assert not result.duplicated("order_id").any(), "结果主键重复"

三,口径写进代码注释,不留在脑子里。税率、含税不含税、退款是否扣除、空值归入哪一组,这些每月都可能变,写下来才能 diff。

四,一个任务一个脚本,命名带日期,输入输出路径写死常量。数据分析的返工大多来自口径变更,能回滚比写得多快更重要。

八、典型场景速查

几个高频需求的标准写法,直接抄改。

按渠道月度汇总,缺口月份补零,避免折线图断点被连成直线:

df["month"] = df["order_time"].dt.to_period("M")
g = df.groupby(["month", "channel"], dropna=False)["amount"].sum().unstack(fill_value=0)
full = pd.period_range(df["month"].min(), df["month"].max(), freq="M")
g = g.reindex(full, fill_value=0)

每组取最新一条(订单终态),先排序再去重:

latest = (df.sort_values("update_time")
            .drop_duplicates("order_id", keep="last"))

每组 TopN,用 first 口径保证"N 个人"而不是"N 个名次":

top = df[df.groupby("channel")["gmv"].rank(method="first", ascending=False) <= 3]

组内占比与累计占比:

df["share"] = df["gmv"] / df.groupby("channel")["gmv"].transform("sum")
df = df.sort_values(["channel", "gmv"], ascending=[True, False])
df["cum_share"] = df.groupby("channel")["gmv"].cumsum() / df.groupby("channel")["gmv"].transform("sum")

环比:

g = g.sort_values("month")
g["mom"] = g.groupby("channel")["gmv"].pct_change()

两表对账,找差异行,indicator 直接标出只在一侧存在的记录:

chk = a.merge(b, on="order_id", how="outer", suffixes=("_a", "_b"), indicator=True)
diff = chk[(chk["_merge"] != "both") | (chk["amount_a"] != chk["amount_b"])]

同样都是取数,但是使用pandas 会更加容易组装数据,效率高,面对百万,千万级数据只靠sql就很难啦

实践是检验真理的唯一标准

Pandas数据处理实战:从数据清洗到可视化的完整分析套路 数据分析是数据科学的核心环节,而Pandas作为Python生态中最常用的数据处理库,提供了高效的数据读取、清洗、聚合与可视化能力。本文从数据分析的整体概念出发,讲解Pandas在数据清洗和预处理中的关键原理,如缺失值处理、重复值去除、类型转换与字符串规范化。通过结合Excel办公场景和数据库查询痛点,阐述Pandas在工程实践中的技术价值,并延伸到分组聚合、透视表以及Matplotlib/Seaborn可视化应用场景,最终自然引出如何利用Pandas构建一套可复用的门店销售数据分析流程,帮助初学者和办公族 阅读详情

相关推荐

第十五章:Python的Pandas库详解及常见用法

Pandas库是Python数据分析的核心工具之一,提供了丰富的功能和便捷的操作方式。通过本文的介绍和示例代码,相信你已经对Pandas库有了初步的了解。希望本文能帮助你更好地理解和使用Pandas库,提高数据分析的效率和质量。本文将详细介绍Pandas库的基本功能、常见用法,并通过示例代码演示。最后,我将用表格的形式梳理总结Pandas库的常用函数及其参数用法。:支持数据读取、清洗、转换、分析和可视化等多种操作。Pandas是一个开源的Python库,专为。,如CSV、Excel、SQL数据库等。

2302_80961196的博客 4055

Python常用数据处理库全解析

1. **核心数据处理库**: - NumPy: 数值计算基础库,提供高性能多维数组对象 - Pandas: 数据分析和操作库,提供DataFrame等数据结构 - SciPy: 科学计算库,建立在NumPy之上2. **数据可视化库**: - Matplotlib: 基础绘图库 - Seaborn: 基于Matplotlib的统计绘图库 - Plotly: 交互式可视化库 - Bokeh: 交互式可视化库 - Altair: 声明式统计可视化库3. **机器

weixin_40266856的博客 1万+

攻克+86手机号Discord验证墙:从“无效”到“成功”的实战指南

本文提供了一份针对+86手机号在Discord注册时频繁遭遇“手机号无效”问题的实战解决指南。文章系统分析了问题根源,并分步详解了从打造纯净网络环境、尝试多种手机号格式(如+86前加0),到更换iOS等客户端设备的有效方法,旨在帮助用户成功完成Discord手机号验证。

mac99的博客 1151

《投资-224》量化交易 - 量化交易常用的核心 Python 库:pandas、numpy、akshare 、 pandas-ta 、matplotlib 、backtrader 、scikit

在量化交易中,Python 因其强大的数据处理能力、丰富的库生态和良好的可扩展性,成为最受欢迎的编程语言之一。以下是。

文火冰糖(王文兵)的博客 1575

Python Selenium调用IE11报错全解析:从环境配置到稳定运行

在Web自动化测试领域,Selenium作为主流的跨浏览器测试框架,其核心原理是通过WebDriver协议与不同浏览器的驱动程序进行通信,实现对浏览器行为的模拟与控制。这一技术为软件测试的自动化、回归测试的效率提升提供了重要价值,广泛应用于金融、政务等对遗留系统兼容性要求高的行业场景。然而,当技术栈涉及过时的浏览器如IE11时,环境配置的复杂性显著增加,特别是Python与Selenium的组合常遭遇驱动兼容性、安全设置等挑战。本文聚焦于解决Python Selenium驱动IE11时的典型报错问题,深入剖

weixin_28834765的博客 327

【新手解答】Python中Pandas的初学者笔记

Python是一种高级编程语言,以其简洁的语法和强大的功能而闻名。它在数据科学、机器学习、网络开发等多个领域都有广泛应用。Pandas是一个开源的Python库,专为数据分析提供高性能的数据结构和数据分析工具。对于希望在Python中处理、分析数据的初学者而言,Pandas是一个不可或缺的工具。

定期分享我的发现和想法,感谢你的陪伴和支持 4901

RT-Thread Studio 使用笔记(七)| 配合STM32CubeMX添加裸机驱动(以ADC为例)

1. 配置STM32CubeMX 2. 复制stm32xxxx_hal_msp.c文件 将 CubeMx 生成的代码 stm32f7xx_hal_msp.c 函数复制到 RT-Thread Studio 生成的工程中,并参与工程编译: 由于我们并没有使用 CubeMx 生成的工程,所以这里需要将 stm32f7xx_hal_msp.c 文件中 #include “main.h” 替换为 #i...

Mculover666的博客(嵌入式) 9630

Python常用模块全解析:从数据处理到Web开发

Python模块是扩展语言功能的核心组件,通过封装可重用代码实现特定功能。其工作原理基于命名空间隔离和导入机制,开发者可以通过import语句调用标准库或第三方模块。在数据处理领域,NumPy的ndarray对象和Pandas的DataFrame结构大幅提升了运算效率;Web开发中Flask的轻量级设计简化了API构建流程。这些模块广泛应用于数据分析、科学计算、自动化运维等场景,其中NumPy的广播机制和Pandas的缺失值处理尤为值得关注。合理运用这些工具能显著提升开发效率,特别是在处理大规模数据集或构建

weixin_33691700的博客 408

Android 13.0 设置默认屏幕亮度百分比

在13.0的系统ROM产品开发中,在一些产品开发中,对于设置默认屏幕亮度和屏幕亮度百分比的功能,在开发中也是常见的功能,在10.0的平台设置可能有一些不同,一般的都是在SettingProvider中设置就可以了 在11.0以后的系统中设置默认屏幕亮度的方法就不同了,接下来具体分析功能的实现

安卓兼职framework和app工程师的博客 1561

ABAP Cloud 开发教程的文章目录

本教程涵盖 ABAP 云端 Client 处理、多租户架构、ABAP Cloud开发、动态编程优化、SQL语法改进等技术主题。最新版本1.0.0(更新至2025-12-12),包含197篇文章,重点文章包括《ABAP Client Handling与隔离机制》《ABAP Platform 2021泛型编程》《SAP BTP ABAP多租户应用开发》等,为开发者提供从基础到进阶的实战指南。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1831

Pandas学习总结梳理【Pandas学习记录】

参考课程:Numpy & Pandas (莫烦 Python 数据处理教程) 和 Python数据分析和数据可视化 Pandas基本介绍 Pandas像是字典形式的Numpy,它给Numpy的不同行和列都进行了命名。 Pandas数据结构及其创建 数据结构有两种:Series和DataFrame Series对象的创建:pd.Series(list) 和 pd.date_range(‘20160101’,periods =6) ---- 时间序列的创建。 DatetimeIndex(['20

m0_38052500的博客 741

Codex CLI 手机号验证失败?5 种接码平台实测对比与绕过地区限制的 3 步操作

揭示 Codex CLI 手机号验证失败的真实原因在于上下文污染而非网络问题,分析其通过 ASN、Accept-Language 和 TLS SNI 三重加权风控的机制,并实测对比 5 种接码平台在 DNS 解析路径、ASN 干净度和复用间隔上的差异,提出剥离浏览器指纹、固化 TLS SNI、隔离

weixin_42627902的博客 753

Python数据分析之pandas库的使用详解

本篇文章目录一、前言二、什么是pandas三、pandas安装四、pandas的常用数据类型4.1 series:表示一维,带标签数组,一行或一列4.1.1创建series4.1.2 打印索引值4.1.3 打印数据值4.1.3 创建一个具有标签索引的series4.1.4 使用python字典创建series4.1.5 根据索引值查询数据4.2 DataFrame:表示二维,多行多列五、数据的读取......

qq_46292926的博客 2450

【软考】高项论文写作常见模板

本文主要介绍了YYYY年MM月DD日,我所在公司承接了XXXX项目的建设过程,包括了XXX,XXX,XXX内容,涉及到XXX,XXX,XXX技术。本人在项目中承载着项目经理的角色,主要负责了XXX,XXX,XXX方面事宜。此项目时间紧,任务重,实施过程中,我们特别注重了1、XXX 2、XXX 3、XXX几个方面,经过团队的一致努力,本项目按时交付,运行至今,客户反馈良好。但是在实施过程中,也曝露除了一些问题,包括了XXX,XXX等,通过应急处理和协调,这些问题都得到了妥善解决,没有影响到项目进度。

奶爸的编程之路,也就一周冷个三天 1691

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Python常用模块全解析:从数据处理到AI开发

Python作为主流编程语言,其强大的模块生态系统是开发者高效工作的关键。模块化开发通过封装特定功能,实现了代码复用和工程效率提升。在数据处理领域,NumPy的多维数组和Pandas的DataFrame结构构成了科学计算的基础架构;Matplotlib和Seaborn则提供了从基础到高级的可视化解决方案。对于Web开发,Flask框架和Requests库简化了API构建和HTTP通信流程。在AI时代,Scikit-learn降低了机器学习门槛,而TensorFlow/PyTorch则支撑着深度学习应用的落地

cuankuangzhong6373的博客 505

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

Python常用模块指南:从数据处理到Web开发

Python模块是预先封装的功能集合,通过import机制实现代码复用,大幅提升开发效率。其核心原理是基于Python的模块化设计思想,将相关功能组织成独立单元。在数据处理领域,NumPy提供高性能数组运算,Pandas实现结构化数据处理,Matplotlib则用于数据可视化。网络开发中Requests简化HTTP请求,Flask构建轻量Web应用。理解这些模块的应用场景能帮助开发者快速构建各类应用,如数据分析平台或RESTful API服务。掌握Python模块体系是进阶开发的必经之路,也是提升Day5学

weixin_34353714的博客 414

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

Python有哪些经典的常用库?

Python的强大之处,很大程度上源于丰富且成熟的第三方库生态,这些经典常用库覆盖编程全场景,能大幅降低开发成本。Plotnine:几乎完美复刻R语言中的ggplot2 包的数据可视化功能,对以前是R语言用户,后转移使用 Python 进行数据分析的人非常友好。Seaborn:基于Matplotlib的统计可视化库,提供了更高级的接口和默认的美观样式。NumPy:用于科学计算的基础包,提供了高性能的多维数组对象和用于数组操作的工具。Scrapy:用于网络爬虫的框架,提供了高效的数据抓取和处理能力。

oldboyedu1的博客 89

Python常用模块实战指南:数据处理到Web开发

Python作为一门高效编程语言,其强大功能很大程度上依赖于丰富的标准库和第三方模块生态系统。从科学计算基础NumPy的多维数组操作,到Pandas的表格数据处理,这些模块通过向量化运算和高效内存管理显著提升了性能。在Web开发领域,Requests库简化了HTTP请求,而Flask框架则提供了轻量级Web应用开发方案。数据可视化方面,Matplotlib与Seaborn的组合能够生成专业统计图表。对于系统交互,os和sys模块提供了跨平台支持,logging模块则实现了专业级日志管理。掌握这些核心模块不仅

weixin_33797791的博客 412

【python】datafrme常用数据处理操作

针对datafrme主要操作公式梳理~为了方便阅读,这里的datafrme都赋值为a1,a2这样的形式; 这里对透视举个案例~ 整体命令表格如下~ 表格处理 案例 保留正确的 案例:a2=a1[a1['学校']=='A'] 去除不对的 案例1:a2=a1[(a1.成绩!=0)] 案例2:a2=a1[(a1.学校!='A')&(a1.学院!='D')&(a1.专业!='G')] 列合并 案例:a1['学校学院'] = a1['学校']..

u010227206的博客 2252

浅谈Pandas数据分析

在实际的数据分析项目中,经常会遇见数据统计不完整的情况,我们⼀般将那些缺失的数据称为缺失值。狭义的数据分析是根据分析目标,使用⼀定的工具和方法,有针对性地对数据进行收集、加工整理、分析、展现,总结出数据背后的规律和所反映问题的过程。将mask_data.duplicated( )方法的返回结果放⼊中括号[]中,⽤来索引mask_data数据,查看 mask_data数据中重复的⾏。数据挖掘是指从⼤量数据中,运⽤数学、统计学、计算机等知识,从⼤量的数据中挖掘出有价值 的信息和知识的过程。

maohaofei的博客 1171

从数据处理到前端渲染:数据可视化全链路选型与实践

数据可视化是企业级数据分析与业务监控的核心环节,其价值不仅在于图表的呈现,更在于从数据采集、清洗、聚合到前端渲染的全链路工程能力。实际项目中,海量时序数据(如通信网络流量、物联网设备指标)往往存储于MongoDB等数据库中,如何设计高效的时间桶聚合策略、建立预聚合表以加速查询,成为可视化系统性能的关键。同时,ECharts等前端库的交互联动、降采样算法(如LTTB)的应用,以及异常状态的可视化提示,直接决定了看板的可用性与决策效率。围绕一个典型的物联网+网络流量监控大屏场景,文章完整梳理了从Python后端

weixin_28684497的博客 294

Python常用模块全解析:从数据处理到机器学习

Python模块是构建高效应用的基础组件,通过封装特定功能实现代码复用。从数据处理到机器学习,Python生态提供了丰富的模块选择。NumPy和Pandas作为数据处理核心模块,分别专注于高效数组运算和结构化数据处理,是数据科学项目的标配。Requests简化了HTTP请求处理,而Flask则为轻量级Web开发提供了灵活框架。在机器学习领域,Scikit-learn和TensorFlow分别代表了传统算法和深度学习的前沿工具。合理选择和使用这些模块能显著提升开发效率,特别是在大数据处理、Web服务和AI应用

weixin_30718391的博客 396

Numpy、Pandas以及Dataframe之间的关系梳理

聚合举例:(groupby-按列的值进行分组、size-每个分组的行数、first-返回分组的第一个元素、last、get_group-获取指定分组的数据、apply-使用分组自定义函数)存放不同维度的数组(一维、二维、三维),支持广播(broadcasting,允许在不同的数组之间操作)。Pandas库是建立在Numpy库的基础上,添加了索引和标签,具有Dataframe和Series两种更高级的数据结构。③第三种【用的最多】:pd.read_excel('file.xlsx')

Akashi37的博客 448
上一篇: 用 WorkBuddy 做数据分析:5 步从脏数据到可视化报表
下一篇: 【SQL 基础快速入门:一张表跑通增删改查,看完就能上手取数】
文人sec
博客等级 码龄7年 895粉丝 164原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值