Hive窗口函数之preceding and following

SQL:聚合类窗口函数的preceding和following参数用法 聚合类窗口函数的rows between 和range between 对比,以及preceding和following参数用法 阅读详情

Hive窗口函数中,有一个功能是统计当前行之前或之后指定行作为一个聚合,关键字是 preceding 和 following,举例说明其使用方法。

一、加载测试数据

在 hive 环境中创建临时表:

create table tmp_student
(
   name           string,
   class          tinyint,
   cooperator_name   string,
   score          tinyint
)
row format delimited fields terminated by '|';

然后加载测试数据:

load data local inpath 'text.txt' into table tmp_student;

其中,text.txt 内容如下:

adf|3|测试公司1|45
asdf|3|测试公司2|55
cfe|2|测试公司2|74
3dd|3|测试公司5|n
fda|1|测试公司7|80
gds|2|测试公司9|92
ffd|1|测试公司10|95
dss|1|测试公司4|95
ddd|3|测试公司3|99
gf|3|测试公司9|99

查看是否加载成功:

hive> select * from tmp_student;
OK
adf	3	测试公司1	45
asdf	3	测试公司2	55
cfe	2	测试公司2	74
3dd	3	测试公司5	NULL
fda	1	测试公司7	80
gds	2	测试公司9	92
ffd	1	测试公司10	95
dss	1	测试公司4	95
ddd	3	测试公司3	99
gf	3	测试公司9	99
Time taken: 1.314 seconds, Fetched: 10 row(s)

二、测试窗口函数

执行sql:

select
    name,
    score,
    sum(score) over(order by score range between 2 preceding and 2 following) s1, -- 当前行的score值加减2的范围内的所有行
    sum(score) over(order by score rows between 2 preceding and 2 following) s2, -- 当前行+前后2行,一共5行
    sum(score) over(order by score range between unbounded preceding and unbounded following) s3, -- 全部行,不做限制
    sum(score) over(order by score rows between unbounded preceding and unbounded following) s4, -- 全部行,不做限制
    sum(score) over(order by score) s5, -- 第一行到当前行(和当前行相同score值的所有行都会包含进去)
    sum(score) over(order by score rows between unbounded preceding and current row) s6, -- 第一行到当前行(和当前行相同score值的其他行不会包含进去,这是和上面的区别)
    sum(score) over(order by score rows between 3 preceding and current row) s7, -- 当前行+往前3行
    sum(score) over(order by score rows between 3 preceding and 1 following) s8, --当前行+往前3行+往后1行
    sum(score) over(order by score rows between current row and unbounded following) s9 --当前行+往后所有行
from
    tmp.tmp_student
order by 
    score;

结果如下:

namescores1s2s3s4s5s6s7s8s9
3ddNULLNULL100734734NULLNULLNULL45734
adf4545174734734454545100734
asdf5555254734734100100100174689
cfe7474346734734174174174254634
fda8080396734734254254254346560
gds9292436734734346346301396480
ffd95190480734734536536362461293
dss95190461734734536441341436388
ddd9919829373473473473438838899
gf99198388734734734635381480198
说明score升序排列95加减2,包括95,所以需要加起来,等于190当前行+前后2行全部行全部行第一行到当前行(和当前行相同score值的所有行都会包含进去)第一行到当前行当前行+往前3行当前行+往前3行+往后1行当前行+往后所有行

备注:
1、对于 score 相同的行,其order by之后的顺序会不确定,因此这两行的窗口函数结果可以互换,比如 s9 的倒数两行,按照内置计算逻辑,应该是倒数第二行为 198,倒数第一行为 99。

【HIVE】窗口函数中数据窗口BUG 一、问题 1. 单独使用窗口函数sum() over() 计算rows between 1 following and 3 following(假设当前行为x, 数据框应为[x+1, x+3])时,计算结果错误。 sum(value) over(partition by name order by sortcol rows between 1 following and 3 followin... 阅读详情

相关推荐

一篇搞定hive窗口函数

语法: 分析函数 over(partition by分组列 order by排序列rows between 开始位置 and 结束位置) 常用分析函数: 聚合类 avg()、sum()、max()、min() 排名类 row_number() 按照值排序时产生一个自增编号,不会重复 rank() 按照值排序时产生一个自增编号,值相等时会重复,会产生空位 dense_rank() 按照值排序时产生一个自增编号,值相等时会重复,不会产生空位 其他类 lag(列名,往...

飞少fly的博客 2008

hive窗口函数总结

hive窗口函数细则

leopard0915的博客 3247

Hive sum over partition preceding following 累计求和

有重复,不符合预期 按月份累计时partition by不能再出现month字段!符合预期 符合预期 把month加上后,是精确到month粒度了,就看不出累加的效果了: partition by与group by的不同点:1 over(partition by)时select中可以出现多个字段(比如相关的维度字段或不相关的其他字段);但是如果是写[group by 维度字段]时,前面select中需要出现相同的维度字段才行(不然报错),比partition by多了一个限制!2 par

Top5软件工程硕士,先后在京东、字节从事多年Java后端开发、实时和离线大数据开发 3565

SQL 移动窗口之preceding and following

最近发现两个特别实用的Hive函数。preceding:向前 following:向后,这两个窗口函数可以实现滑窗求和(指定rows范围)或者指定范围内数据求和(指定range范围)

qq_41081716的博客 5320

光学仿真案例(1) 铌酸锂非线性波导仿真模拟 FDTD仿真

在过去几年里,许多集成光子学应用往往需要多个相干可调谐光源,而且从外部激光器引入额外的光输入增加了芯片封装的复杂性,如果使用基于III-V族、氮化硅(SiN)或铌酸锂(LNO)的集成光源又大大增加了制造复杂性和成本。然而,通过非线性谐波相互作用产生的光源不需要额外的制造工艺来产生增益、反馈和外部电路,即可支持许多应用。在下面的案例中,演示了一种基于Luo[1]的铌酸锂波导频率转换集成系统。该案例主要仿真了利用温度调制实现高效相位匹配的铌酸锂纳米光子波导的二次谐波产生。

q895235273的博客 4148

Titans:谷歌新型神经记忆架构,突破 Transformer 长序列处理的瓶颈

Titans 是谷歌推出的新型神经网络架构,通过神经长期记忆模块突破 Transformer 在处理长序列数据时的瓶颈,支持并行计算,显著提升训练效率。

士多啤梨先生の博客 995

Hive窗口函数详解

1.概述 (1)窗口函数是一组特殊函数 ①扫描多个输入行来计算每个输出值,为每行数据生成一行结果 ②可以通过窗口函数来实现复杂的计算和聚合 (2)语法 Function (arg1,..., arg n) OVER ([PARTITION BY <...>] [ORDER BY <....>] [<window_clause>]) ①PARTITION BY类似于GROUP BY,未指定则按整个结果集 ②只有指定ORDER BY子句之后才能进行窗口定义 ③可同时使用多个

qq_47947471的博客 3043

Linux单独编译设备树,开发者分享 | Petalinux 工程中设备树的介绍

本文来自XILINX嵌入式产品应用工程师 Terry Ni设备树是 Petalinux kernel 的关键组件,接下来以 2020.1 版本为例,为大家介绍一下在Xilinx Petalinux 工程中的设备树是如何产生,配置以及修改的。Petalinux 工程中设备树的位置当我们创建了一个 petalinux 工程后(以zcu102为例),在编译的时候,会自动生成对应的设备树文件。这些设备树的...

weixin_28877107的博客 2630

hive所有窗口函数详情总结

开窗函数用于为行定义一个窗口(指运算将要操作的行的集合),它对一组值进行操作,不需要使用 Group By 子句对数据进行分组,能够在同一行中同时返回基础行的列和聚合列。percent_rank :窗口内当前行的RANK值-1/窗口内总行数-1(这里的rank值就是指的是rank 函数的的返回值)有3条排在第1位时,排序为:1,1,1,2······有3条排在第1位时,排序为:1,1,1,4······这个函数赋予唯一的连续位次。例如,有3条排在第1位时,排序为:1,2,3,4······

jokertiger的博客 2362

【雷达信号处理实战】从原理到代码:脉冲多普勒(PD)处理全流程解析与MATLAB仿真

本文深入解析了脉冲多普勒(PD)雷达信号处理的核心原理与全流程。通过剖析多普勒效应、脉冲压缩与慢时间FFT等关键技术,并结合详细的MATLAB仿真代码,手把手指导如何从信号建模、回波模拟到最终生成距离-多普勒谱,实现运动目标的精确测距与测速,直观展示了相参积累带来的显著性能增益。

pca5navigator的博客 964

MATLAB代码实现了船舶航线优化的功能,使用混合遗传算法(结合模拟退火算法)来寻找从大连港到格拉斯通港的最优航线,同时考虑了船舶的参数、气象数据(风速、风向、有效波高、波浪阻力系数等)对航行的影响

这段MATLAB代码主要实现了船舶航线优化的功能,使用混合遗传算法(结合模拟退火算法)来寻找从大连港到格拉斯通港的最优航线,同时考虑了船舶的参数、气象数据(风速、风向、有效波高、波浪阻力系数等)对航行的影响。通过以上步骤,该代码能够找到一条在考虑船舶性能和气象条件下,从大连港到格拉斯通港的较优航线,最小化燃油消耗和航行时间的加权和。

AI的内部世界的博客 513

Hive开窗函数详解:LAG、LEAD、FIRST_VALUE、LAST_VALUE实战与避坑指南

在大数据分析与数据仓库开发中,窗口函数是处理排序、分组与行间计算的利器。不同于聚合函数对全组数据的汇总,位置函数如LAG、LEAD、FIRST_VALUE、LAST_VALUE能够精准获取相邻行或边界值,广泛应用于环比计算、相邻订单时间差、用户首末单提取等场景。理解它们的语法原理与默认窗口行为,是避免SQL执行结果异常的关键。实际工程中,结合排序唯一性设计、NULL值兜底处理以及执行引擎调优,能大幅提升离线数仓任务的稳定性与性能。本文以电商订单数据为例,详解四个位置函数的语法、实战技巧与常见坑点,帮助数据开

weixin_29053577的博客 231

Python爬招聘网站:Selenium+ActionChains破解滑动验证码,批量采集岗位数据(新手可跑)

通过本文实战,你不仅学会了用Selenium+ActionChains破解滑动验证码,还掌握了爬虫的核心优化思路——“模拟人类行为”是突破反爬的关键。这套逻辑不仅适用于招聘网站,还能迁移到其他有滑动验证码的平台(如电商、资讯网站)。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1190

Hive 窗口函数详解

目录1、hive窗口函数2、在日常的开发中常用那些类型函数?3、了解哪些窗口函数,都是什么意思?窗口函数功能over语法1、物理窗口(真实往上下移动多少行rows between):2、 逻辑窗口(满足条件上下多少行):(金融行业、保险行业、p2p等)4、窗口聚合函数count开窗函数sum开窗函数avg开窗函数min开窗函数max开窗函数5、窗口分析函数first_value开窗函数last_value开窗函数lag开窗函数lead开窗函数cume_dist开窗函数6、窗口排序函数rank开窗函数dens

雾岛与鲸的博客 7714

超详细!Linux 服务器 6 大核心性能测试(附自动脚本 + 结果分析秘籍)---Linux 服务器性能测试文档

本文档旨在提供 Linux 服务器的 CPU、内存和磁盘性能测试方案,包括详细的测试大纲、操作步骤以及一键化测试脚本,帮助管理员快速评估服务器性能状况。通过以上测试方案,可以全面评估 Linux 服务器的 CPU、内存和磁盘性能,为系统优化、容量规划和问题排查提供重要参考依据。使用 sysbench 进行 CPU 基准测试。使用 sysbench 测试内存读写性能。使用 fio 工具进行更全面的磁盘测试。使用 dd 命令测试磁盘顺序读写性能。使用 dd 命令测试内存读写速度。记录磁盘 IO 性能。

jundao1997的专栏 384

为YOLOv11引入自适应特征融合模块(ASFF)

本文探讨了在YOLOv11中引入ASFF(自适应空间特征融合)模块以解决多尺度目标检测性能不均衡的问题。作者分析了传统FPN固定融合策略的缺陷,详细介绍了ASFF模块的实现原理,包括动态权重生成网络设计和特征融合机制。通过将ASFF集成到YOLOv11颈部网络,实现了特征在双向流动时的自适应融合,在复杂场景下mAP提升1.2%而推理时间仅增加3-5ms。文章还分享了训练调参技巧和部署注意事项,指出ASFF特别适合交通监控等目标尺度变化大的场景,但强调需根据实际需求平衡模型复杂度与性能。最后提供了工程实践建议

as1225120794的博客 322

原创 | 详解Hive窗口函数及10道实战练习

文末有赠书福利目录:一、hive窗口函数语法----over()窗口函数的语法结构----常与over()一起使用的分析函数二、hive窗口函数练习28道题前言:我们在学习hive窗口函...

a934079371的博客 3589

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

十五、Hive 窗口函数

在 Hive 做数据分析时,你是否遇到过“求排名”“算累计”“取前后值”这些看似简单却写不出高效 SQL 的场景?本篇文章带你一次性掌握 Hive 窗口函数的用法,从 ROW_NUMBER() 到 LAG()、NTILE() 再到窗口帧 ROWS BETWEEN 的各种花式玩法,全部配有实战示例和练习题。不讲概念空话,讲的是怎么写、哪里用、踩过哪些坑。看完这一篇,你的 Hive SQL 会变得不一样。

专注于 Agent 工程、AI 产品、Harness Engineering、LLM 算法等方向,OpenMathModel、Nivik 等开源项目作者 8万+

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

Hive窗口函数Over partition by

- 目录 1、聚合函数+over 2、partition by子句 3、order by子句 4、★window子句(里面包含) - PRECEDING:往前 - FOLLOWING:往后 - CURRENT ROW:当前行 - UNBOUNDED:起点 5、★窗口函数中的序列函数:包含NTILE(n),row_number、rank、dense_rank 简介 本文主要介绍hive中的窗口函数。hive中的窗口函数和sql中的窗口函数相类似,都是用来做一些数据分析类的工作,一般用于ola.

认知 行动 坚持 2751

Hive的窗口函数

具体使用语法如下:分析函数/专用窗口函数 over(partition by 列名 order by 列名 rows between 开始位置 and 结束位置)是对指定的字段进行分组,后续都会以组为单位,把每个分组单独作为一个窗口进行统计分析操作。划分的范围被称为窗口,这也是窗口函数的由来.则整个结果集将作为单个窗口分区;如果没有 ORDER BY,我们则无法定义窗口帧,进而整个分区将作为单个窗口帧进行处理。窗口帧用于从分区中选择指定的多条记录,供窗口函数处理。

小枫的博客 1879

Hive补充之窗口函数

我们在使用over()窗口函数时,over()函数中的这三个函数可组合使用也可以不使用。我们常使用的窗口范围是ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW(表示从起点到当前行),常用该窗口来计算累加。ntile(n) 把有序分区中的行分发到指定数据的组中,各个组有编号,编号从1开始,对于每一行,ntile返回此行所属的组的编号。over()函数中如果不使用这三个函数,窗口大小是针对查询产生的所有数据,如果指定了分区,窗口大小是针对每个分区的数据。

Maynor的博客 2070

Hive中的窗口函数

它不会将多行数据聚合成一行,而是为查询的每一行返回一个值。计算时,函数会基于一个与当前行相关的“窗口”(一组行)来进行。OVER()子句是窗口函数的标志,它定义了计算的数据集窗口。当使用了ORDER BY后,默认的窗口是(从分区第一行到当前行)。ROWS: 基于物理行(行的位置)。RANGE: 基于逻辑值(排序字段的值)。: 分区的第一行: 分区的最后一行: 当前行: 当前行之前的 N 行 (ROWS only): 当前行之后的 N 行 (ROWS only): 从当前行的前2行到后1行。

走过冬季 1283

hive的窗口函数详解

1.1 hive窗口函数 窗口函数是什么鬼? 窗口函数指定了函数工作的数据窗口大小(当前行的上下多少行),这个数据窗口大小可能会随着行的变化而变化。 窗口函数和聚合函数区别? 窗口函数对于每个组返回多行,组内每一行对应返回一行值。 聚合函数对于每个组只返回一行。 1.1.1 在日常的开发中常用那些类型函数?? 1、字符串操作函数?split、concat、ifnull、cast 2、聚合函数 : hive适用于分析,所以常用。 3、时间函数 : 数仓的特征随时间变化而变化,所以时间也特别多 4、

qianfeng_dashuju的博客 2543

Hive窗口函数

Hive窗口函数 1)定义 窗口函数属于sql中比较高级的函数 mysql从8.0版本才支持窗口函数,5.6,5.7都没有窗口函数 oracle 里面一直支持窗口函数 hive也支持窗口函数 以下函数才是窗口函数 窗口函数(13个): LEAD LEAD(col,n, default_val):往后第n行数据 col 列名 n 往后第几行 默认为1 默认值 默认null LAG LAG(col,n,default_val):往前第n行数据 col 列名 n 往前第几行 默认为1

weixin_44516261的博客 1345

HIVE SQL 聚合函数与 rows between / range between详解

今天说的这个内容其实是窗口函数中常用的一个, 原来都是用默认的,由于今天我遇到的了一个比较奇葩的问题,比较纠结这个小的知识点,自己说不清相关问题因此深入研究了一下格式:窗口函数| 聚合函数 OVER (PARTITION BY XXX order by xx DDDDDDD)今天我们说的就是DDDDDDD 部分, 这部分的作用是什么的,就是窗口函数的小集合,此时会影响窗口函数或者聚合函数的取值。

1052
上一篇: Python——使用scipy求解带约束的最优化问题
下一篇: Hive之grouping sets用法及grouping_id计算方法
HappyRocking
博客等级 码龄12年 222粉丝 176原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值