Redis如何优化大key

Redis BigKey优化与使用方式 一、什么是BigKey 在Redis中,一个字符串最大512MB,一个二级数据结构(例如hash、list、set、zset)可以存储大约40亿个(2^32-1)个元素,但实际上中如果下面两种情况,我就会认为它是bigkey。 Redis中的大key一直是重点需要优化的对象,big key既占用比较多的内存,也可能占用比较多的网卡资源,造成redis阻塞,因此我们需要找到这些big key进行优化 字符串类型:它的big体现在单个value值很大,一般认为超过10KB就是bigkey。 非字符串类型:哈 阅读详情
  1. 什么是Redis大key问题

    Redis大key问题指的是某个key对应的value值所占的内存空间比较大,导致Redis的性能下降、内存不足、数据不均衡以及主从同步延迟等问题。

    到底多大的数据量才算是大key?

    没有固定的判别标准,通常认为字符串类型的key对应的value值占用空间大于1M,或者集合类型的k元素数量超过1万个,就算是大key。

    Redis大key问题的定义及评判准则并非一成不变,而应根据Redis的实际运用以及业务需求来综合评估。例如,在高并发且低延迟的场景中,仅10kb可能就已构成大key;然而在低并发、高容量的环境下,大key的界限可能在100kb。因此,在设计与运用Redis时,要依据业务需求与性能指标来确立合理的大key阈值。

  2. 大key带来的影响

内存占用过高。大Key占用过多的内存空间,可能导致可用内存不足,从而触发内存淘汰策略。在极端情况下,可能导致内存耗尽,Redis实例崩溃,影响系统的稳定性。

性能下降。大Key会占用大量内存空间,导致内存碎片增加,进而影响Redis的性能。对于大Key的操作,如读取、写入、删除等,都会消耗更多的CPU时间和内存资源,进一步降低系统性能。

阻塞其他操作。某些对大Key的操作可能会导致Redis实例阻塞。例如,使用DEL命令删除一个大Key时,可能会导致Redis实例在一段时间内无法响应其他客户端请求,从而影响系统的响应时间和吞吐量。

网络拥塞。每次获取大key产生的网络流量较大,可能造成机器或局域网的带宽被打满,同时波及其他服务。例如:一个大key占用空间是1MB,每秒访问1000次,就有1000MB的流量。

主从同步延迟。当Redis实例配置了主从同步时,大Key可能导致主从同步延迟。由于大Key占用较多内存,同步过程中需要传输大量数据,这会导致主从之间的网络传输延迟增加,进而影响数据一致性。

数据倾斜。在Redis集群模式中,某个数据分片的内存使用率远超其他数据分片,无法使数据分片的内存资源达到均衡。另外也可能造成Redis内存达到maxmemory参数定义的上限导致重要的key被逐出,甚至引发内存溢出。

  1. 大key产生的原因

业务设计不合理。这是最常见的原因,不应该把大量数据存储在一个key中,而应该分散到多个key。例如:把全国数据按照省行政区拆分成34个key,或者按照城市拆分成300个key,可以进一步降低产生大key的概率。

没有预见value的动态增长问题。如果一直添加value数据,没有删除机制、过期机制或者限制数量,迟早出现大key。例如:微博明星的粉丝列表、热门评论等。

过期时间设置不当。如果没有给某个key设置过期时间,或者过期时间设置较长。随着时间推移,value数量快速累积,最终形成大key。

程序bug。某些异常情况导致某些key的生命周期超出预期,或者value数量异常增长 ,也会产生大key。

  1. 怎样排查大key

    4.1 SCAN命令

    通过使用Redis的SCAN命令,我们可以逐步遍历数据库中的所有Key。结合其他命令(如STRLEN、LLEN、SCARD、HLEN等),我们可以识别出大Key。SCAN命令的优势在于它可以在不阻塞Redis实例的情况下进行遍历。

    4.2 bigkeys参数

    使用redis-cli命令客户端,连接Redis服务的时候,加上 —bigkeys 参数,可以扫描每种数据类型数量最大的key。

redis-cli -h 127.0.0.1 -p 6379 —bigkeys

4.3 Redis RDB Tools工具

使用开源工具Redis RDB Tools,分析RDB文件,扫描出Redis大key。

例如:输出占用内存大于1kb,排名前3的keys。

rdb —commond memory —bytes 1024 —largest 3 dump.rbd

  1. 怎么解决大key

拆分成多个小key。这是最容易想到的办法,降低单key的大小,读取可以用mget批量读取。

数据压缩。使用String类型的时候,使用压缩算法减少value大小。或者是使用Hash类型存储,因为Hash类型底层使用了压缩列表数据结构。

设置合理的过期时间。为每个key设置过期时间,并设置合理的过期时间,以便在数据失效后自动清理,避免长时间累积的大Key问题。

启用内存淘汰策略。启用Redis的内存淘汰策略,例如LRU(Least Recently Used,最近最少使用),以便在内存不足时自动淘汰最近最少使用的数据,防止大Key长时间占用内存。

数据分片。例如使用Redis Cluster将数据分散到多个Redis实例,以减轻单个实例的负担,降低大Key问题的风险。

删除大key。使用UNLINK命令删除大key,UNLINK命令是DEL命令的异步版本,它可以在后台删除Key,避免阻塞Redis实例。

  1. 总结

    大Key问题是Redis中常见的问题之一,可能导致性能下降、内存占用过高、阻塞其他操作以及主从同步延迟等问题。本文详细介绍了大Key产生的原因、影响、检测方法和解决方案。通过优化数据结构设计、设定合理的数据过期策略、优化系统架构和配置,以及渐进式删除大Key等方法,我们可以有效地解决和预防大Key问题,从而提高Redis系统的稳定性和性能。

转载自:一灯架构

原链接:https://juejin.cn/post/7222825885203218491

4.19--面试系列之真题版本--redis出现大key怎么解决?Redis 大 Key 对持久化有什么影响? 大key问题 阅读详情

相关推荐

Redis大Key问题全解析:从原理到实战的深度解决方案

设计规范选择与业务匹配的数据结构预估数据量级(如用户增长模型)工具链建设上线前使用扫描生产环境部署RedisInsight实时监控应急方案制定BigKey处理SOP(如凌晨低峰期删除)定期演练大Key迁移预案架构演进超过10GB的Key考虑迁移至TiKV等分布式存储结合Pika实现冷热数据分层。

weixin_43674738的博客 1076

如何优化 Redis 大 Key 问题

在 Redis 中,大 Key 是指单个键值对的数据量非常大,可能包含大量数据。例如,存储一个非常大的列表、哈希表、集合或有序集合等。这种大 Key 可能会影响 Redis 的性能和可用性,因为 Redis 需要在内存中处理这些数据,并且在操作这些大 Key 时可能会导致网络传输延迟。处理 Redis 大 Key 的挑战需要结合多种策略和工具,包括识别大 Key、优化存储方式、使用分布式功能以及定期监控性能。通过实施这些优化措施,可以显著提高 Redis 的性能和稳定性,确保应用程序的高效运行。

m0_73467713的博客 2426

Redis性能瓶颈:优化大key

Redis大key问题是指单个key数据量过大导致性能下降甚至宕机的现象。大key会带来内存占用高、读写性能差、服务器负载增加等问题。产生原因包括数据模型设计不合理、业务需求导致数据量过大等。排查方法可通过SCAN命令、redis-cli的--bigkeys参数或RDB分析工具。解决方案包括优化数据模型、拆分大key为多个小key、设置过期时间等。建议将string类型大key拆分为多键值对,hash/list类型拆分到多个小结构中,并设置合理过期策略,同时考虑使用Redis集群分散数据。

꯭ 瞎꯭扯꯭蛋꯭的博客 1330

Redis 大Key排查与优化

bigkey简单来说就是存储本身的key值空间太大,或者hash,list,set等存储中value值过多。没有具体的衡量标准。

Jc0803kevin的专栏 2382

Lora无线温湿度传感器方案

综上所述,Lora无线温湿度传感器以其长距离传输、低功耗、高稳定性、精准测量、无线传输以及广泛的应用场景等特点,在环境监测领域展现出了强大的竞争力和广泛的应用前景。Lora无线温湿度传感器广泛应用于各种需要远程监控和数据采集的场景,如仓储、农业、机房、楼宇、交通、工业、矿产、电力等领域。Lora无线温湿度传感器是一种采用Lora无线通信技术进行数据传输的温湿度监测设备。四、产品参数(以某款工业级Lora温湿度传感器为例)

weixin_46632654的博客 761

LangChain + Milvus Lite:从零搭建本地RAG知识库

本文详细介绍了如何利用LangChain、Milvus Lite和gte-large-zh模型,在本地从零搭建一个完整的RAG知识库系统。文章涵盖了环境配置、文档处理与向量化、本地向量库构建以及检索问答实现的全流程,重点突出了完全本地化部署带来的数据隐私安全和成本优势,为开发者提供了一条实践性极强的技术路径。

weixin_29044713的博客 450

Redis性能提升秘籍:大Key与热点Key优化实战

Redis作为高性能键值数据库,在现代应用架构中扮演重要角色,但大Key和热点Key问题严重影响系统性能。大Key指占用内存过大或元素过多的Key,会导致内存压力、阻塞请求和网络拥塞;热点Key则是访问频繁的Key,引发CPU过载、响应延迟甚至系统雪崩。排查方法包括SCAN命令、RDB分析工具和大数据采样等。优化策略方面,针对大Key采用数据拆分、渐进式删除和压缩存储;针对热点Key实施限流、预取、多副本和智能路由等措施。未来随着硬件升级和Redis功能增强,这些问题将持续演进,需要结合AI等技术探索更智能

东境物语 2万+

机械臂开发必备:KDL库正逆解与动力学实战指南

在机器人算法领域,运动学与动力学计算是机械臂控制、仿真与轨迹规划的核心基础。正运动学描述关节空间到笛卡尔空间的映射,逆运动学则需要求解复杂的非线性方程,工程实现时常面临数值稳定性与调试效率的挑战。KDL(Kinematics and Dynamics Library)作为ROS生态中广泛使用的开源库,提供了统一的模型描述与高效求解器,将正逆解、雅可比矩阵及动力学参数计算封装为简洁接口,大幅降低开发门槛。无论是机械臂的笛卡尔空间轨迹跟踪,还是基于动力学模型的前馈控制,KDL都展现出强大的工程价值。本文从运动学

weixin_33860528的博客 2509

redis-大key优化

Redis 中的“大 key”问题指的是单个键(key)所存储的值(value)过大,导致影响 Redis 的性能和稳定性。通常情况下,Redis 的设计初衷是将数据存储在内存中,因此单个键的大小应该受到限制,以保证内存的高效利用和系统的稳定运行。

liulanba的博客 1145

AI+Xmind自动生成测试用例(思维导图格式)

最后:我是Walker,一个热爱分享编程知识的程序员,希望能够帮助到你!

Think_and_work的博客 2336

ROSTEA软件下载及情感分析详细操作教程(附网盘链接)

原ROST虚拟团队出品的ROST系列文本内容挖掘分析平台,是辅助人文社会科学研究的免费计算平台。该软件可以实现文本预处理、分字、分词、词性识别、特殊名词抽取、词频统计、英文词频统计、情感计算、分类算法、聚类算法等一系列文本挖掘,是人文社科研究和论文写作的一把利器。该软件用户量超过一万人,遍布海内外100多所大学,包括剑桥大学、日本北海道大学、北京大学、清华大学、香港城市大学、澳门大学等众多高校。关于ROSTCM6的安装介绍可以参考之前的文章ROSTCM6软件下载及语义网络分析详细操作教程ROST EA。

m0_64336780的博客 1万+

redis大key优化

redis是key,val型存储结构,key允许的最大大小为512MB,空字符串也是有效的键。大key是指value很大(占用大内存)。常见的大key,大致可以这么分(根据具体redis规格以及实际压测而定):(1)单个String类型的Key大小(2)集合类型数量以及整体内存。

镜水灵动 829

【异常】Cursor 模型服务地域访问限制报错的完整排查与解决方案This model provider doesn‘t serve your region

其本质是:Cursor客户端依赖的上游大语言模型服务提供商,基于自身服务的合规运营范围,对客户端发起的请求进行了来源地域权限校验;当系统检测到请求的网络来源地域,不在该模型服务商官方授权提供服务的地域范围内时,会触发服务访问拦截策略,拒绝响应本次模型调用请求,最终在客户端抛出该报错。合规声明:本文所提供的所有方案,均仅用于技术问题排查与解决,请您在使用过程中严格遵守当地法律法规,以及对应软件与模型服务提供商的用户协议与合规要求。更多关于AI+教育领域的干货,可以关注我的微信公众号一时间获取哦~

奶爸的编程之路,也就一周冷个三天 1137

Redis大key产生、排查与优化实践

在Redis中,大key(Big Key)指的是占用内存空间较大的键值对。从本质上讲,所谓的"大key"问题实际上是"大value"问题,因为key本身通常是固定大小的,而value才是占用大量内存的部分。Redis大key问题是一个常见的性能隐患,需要在设计、开发和运维各个阶段予以重视。通过合理的数据结构设计、有效的监控手段和及时的优化措施,可以有效避免和解决大key问题,提升Redis的性能和稳定性。随着Redis版本的更新和社区工具的丰富,处理大key的方法也在不断演进。

weixin_56018532的博客 1454

实现电脑同时上内网和外网(或通过外网访问到该电脑通过该电脑访问内网)

一、需求描述 目前使用的公司网络只能够上内网,但是又有上外网查资料的需求: ①想要实现电脑既能上内网的同时也可以上外网; ②想要使用其他外网电脑使用外网连接到该电脑,通过该电脑访问内部的网络内容。 二、准备内容 电脑必须具备两个网卡,即:可以同时连接内网和外网(比如我的笔记本就可以:使用网线连接笔记本网口与内网通讯,使用WIFI连接手机热点访问外部网络); 注意:如果只有一个网口,可以另外购买USB的无线网卡来实现上网卡。 三、实现电脑同时上内网和外网的操作步骤 3.1、网络拓扑图 ..

提供C#相关开发 、云计算、运维测试、网络安全相关技术分享与服务,有意向可联系。 2万+

YOLOv8改进策略【Backbone/主干网络】| 2023 U-Net V2 替换骨干网络,加强细节特征的提取和融合

一、本文介绍 本文记录的是基于U-Net V2的YOLOv8目标检测改进方法研究。本文利用U-Net V2替换YOLOv8的骨干网络,UNet V2通过其独特的语义和细节融合模块(SDI),能够为骨干网络提供更丰富的特征表示。并且其中的注意力模块可以使网络聚焦于图像中与任务相关的区域,增强对关键区域特征的提取,进而提高模型精度。本文配置了原论文中pvt_v2_b0、pvt_v2_b1、pvt_v2_b2、pvt_v2_b3、pvt_v2_b4和pvt_v2_b5六种模型,以满足不同的需求。 文章目录一、本文

Limiiiing的博客 1722

Redis 大key、热key优化

Redis 大key、热key优化 大key 分为两种:字符串类型长度很大以及非字符串类型的数据结构中元素很多 危害: 集群模式下,内存分配不均,不利于集群管理 非字符串的数据结构例如hash,执行hgetall时,大key会导致阻塞 过期删除大key导致阻塞 读大key时网络阻塞 监控: 找运维,让他们在从节点上监控,利用scan + memory usage方式。 找架构组,在客户端改造或者中间proxy上改造,统计每次写入redis的数据大小,写入elasticsearch,然后在es上

weixin_37949513的博客 1354

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

Redis 单key值过大 优化方式

Redis使用过程中经常会有各种大key的情况, 比如: 1: 单个简单的key存储的value很大 2: hash, set,zset,list 中存储过多的元素(以万为单位) 由于redis是单线程运行的,如果一次操作的value很大会对整个redis的响应时间造成负面影响,所以,业务上能拆则拆,下面举几个典型的分拆方案。1、单个简单的key存储的value很大1.1、 改对象需要每次都整存整取

高广超的博客 3万+

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Redis大key优化专题

即通过hash的方式来存储每一天用户订单次数。那么key = order_20181010, field = order_id, value = 10。那么如果一天有百万千万甚至上亿订单的时候,key后面的值是很多,存储空间也很大,造成所谓的大key。Redis大key会对Redis的性能、稳定性、可靠性和数据备份与恢复产生不良影响,因此需要采取相应的措施来避免和解决Redis大key问题。

weixin_62827806的博客 185

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Redis 排查大 key 的4种方法,优化必备

欢迎关注方志朋的博客,回复”666“获面试宝典摘要:在日常Redis的使用中,难免遇到因为 key 存储了过大的数据而造成请求缓慢甚至阻塞的情况,这个时候就需要排查 Redis 的大key去优化业务了,下面提供一些排查方案总结,仅供参考。一、多大的 key 算大呢?Redis 实践总结(仅供参考):合理的 Key 中 Value 的字节大小,推荐小于 10 KB。过大的 ...

方志朋的博客 715

Redis大key优化方案

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_33769207的博客 624

Redis大Key带来的影响以及优化

什么是大Key; 就是单个key数据的数据量过大; redis6后虽然提供了多线程,但是只是针对io进行了多线程,执行客户端指令的时候依然是单线程的, 比如一条get。set; 场景: 一个视频。将当前视频正在看的人的id全部加载进redis,,,然而最初没想到一个视频会有1w的用户同时观看。。。关键是。前一个员工为了省事。这个数据里还包含了这个用户看过的视频。一次性全部刷进了这个key里面。。造成了这个key特别大; 影响 1.服务器的内存资源十分珍贵,key过大会导致redis频繁的触发lru清理命中率

m0_49194578的博客 4097

Redis性能瓶颈:如何优化大key问题?

Redis大key问题是指在Redis中出现了一个或多个非常大的key,这些key的大小超过了Redis所能处理的最大值,从而导致Redis性能下降甚至宕机的现象。通常情况下,Redis的key大小应该尽量保持在较小的范围内,因为Redis是一个基于内存的数据结构存储系统,大key会占用大量内存资源,导致Redis的性能受到严重影响。多大的数据量才算是大key,具体取决于Redis服务器的内存大小、可用内存空间、系统负载等因素。

微信公众号: 后端码匠 1251
上一篇: Java进程笔记
下一篇: PowerMockito使用详解
云开发者联盟
博客等级 码龄5年 546粉丝 93原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值