【zookeeper】zookeeper 性能优化与配置详解 一些踩坑建议

不体系 专栏收录该内容
¥29.90 ¥99.00
290篇文章
AI摘要

本文详细介绍了ZooKeeper的配置选项,包括必须的配置参数、高级配置项、集群配置、身份认证和授权,以及一些实验性选项。针对ZooKeeper的性能优化,文章提供了启动内存设置、日志优化和其他实用配置实例,如数据文件和事务日志的分离,内存与磁盘空间的管理等。同时,给出了实际操作中的注意事项和踩坑建议。

在这里插入图片描述

1.概述

转载:https://www.cnblogs.com/EasonJim/p/7488834.html

ZooKeeper的功能特性通过ZooKeeper配置文件来进行控制管理( zoo.cfg配置文件)。 ZooKeeper这样的设计其实是有它自身的原因的。通过前面对ZooKeeper的配置可以看出,对ZooKeeper集群进行配置的时候,它的配置文档是完全相同的(对于集群伪分布模式来说,只有很少的部分是不同的)。这样的配置方使得在部署ZooKeeper服务的时候非常地方便。另外,如果服务器使用不同的配置文件,必须要确保不同配置文件中的服务器列表相匹配。

在设置ZooKeeper配置文档的时候,某些参数是可选的,但是某些参数是必须的。这些必须的参数就构成了ZooKeeper配置文档的最低配置要求。

2.错误案例

最近发现在用zookeeper出现经常出现连接超时,出现连接中断,数据丢失等原因。后面看了官网配置自己整理优化几点:

2.1错误日志:
2016-04-11 15:00:58,981 [myid:] - WARN [SyncThread:0:FileTxnLog@334] - fsync-ing the write ahead log in SyncThread:0 took 13973ms which will adversely effect operation latency. See the ZooKeeper troubleshooting guide
 
>2.2,错误原因分析
“FOLLOWER”在跟“LEADER”同步时,fsync操作时间过长,导致超时。
第一步:分析服务器问题:
我查看了服务器io和负载都不高。内存空间实际使用率不高。可是编辑文件出现了卡顿.
可以发现:
服务器并没有占用很多内存的进程;
服务器也没有存在很多的进程;
cat /var/log/message查看系统日志并没有发现什么异常;
另外ping服务器只有0.1ms多的延迟,因此不是网络问题。
后面发现硬盘有故障重新更换了一块硬盘。或者更换服务器。
 
>2.3,错误解决
增加“tickTime”或者“initLimit和syncLimit”的值,或者两者都增大。
 
>2.4,其他
这个错误在上线“使用ZooKeeper获取地址方案”之前也存在,只不过过没有这么高频率,而上线了“ZooKeeper获取地址方案”之后,ZooKeeper Server之间的同步数据量增大,ZooKeeper Server的负载加重,因而最终导致高频率出现上述错误。

3. 配置文件:

下面是在最低配置要求中必须配置的参数:

### 最小配置
最小配置意味着所有的配置文件中必须要包含这些配置选项。
#### clientPort
服务器监听客户端连接的端口,亦即客户端尝试连接到服务器上的指定端口。
##### dataDir
ZooKeeper存储内存数据库快照文件的路径,并且如果没有指定其它路径的话,数据库更新的事务日志也将存储到该路径下。
注意:事务日志会影响ZooKeeper服务器的整体性能,所以建议将事务日志放置到由dataLogDir参数指定的路径下。
##### tickTime
单个tick的时间长度,它是ZooKeeper中使用的基本时间单元,以毫秒为单位。它用来调节心跳和超时时间。例如,最小会话超时时间是2个tick。

生产环境例子:

tickTime:CS通信心跳数
Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。tickTime以毫秒为单位。
tickTime=2000

initLimit:LF初始通信时限
集群中的follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数(tickTime的数量)。
initLimit=5
 
syncLimit:LF同步通信时限
集群中的follower服务器与leader服务器之间请求和应答之间能容忍的最多心跳数(tickTime的数量)。
syncLimit=2
 
dataDir:数据文件目录
Zookeeper保存数据的目录,默认情况下,Zookeeper将写数据的日志文件也保存在这个目录里。
dataDir=/home/michael/opt/zookeeper/data
 
dataLogDir:日志文件目录
Zookeeper保存日志文件的目录。
dataLogDir=/home/michael/opt/zookeeper/log

clientPort:客户端连接端口
客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。
clientPort=2333
 
服务器名称与地址:集群信息(服务器编号,服务器地址,LF通信端口,选举端口)
这个配置项的书写格式比较特殊,规则如下:
server.N=YYY:A:B
其中N表示服务器编号,YYY表示服务器的IP地址,A为LF通信端口,表示该服务器与集群中的Leader交换的信息的端口。B为选举端口,表示选举新Leader时服务器间相互通信的端口(当Leader挂掉时,其余服务器会相互通信,选择出新的Leader)。一般来说,集群中每个服务器的A端口都是一样,每个服务器的B端口也是一样。但是当所采用的为伪集群时,IP地址都一样,只能时A端口和B端口不一样。
#下面是一个非伪集群的例子:
server.0=233.34.9.144:2008:6008
server.1=233.34.9.145:2008:6008
server.2=233.34.9.146:2008:6008
server.3=233.34.9.147:2008:6008
#下面是一个伪集群的例子:
server.0=127.0.0.1:2008:6008
server.1=127.0.0.1:2007:6007
server.2=127.0.0.1:2006:6006
server.3=127.0.0.1:2005:6005

3.高级配置项说明

本节的配置选项是可选的。你可以使用它们进一步的优化ZooKeeper服务器的行为。有些可以使用Java系统属性来设置,一般的格式是“zookeeper.keyword”。如果有具体的系统属性,会在配置选项下面标注出来。

说明:设置Java系统属性可以在启动时后面加“-D”参数,比如:-Dzookeeper.keyword=xxx。而这些配置项默认可以通过$ZOOKEEPER_HOME/conf/zoo.cfg进行配置。

dataLogDir

没有对应的Java系统属性。

该参数用于配置ZooKeeper服务器存储事务日志文件的路径,ZooKeeper默认将事务日志文件和数据快照存储在同一个目录下,应尽量将它们分开存储。

注意:将事务日志文件存储到一个专门的日志设备上对于服务器的吞吐量和稳定的延迟有很大的影响。事务日志对磁盘性能要求比较高,为了保证数据一致性,ZooKeeper 在响应客户端事务请求之前,需要将请求的事务日志写到磁盘上,所以事务日志的写入性能直接影响ZooKeeper服务器处理请求的吞吐。所以建议给事务日志的输出配置一个单独的磁盘或者挂载点。

globalOutstandingLimit

对应的Java系统属性:zookeeper.globalOutstandingLimit。

客户端提交请求的速度可能比ZooKeeper处理的速度快得多,特别是当客户端的数量非常多的时候。为了防止ZooKeeper因为排队的请求而耗尽内存,ZooKeeper将会对客户端进行限流,即限制系统中未处理的请求数量不超过globalOutstandingLimit设置的值。默认的限制是 1000。

preAllocSize

对应的Java系统属性:zookeeper.preAllocSize。

用于配置ZooKeeper事务日志文件预分配的磁盘空间大小。默认的块大小是64M。改变块大小的其中一个原因是当数据快照文件生成比较频繁时可以适当减少块大小。比如 1000次事务会新产生一个快照(参数为snapCount),新产生快照后会用新的事务日志文件,假设一个事务信息大小100b,那么事务日志预分配的磁盘空间大小为100kb会比较好。

snapCount

对应的Java系统属性:zookeeper.snapCount。

ZooKeeper 将事务记录到事务日志中。当 snapCount 个事务被写到一个日志文件后,启动一个快照并创建一个新的事务日志文件。snapCount 的默认值是 100,000。

traceFile

对应的Java系统属性:requestTraceFile。

如果定义了该选项,那么请求将会记录到一个名为traceFile.year.month.day的跟踪文件中。使用该选项可以提供很有用的调试信息,但是会影响性能。

注意:requestTraceFile这个系统属性没有zookeeper前缀,并且配置的变量名称和系统属性不一样。

maxClientCnxns

没有对应的Java系统属性

在socket级别限制单个客户端到ZooKeeper集群中单台服务器的并发连接数量,可以通过IP地址来区分不同的客户端。它用来阻止某种类型的DoS攻击,包括文件描述符资源耗尽。默认值是60。将值设置为0将完全移除并发连接的限制。

clientPortAddress

服务器监听客户端连接的地址(ipv4,ipv6或主机名),亦即客户端尝试连接到服务器上的地址。该参数是可选的,默认我们以这样一种方式绑定,即对于服务器上任意 address/interface/nic,任何连接到clientPort的请求将会被接受。

minSessionTimeout

没有对应的Java系统属性

服务器允许客户端会话的最小超时时间,以毫秒为单位。默认值是2倍的tickTime。

maxSessionTimeout

没有对应的Java系统属性

服务器允许客户端会话的最大超时时间,以毫秒为单位。默认值是20倍的tickTime。

fsync.warningthresholdms

对应的Java系统属性:fsync.warningthresholdms。

用于配置ZooKeeper进行事务日志(WAL)fsync操作消耗时间的报警阈值,一旦超过这个阈值将会打印输出报警日志。该参数的默认值是1000,以毫秒为单位。参数值只能作为系统属性来设置。

这个可能和 Clickhouse】Cannot allocate block number in Zookeeper write prefix view location 这个有点关系。

autopurge.snapRetainCount

没有对应的Java系统属性。

当启用自动清理功能后,ZooKeeper将只保留autopurge.snapRetainCount个最近的数据快照(dataDir)和对应的事务日志文件(dataLogDir),其余的将会删除掉。默认值是3。最小值也是3。

autopurge.purgeInterval

没有对应的Java系统属性。

用于配置触发清理任务的时间间隔,以小时为单位。要启用自动清理,可以将其值设置为一个正整数(大于 1)。默认值是0。

syncEnabled

对应的Java系统属性:zookeeper.observer.syncEnabled。

和参与者一样,观察者现在默认将事务日志以及数据快照写到磁盘上,这将减少观察者在服务器重启时的恢复时间。将其值设置为“false”可以禁用该特性。默认值是 “true”。

4. 集群配置选项说明

本节中的选项主要用于ZooKeeper集群。

electionAlg

没有对应的Java系统属性。

用于选择使用的Leader选举算法。”0”对应于原始的基于UDP的版本,“1”对应于快速Leader选举基于UDP的无身份验证的版本,“2”对应于快速Leader选举有基于UDP的身份验证的版本,而“3”对应于快速Leader选举基于TCP的版本。目前默认值是算法3。

注意:Leader选举0,1,2这三种实现已经废弃,在接下来的版本中将会移除它们,这样就只剩下FastLeaderElection算法。

initLimit

没有对应的Java系统属性。

默认值是10,即tickTime属性值的10倍。它用于配置允许Followers连接并同步到Leader的最大时间。如果ZooKeeper管理的数据量很大的话可以增加这个值。

leaderServes

对应的Java系统属性:zookeeper.leaderServes。

用于配置Leader是否接受客户端连接,默认值是“yes”,即Leader将会接受客户端连接。在ZooKeeper中,Leader服务器主要协调事务更新请求。对于事务更新请求吞吐很高而读取请求吞吐很低的情况可以配置Leader不接受客户端连接,这样就可以专注于协调工作。

注意:当ZooKeeper集群中服务器的数量超过3个时,建议开启Leader选举。

server.x=[hostname]:nnnnn:nnnnn

没有对应的Java系统属性。

组成ZooKeeper集群的服务器。当服务器启动时,可以通过查找数据目录中的myid文件来决定它是哪一台服务器。myid文件包含服务器编号,并且它要匹配“server.x”中的x。

客户端用来组成ZooKeeper集群的服务器列表必须和每个ZooKeeper服务器中配置的ZooKeeper服务器列表相匹配。

有两个端口号nnnnn,第一个是Followers用来连接到Leader,第二个是用于Leader选举。如果想在单台机器上测试多个服务,则可以为每个服务配置不同的端口。

syncLimit

没有对应的Java系统属性。

默认值是5,即tickTime属性值的5倍。它用于配置Leader和Followers间进行心跳检测的最大延迟时间。如果在设置的时间内Followers无法与Leader进行通信,那么Followers将会被丢弃。

group.x=nnnnn[:nnnnn]

没有对应的Java系统属性。

Enables a hierarchical quorum construction.”x” 是一个组的标识,等号右边的数字对应于服务器的标识。赋值操作右边是冒号分隔的服务器标识。注意:组必须是不相交的,并且所有组联合后必须是 ZooKeeper 集群。

weight.x=nnnnn

没有对应的Java系统属性。

和“group”一起使用,当形成集群时它给每个服务器赋权重值。这个值对应于投票时服务器的权重。ZooKeeper中只有少数部分需要投票,比如Leader选举以及原子的广播协议。服务器权重的默认值是1。如果配置文件中定义了组,但是没有权重,那么所有服务器的权重将会赋值为1。

cnxTimeout

对应的Java系统属性:zookeeper.cnxTimeout。

用于配置Leader选举过程中,打开一次连接(选举的Server互相通信建立连接)的超时时间。默认值是5s。

5.身份认证和授权选项说明

本节的选项允许通过身份认证和授权来控制服务执行。

zookeeper.DigestAuthenticationProvider.superDigest

对应的Java系统属性:zookeeper.DigestAuthenticationProvider.superDigest。

该功能默认是禁用的。

能够使ZooKeeper集群管理员可以作为一个“super”用户来访问ZNode层级结构。特别是对于一个已经认证为超级管理员的用户不需要ACL检查。

org.apache.zookeeper.server.auth.DigestAuthenticationProvider可以用来生成superDigest,调用它带有“super:“参数的方法。当启动集群中的每台服务器时,将生成的“super:“作为系统属性提供。

当ZooKeeper客户端向ZooKeeper服务器进行身份认证时,会传递一个“digest”和“super:“的认证数据。注意摘要式身份验证将认证数据以普通文本的形式传递给服务器,在网络中需要谨慎使用该认证方法,要么只在本机上或通过一个加密的连接。

6.实验性选项/特性说明

本节列举了一些目前还处于实验阶段的新特性。

服务器只读模式

对应的Java系统属性:readonlymode.enabled。

将其设置为true将会启用服务器只读模式支持,默认是禁用的。ROM允许请求了ROM支持的客户端会话连接到服务器,即使当服务器可能已经从集群中分隔出去。在该模式中,ROM客户端仍然可以从ZK服务中读取值,但是不能进行写操作以及看见其它客户端所做的一些变更。更多详细信息可以参见ZOOKEEPER-784获取更多详细信息。

不安全的选项

下面的选项会很有用,但是使用的时候需要特别小心。

forceSync

对应的Java系统属性:zookeeper.forceSync。

用于配置是否需要在事务日志提交的时候调用FileChannel.force来保证数据完全同步到磁盘。默认值是“yes”。如果该选项设置为“no”,ZooKeeper将不会强制同步事务更新日志到磁盘。

jute.maxbuffer

对应的Java系统属性:jute.maxbuffer。没有zookeeper前缀。

用于指定一个ZNode中可以存储数据量的最大值,默认值是0xfffff,或1M内。如果这个选项改变了,那么该系统属性必须在所有的服务端和客户端进行设置,否则会出现问题。ZooKeeper旨在存储大小为千字节数量的数据。

skipACL

对应的Java系统属性:zookeeper.skipACL。

用于配置ZooKeeper服务器跳过ACL权限检查。这将一定程度的提高服务器吞吐量,但是也向所有客户端完全开放数据访问。

quorumListenOnAllIPs

当设置为true时,ZooKeeper服务器将会在所有可用的IP地址上监听来自其对等点的连接请求,而不仅是配置文件的服务器列表中配置的地址。它会影响处理ZAB协议和Fast Leader Election协议的连接。默认值是false。

7.ZooKeeper优化建议

1、将ZooKeeper与其他应用分开部署,避免相互影响;

对于ZooKeeper来说,如果在运行过程中,需要和其它应用程序来竞争磁盘、CPU、网络、内存资源,那么整体性能将会大打折扣。我们在使用ZooKeeper初期尝试将ZooKeeper与其他应用公用机器,在系统流量上涨后,由于IO及CPU被其他应用使用很大,造成ZooKeeper的Session经常超时甚至应用与ZooKeeper的连接断开。因此,建议ZooKeeper与其他应用分开部署;

2、将数据文件和事务日志分开存放,提高ZooKeeper性能;

我们先分析一下磁盘对ZooKeeper性能的影响。客户端对ZK的更新操作都是永久的,不可回退的。为做到这点,ZK会将每次更新操作以事务日志的形式写入磁盘,写入成功后才会给予客户端响应。明白这点之后,你就会明白磁盘的吞吐性能对于ZK的影响了,磁盘写入速度制约着ZK每个更新操作的响应。因此,我们在选择机型时尽量选择多块硬盘的机器,ZK的事务日志输出是一个顺序写文件的过程,本身性能是很高的,所以尽量保证不要和其它随机写的应用程序共享一块磁盘,尽量避免对磁盘的竞争。

3、尽量避免内存与磁盘空间的交换,确保设置一个合理的JVM堆大小;

如果设置太大,会让内存与磁盘进行交换,这将使ZK的性能大打折扣。例如一个4G内存的机器的,如果你把JVM的堆大小设置为4G或更大,那么会使频繁发生内存与磁盘空间的交换,通常设置成3G就可以了。

8.启动内存设置实例

新建zookeeper/conf/java.env文件。

java.env文件内容如下:

#!/bin/sh
export JAVA_HOME=/usr/java/jdk
# heap size MUST be modified according to cluster environment
export JVMFLAGS=”-Xms512m -Xmx1024m $JVMFLAGS”
对于内存的分配,还是根据项目和机器情况而定。如果内存够用,适当的大点可以提升ZK性能。

ZooKeeper配置文件修改如下:

maxClientCnxns=1000
minSessionTimeout=30000
maxSessionTimeout=60000

9.日志优化实例

log4j配置,由于ZK是通过nohup启动的,会有一个zookeeper.out日志文件,该文件中记录的是输出到console的日志。log4j中只要配置输出到console即可,zookeeper.out日积月累会不断变大,要放在容量大的磁盘上。

修改配置文件(zoo.cfg)如下:

zookeeper.root.logger=INFO, CONSOLE
zookeeper.console.threshold=INFO
log4j.rootLogger=${zookeeper.root.logger}
 
log4j.appender.CONSOLE=org.apache.log4j.ConsoleAppender
log4j.appender.CONSOLE.Threshold=${zookeeper.console.threshold}
log4j.appender.CONSOLE.layout=org.apache.log4j.PatternLayout
log4j.appender.CONSOLE.layout.ConversionPattern=%d{ISO8601} [myid:%X{myid}] - %-5p [%t:%C{1}@%L] - %m%n

zoo.cfg文件中,dataDir是存放快照数据的,dataLogDir是存放写前日志的。这两个目录不要配置成一个路径,要配置到不同的磁盘上。如果磁盘是使用了RAID,系统就一块磁盘,那配置到一块磁盘上也可以。写前日志的部分对写请求的性能影响很大,保证dataLogDir所在磁盘性能良好。

10.其它优化配置实例

1、zoo.cfg文件中skipACL=yes,忽略ACL验证,可以减少权限验证的相关操作,提升一点性能。

2、zoo.cfg文件中forceSync=no,这个对写请求的性能提升很有帮助,是指每次写请求的数据都要从pagecache中固化到磁盘上,才算是写成功返回。当写请求数量到达一定程度的时候,后续写请求会等待前面写请求的forceSync操作,造成一定延时。如果追求低延时的写请求,配置forceSync=no,数据写到pagecache后就返回。但是机器断电的时候,pagecache中的数据有可能丢失。

3、zk的dataDir和dataLogDir路径下,如果没有配置ZK自动清理,会不断的新增数据文件。可配置成ZK系统自动清理数据文件,但是最求系统最高性能的话,建议人工手动清理文件:

zkCleanup.sh -n 3

这样保留三份文件。

4、配置fsync.warningthresholdms=20,单位是毫秒,在forceSync=yes的时候,如果数据固化到磁盘的操作fsync超过20ms的时候,将会在zookeeper.out中输出一条warn日志。这个目前zk的3.4.5和3.5版本有bug,在zoo.cfg中配置不生效。我的做法是在conf/java.env中添加java系统属性:

export JVMFLAGS="-Dfsync.warningthresholdms=20 $JVMFLAGS"

参考:

http://blog.yancy.cc/2017/05/27/%E5%A4%A7%E6%95%B0%E6%8D%AEhadoop/zookeeper/Bigdata-ZooKeeper%E7%9A%84%E9%85%8D%E7%BD%AE%E8%AF%A6%E8%A7%A3%E4%BC%98%E5%8C%96/(以上大部分内容转自此篇文章)

http://www.chinacloud.cn/upload/2014-04/14042009468555.pdf

http://blog.csdn.net/u013673976/article/details/50153631

http://zlfwmm.blog.51cto.com/5892198/1710111

http://www.52yunwei.net/767.html(以上部分内容转自此篇文章)

http://www.cnblogs.com/fanweiwei/p/4517012.html(以上内容部分转自此篇博客)

Zookeeper集群搭建与配置详解:大数据环境下的最佳实践 Apache Zookeeper作为分布式系统的核心协调服务,在现代大数据架构中扮演着不可或缺的角色。本文将带领读者深入探索Zookeeper集群的搭建与配置,从理论基础到实践操作,全面解析如何在大数据环境中构建稳定、高效、可靠的Zookeeper集群。我们将系统讲解Zookeeper的核心概念、集群工作原理、搭建步骤、配置优化、安全加固、监控告警以及故障处理等关键知识,并通过大量实战案例和最佳实践,帮助读者掌握在生产环境中部署和维护Zookeeper集群的专业技能。 阅读详情

相关推荐

【clickhouse】ClickHouseException code: 999 Cannot allocate block number in ZooKeeper: Coordination

1.概述 clickhouse报错 com.dtstack.jlogstash.outputs.core.common.ClickhouseException: ru.yandex.clickhouse.except.ClickHouseException: ClickHouse exception, code: 999, host: 172.16.8.84, port: 8123; Code: 999, e.displayText() = DB::Exception: Cannot allocate b.

九师兄 4977

【Clickhouse】Cannot allocate block number in Zookeeper write prefix view location

我有一个问题,我CK集群跑批的时候,replicated表变成只读的了下面是CK的报错和当时ZK的日志。下面是zk报错开始 我认为是写入的时候,压力太大,ZK扛不住了,就按照博客里的建议优化了ZK的参数,现在偶尔还会只读,zk报错都是图里的那种clickhouse的集群是5分片的集群,数据量比较大。每小时批量一次,每次2-10W条数据,字段的话,不到200个字段,使用的 jdbc sink写入。

九师兄 838

Kafka Broker配置详解:优化与最佳实践

Kafka的配置选项非常丰富,正确的配置对于确保集群的性能和稳定性至关重要。本文详细介绍了Kafka Broker的配置,从基础到高级,希望能够帮助您更好地理解和优化您的Kafka集群。通过合理配置,您可以提高Kafka集群的性能、安全性和稳定性。

私聊前往站内信:https://i.csdn.net/#/msg/chat/weixin_44976692 1万+

Hadoop HA配置与Zookeeper及HBase集成实战

随着大数据处理需求的日益增长,Hadoop作为业界标准的分布式存储和处理框架,其高可用(HA)配置变得至关重要。Hadoop 2.6.0通过引入NameNode HA功能,极大提升了系统的稳定性和容错能力。本章节将为读者提供一个高可用配置的概览,让读者对后续章节的深入讲解有一个整体的认识。首先,我们将对Hadoop 2.6.0中的高可用机制进行简要介绍,包括其架构的工作原理和核心组件的配置。接着,将详细分解配置步骤,确保读者能按照标准流程完成HA环境的搭建。

weixin_32999557的博客 1263

神联动:LSTM+卡尔曼滤波!一区大门轻松开!

近来热度飙升,成为时间序列预测和状态估计等领域的香饽饽,非常好发高区!主要在于:这两者结合,不仅能提高模型预测准确性;还能拓展应用场景,为我们的论文创新提供发挥空间,且当下还在蓝海阶段,还不算卷。具体点说:卡尔曼滤波擅长处理线性状态估计和噪声,能使LSTM更好地适应动态环境的变化,减少噪声干扰,降低预测误差。而LSTM通过捕捉长期依赖关系,擅长处理非线性时间序列,能够弥补卡尔曼滤波在这方面的不足,从而把应用场景从传统的状态估计,延伸到金融预测、工业检测、自动驾驶等任务。

2401_82426425的博客 2211

别再只盯着CXL协议了,聊聊CXL.mem里那个能动态调优内存性能的‘QoS遥测’到底怎么用

本文深入解析CXL.mem协议中的QoS遥测功能,探讨如何通过DevLoad指标动态调优内存性能。文章详细介绍了QoS遥测的核心机制、多QoS类别设备的实战配置,以及AI训练、金融交易和视频处理场景中的优化案例,帮助数据中心实现高效内存资源管理。

weixin_33725722的博客 437

避坑指南:RK3588上编译EtherCAT 1.6时遇到的权限问题和模块安装错误

本文详细解析了在RK3588平台上编译EtherCAT 1.6时常见的权限问题和模块安装错误,提供了两种实战解决方案和嵌入式开发的通用权限管理策略。通过优化内核配置和编译参数,显著提升实时性能,帮助开发者高效完成EtherCAT主站部署。

weixin_33724046的博客 455

QDMA工程搭建/windows驱动编译与性能测试

请注意,根据您的目标操作系统,您可能需要在windows启动配置中启用测试签名的驱动程序,以便启用此驱动程序的安装。右键单击设备,选择更新驱动程序软件,然后选择构建的QDMA驱动程序的文件夹(通常为。创建一个新工程,在IP Catalog中搜索QDMA,双击创建qdma ip核。驱动程序安装安装驱动程序最简单的方法是通过Windows的“设备管理器”。如果系统提示未经验证的驱动程序发布者,请选择无论如何安装此驱动程序软件。本节主要介绍QDMA驱动在Windows系统的源文件、编译和安装过程。

qq_28455081的博客 2289

Lammps实现单轴压缩-应力应变曲线以及弹性模量计算

Lammps实现单轴压缩-应力应变曲线以及弹性模量计算

Rockyoung 1万+

利用 AI 自动生成 BDD(行为驱动开发)格式的 Gherkin 测试用例

文章摘要 当前BDD测试领域正经历AI驱动的变革浪潮。传统Gherkin用例编写面临四大痛点:语法负担重、场景发现成本高、一致性差和维护困难。2025-2026年,AI生成Gherkin的工具生态快速成熟,主要分为五类:测试管理平台内置AI(如TestRail 10.2)、Jira插件(如AssertThat BDD)、独立AI平台(如PrimeCompass)、CLI工具和研究原型。其中,TestRail实现生成-执行闭环,AssertThat采用多阶段Agent工作流提升质量,PrimeCompass则

ZXSXJ的博客 207

ROSTCM6+Gephi的网络语义分析详细教程(附案例实战)

ROSTCM6是武汉大学沈阳教授研发编码的国内目前唯一的以辅助人文社会科学研究的大型免费社会计算平台。该软件可以实现微博分析、聊天分析、全网分析、网站分析、浏览分析、分词、词频统计、英文词频统计、流量分析、聚类分析等一系列文本分析。Gephi是一款开源免费跨平台基于JVM的复杂网络分析软件,可用于各种图形和网络的可视化和探索,是最受欢迎的网络可视化软件之一。

m0_64336780的博客 1万+

SerDes学习笔记:DFE均衡架构示例(USB3.1、PCIe3.0\4.0)

本文探讨了DFE均衡器架构在不同数据接口中的应用特性。研究表明,抽头数量随数据速率提升而增加,1-16抽头架构较为常见。通过PCIeGen3/4实例分析,对比了单抽头、双抽头和15抽头DFE的性能差异,证明多抽头结构能通过精细调节有效提升噪声容限和降低误码率。文章详细阐述了DFE工作原理,包括其通过反馈信号对输入信号的补偿机制,以及不同抽头对消除码间干扰的作用。实验采用8Gbps速率(125ps/UI)进行波形仿真,直观展示了均衡处理前后的信号变化,为理解信道均衡技术提供了重要参考。

一只豌豆象的博客 520

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

上一篇: 【ASM】字节码操作 Label 生成 try catch 语句
下一篇: 【ASM】字节码操作 生成一个新的类 StackMapTable 的由来
九师兄
博客等级 码龄12年 2万+粉丝 6153原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值