【问题记录】Mellanox网卡ib_write_bw设置MTU遇到的一些问题?(-m; ip l s eth mtu x; 打流不能超过active,active不能超过max)

第十八篇: `ib_write_bw` - InfiniBand网络的“速度测试仪” 是我们验证IB网络性能的“黄金标准”,它用无可辩驳的数据告诉我们网络的真实吞吐能力。ibstat和ibping保证了网络的**“质”**(连通性)。保证了网络的**“量”**(双向带宽)。通过这“三板斧”,我们就具备了全面诊断IB网络的能力。至此,我们已经深入探索了监控、诊断、调度、网络等各个维度的命令。但当所有外部瓶颈都排除,性能问题直指GPU应用本身时,我们就需要更专业的“手术刀”来剖析其内部行为了。在下一篇中,我们将介绍NVIDIA官方的性能剖析工具——nsys和 ncu的命令行用法。 阅读详情
AI摘要

本文记录Mellanox网卡MTU修改相关问题。ib_write_bw可通过 -m指定报文MTU,但设置值须小于网卡active的MTU;其设置值只能是固定几个值,如{256,512,1024,2048,4096}。用ip l s修改网卡MTU不能超硬件最大值,ETH模式如此,IB模式能否超4096未知。

本文简要记录Mellanox网卡mtu修改相关一些问题

  • ib_write_bw可以通过 -m指定报文的mtu,从而影响发包的mtu值。
  • ib_write_bw的mtu设置的值必须比网卡上active的mtu小,active的mtu是指通过ifconfig 或者 ip命令设置mtu 修改eth网络接口MTU的2种方式(ifconfig eth0 mtu 1500、ip link set eth0 mtu 1500)。比如ip l s修改的mtu是4096,那么在ib_write_bw的-m中指定大于4096不会生效,会用默认的值4096,并且会报警告:Requested mtu is higher than active mtu Changing to active mtu - 3,这里的3表示的是可配置支持的mtu的值({256,512,1024,2048,4096})的列表的第3个,也就是1024。表示被修改为1024了。
    在这里插入图片描述
  • 使用ib_write_bw设置的mtu值只能是固定的几个值,比如{256,512,1024,2048,4096}。 否则会报错:Invalid MTU - 1500 Please choose mtu from {256,512,1024,2048,4096} Will run with the port active mtu - 5
  • 使用ip l s修改网卡的mtu的值不能超过硬件最大的mtu的值,硬件mtu最大值可以通过ibv_devinfo -v获取。也就是打流不能超过active,active不能超过max
    在这里插入图片描述
  • 以上都是ETH模式的,如果是IB模式网卡的MTU是否可以修改超过4096未知
【报错处理】ib_write_bw执行遇到Found Incompatibility issue with GID types.原因与解决办法 Server设置了IP地址,Client未设置IP地址(初期启动,环境中没有DHCP服务器)。ib_write_bw在Client端连接server时认为使用不同的IP version。命令: ib_write_bw 1.1.1.1。 阅读详情

相关推荐

ib_write_bw 和 ib_read_bw 测试 RDMA 的读写处理确定带宽

1、 使用 ib_read_bw 测试 RDMA 写速度: 首先你有两台有IB卡、装了ib驱动 的服务器。 服务器A:ib_write_bw -a -d mlx4_0 服务器B : ib_write_bw -a -F 服务器A的ip -d mlx4_0 --report_gbits 2、 使用 ib_write_bw 测试 RDMA 写速度: 服务器A : ib_write_bw -a -...

郑泽林 2万+

【RDMA】RDMA通信测试工具|RDMA信息查询工具

目录 RDMA性能测试工具集-perftest perftest安装 RDMA性能测试(测试性能如何) ibv_xxx_pingpong(带宽和往返时间) ib_send_bw/ib_write_bw(带宽) ib_send_lat\ib_write_lat (时延) ceph_perf_msgr_client/ceph_perf...

小鱼菜鸟的博客 8805

微知-ib_write_bw的各种参数汇总?如何绑核?三种查看numa节点方式?(-d -q -s -R --run_infinitely,mr_per_qp

经常忘记使用ib_write_bw打流的一些参数,特此整理记录在这里方便快速查阅。尤其是run_infinitely这个参数容易写错。

技术札记 6143

RDMA

流优先级 HowTo Run RoCE over L2 Enabled with PFC Default ToS to skprio mapping on Linux

NEWPLAN的专栏 1万+

GPU间通信原理与实战:从NCCL调优到硬件拓扑诊断

GPU间通信是分布式深度学习的底层基石,其本质是解决多卡协同中的数据同步问题,核心机制包括All-Reduce(梯度聚合)、Broadcast(参数分发)和Point-to-Point(流水线/MoE路由)。它并非简单依赖网卡带宽,而是由GPU显存访问、PCIe/NVLink主机内互联、RDMA网络(InfiniBand/RoCE)及NCCL等通信库四层协同决定。技术价值在于将物理算力真正转化为训练吞吐——实测显示NCCL优化可使All-Reduce延迟降低68%、有效带宽提升3.2倍。典型应用场景涵盖Py

weixin_30247781的博客 430

深入解析ib_write_bw:如何通过RDMA技术实现高性能网卡带宽测试

本文深入解析了如何利用ib_write_bw工具,通过RDMA技术对高性能网卡进行精准的带宽性能测试。文章详细介绍了RDMA内核旁路原理、ib_write_bw的核心参数配置、实战操作步骤以及结果分析方法,并提供了针对mlx5等网卡的自动化测试脚本与常见排错技巧,是进行高性能网络基准测试的权威指南。

kappa的博客 644

infiniband带宽测试方法1 ib_read/write_bw/lat

 一、带宽的测试。 1、找任意两台服务器,先查看IB的状态。 #ibstat 2、两台服务器都要重启IB的服务 # /etc/init.d/openibd restart 3、两台服务器都要开户子网管理器 #/etc/init.d/opensmd start 暂停子网管理器的命令是 # /etc/init.d/opensmd stop 4、第一台机执行 #ib_wri

撞强※非专业,更专注 1万+

ib_write_bw参数全解析:从基础打流到高阶绑核技巧(附numactl实战)

本文深入解析ib_write_bw参数,从基础打流到高阶绑核技巧,涵盖NUMA节点优化与numactl实战。通过详细参数组合和性能测试数据,帮助工程师提升RDMA网络性能测试的精确度,特别适用于Mellanox mlx5系列网卡与多核服务器环境。

weixin_29266679的博客 134

IB网卡常用命令

http://www.h3c.com/cn/d_202007/1317229_30005_0.htm

dangdanding的专栏 2446

【信息科学与工程学】【通信工程】第七十九篇 Infiniband网络02

管理员通过 SM 定义分区,指定其 P_Key 和期望的成员节点(CA/交换机端口)。2.

weixin_49199313的博客 385

【 ‌infrastructure】【数据中心】【AI infra】第十篇 智能计算数据中心解决方案集成测试和交付知识体系01

编号类型领域模块子模块学科知识点及详细数学建模与数值设计(推导/边界/示例)关联知识、标准、法律法规、论文、工业实践1.1架构智算集成总体拓扑业务/管理/数据/参数面分离系统架构、队列论、网络流四平面隔离:业务面带宽B_b、数据面B_d(对象/数仓ETL)、参数面B_p(NCCL AllReduce)、管理面B_m(Prometheus/API)。总成本C=Σ(N_server·C_s+N_sw·C_sw+N_dpu·C_dpu)+C_power;约束B_p≥模型梯度量G/t_step。示例:千卡A100、

weixin_49199313的博客 124

6个常见的IB网络不通问题

如果遇到IB网络不通,可以试着从高层往底层逐步分析看看。

华为云官方博客 5815

【信息科学与工程学】【通信工程】第一百九十二篇 交换机体系结构01

编号类型领域问题详细的数学分析参数列表(表达式 / 范围 / 边界 / 测量)关联知识1.1算法-架构路由查找LPM 在多口线速下的时延界字符串集 + Trie 的偏序格:路由表 = 前缀集合 P⊂{0,1}^≤32,LPM 是找 p∈P 使 p 是 d 的最长前缀。TCAM 等价于并行匹配,复杂度 O(1);SRAM 软实现(DIR-24-8 等)≈ 多阶 Trie,期望比较次数 = 树深 = O(W),W=32/128。 优化理论:TCAM 占用 vs SRAM 的 knapsack:min ∑w

weixin_49199313的博客 527

【main参数】main函数的参数|命令行参数

转载自:http://www.cnblogs.com/zerocc/archive/2010/12/17/1909642.html 第一个带参数的main。 #include int main(int argc,char *argv[]) { for(inti=0;i) { cout&...

我的笔记本 3662

【 ‌infrastructure】【数据中心】【AI infra】第十篇 智能计算数据中心解决方案集成测试和交付知识体系02

编号类型领域模块子模块学科知识点及详细数学建模与数值设计(现象—根因—模型—流程—策略—极端)关联知识/标准/论文/工业实践9.96拥塞/通信栈智算互联内核态socket与控制面gRPC/brpc分离内核协议栈/上下文切换/控制带宽操作系统/分布式系统现象:万卡训练用gRPC做参数服务器或brpc做配置下发,小消息P99达数百μs,控制事件拥塞导致集合通信启动慢。根因:内核TCP栈路径为应用→socket→skb→协议栈→软中断→NIC,小消息系统调用与上下文切换占比高;gRPC基于HTTP/2多路复用但仍

weixin_49199313的博客 380

【信息科学与工程学】计算机科学与自动化—第十五篇 云计算 11 算法篇02

但若第一个应用需求40GB/s,第二个10GB/s,总需求50GB/s>40GB/s,第一个得32GB/s,第二个得8GB/s,不公平。但若分区负载不均(分区1-2各有100任务/s,分区3-4各有50任务/s),A负责1-2(200/s),B负责3-4(100/s),仍均衡。任务 τi​ 的计算需求 Wi​(CPU周期),在频率 f 下执行时间 Ti​=Wi​/f,能耗 Ei​=Pdyn​⋅Ti​=Ceff​⋅V2⋅f⋅(Wi​/f)=Ceff​⋅V2⋅Wi​。若 Mneed​>Mi​,需使用远程显存。

weixin_49199313的博客 117

【报错处理】ib_write_bw报错Couldn‘t allocate MR处理办法?为什么root能通非root不通?(ulimit -l; /etc/security/limits.conf`)

ulimit是针对每个shell进程的,系统创建shell的时候会根据 /etc/security/limits.conf中来设置默认的限制值。另外要熟悉rdma的mem内存原理,知道锁内存的情况,结合ulimit就打通,从而进行设置和解决无法alloc MR的问题。ib_write_bw默认启动是65536的size。由于ib_write_bw在启动前reg mr的过程会pin mem,这里的pin mem就是锁住内存。在root能够正常执行ib_write_bw,但是在普通用户无法执行。

技术札记 1667

【信息科学与工程学】【产品体系】第三十三篇 DPU/smartinic芯片中的学科知识03

需求实现DMA 与流边界检测优化​分级超时状态机(短/中/长)+ 积压计数 + 批量触发DMA 控制器优化​描述符预取(深度 4)+ 中断合并(阈值 8)Fence 语义正确性验证​RTL 断言 + C 语言序列号检测 + 性能对比 + 硬件计数器所有代码均为可综合 Verilog,已在仿真器中通过基本功能测试。在 FPGA 原型上运行上述 RTL,配合 ChipScope 观察 fence 时序在 BlueField-3 上运行 DOCA DPA 测试程序,对比加/不加 fence 的结果。

weixin_49199313的博客 354
上一篇: 【微知】DOCA中的hws是什么?(hardware steering (HWS) 硬件转向)
下一篇: 【微知】Mellanox驱动报错pdevice‘s health compromised - reached miss count机制分析(timer+check+recover+trigger)
懂卡帝
博客等级 码龄15年 3038粉丝 715原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值