【硬件相关】IB网/以太网基础介绍及部署实践

【硬件相关】Mellanox网络配置及参数优化 本文主要介绍Mellanox网络配置、部署管理及相关调优手段,用于后续部署实践参考使用 阅读详情
AI摘要

本文详细比较了InfiniBand和Ethernet网络技术,包括它们的链路速度、拓扑结构、硬件设备特点,以及以IntelE810-XXVDA2和MellanoxMCX456A-ECAT为例的部署实践,涉及网卡信息、驱动管理和检查方法。

一、前言

1、Infiniband网络

What is InfiniBand Network and the Difference with Ethernet?

Infiniband是一种高带宽、低延迟、高可靠性的开放标准网络互连技术,这项技术是由 IBTA (InfiniBand Trade Association)定义的,该技术在超级计算机集群领域得到了广泛的应用。

1.1、网络类型

Infiniband在物理层定义了多种链路速度,如x1链路、x4链路、x12链路,每个单独的链路都是四线串行差分连接(每个方向两根线),目前大多采用x4链路,当前Infiniband主流常见网络类型参考如下:

在这里插入图片描述

网络类型 信号速率 编码方式 x1链路速率 x4链路速率 x12链路速率
SDR(Single Data Rate) 2.5Gb/s 8b/10b 2Gb/s 8Gb/s 24Gb/s
DDR(Double Data Rate) 5Gb/s 8b/10b 4Gb/s 16Gb/s 48Gb/s
QDR(Quad Data Rate) 10Gb/s 8b/10b 8Gb/s 32Gb/s 96Gb/s
FDR(Fourteen Data Rate) 14.0625Gb/s 64b/66b 13.64Gb/s 54.54Gb/s 163.64Gb/s
EDR(Ehanced Data Rate) 25.78125Gb/s 64b/66b 25Gb/s 100Gb/s 300Gb/s
HDR(High Data Rate) 50Gb/s 64b/66b 50Gb/s 200Gb/s 600Gb/s
NDR(Next Data Rate) 100Gb/s 64b/66b 100Gb/s 400Gb/s 1200Gb/s

1.2、网络拓扑

Infiniband是处理器和I/O设备之间数据流的通信链路,支持多达64,000个可寻址设备。IBA(InfiniBand Architecture)是一个行业标准规范,它定义了一个点对点交换输入/输出框架,用于互连服务器、通信基础设施、存储设备和嵌入式系统。

Infiniband具有广泛性、低时延、高带宽和低管理成本等优点,是将多个数据流(集群、通信、存储、管理)在一个连接中连接数千个节点的理想选择。最小的IBA完整单元是一个子网(单个子网最大可由6万多个节点组成),多个子网通过路由器相互连接,形成一个大的IBA网络。子网内部使用交换机进行二层处理,子网之间使用路由器或网桥进行连接。

在这里插入图片描述

Infiniband是一种基于通道的结构,通道适配器就是搭建Infiniband通道使用的,所有传输均以通道适配器开始或结束,以确保安全或在给定的QoS(服务质量)级别下工作。其组成单元可以分为以下四类:

  • HCA(Host Channel Adapters):主机通道适配器
  • TCA(Target Channel Adapters):目标通道适配
【硬件相关】IB网与以太网核心技术解析及高性能网络部署指南 本文深入解析了IB网与以太网的核心技术差异,包括协议栈、流量控制机制及硬件架构,并提供了高性能网络部署的实战指南。通过对比测试和调优案例,展示了IB网在低延迟和高负载下的优势,以及混合组网中的创新应用,助力超算集群和高效网络部署。 阅读详情

相关推荐

Infiniband互连网络概述

一、Infiniband是什么? InfiniBand(简称IB)是一种工业标准规范,它定义了一种输入/输出架构,用于计算节点、通信基础设施设备、存储和嵌入式系统的互连。操作系统可以是Linux、Windows或ESXI。 IB网络一共是五层,从第一天起,IB就被设计为提供一个端到端的解决方案,改善和加速从物理层到上层的所有协议层。 IB协议于2000年由IBTA(InfiniBand Trade Association)提出,其规定了一...

weixin_41687819的博客 5231

ADOP带你了解:网络互连技术:InfiniBand和以太网的异同

InfiniBand(IB)和以太网(Ethernet)是两种不同的网络技术,各自在不同层次上应用。让我们深入了解它们的区别和特点。InfiniBand(IB)和以太网(Ethernet)是两种不同的网络技术,各自在不同层次上应用。让我们深入了解它们的区别和特点。概述是一种高速网络和输入/输出(I/O)技术,旨在连接数据中心和高性能计算(HPC)环境中的服务器、存储系统和其他计算设备。它具有高带宽、低延迟、可靠和灵活的数据传输功能。

ADOP_的博客 6323

InfiniBand(IB)快速上手

InfiniBand(直译为“无限带宽”技术,缩写为IB)是一个用于的计算机网络通信标准,它具有极高的和极低的,用于计算机与计算机之间的数据互连。InfiniBand也用作服务器与存储系统之间的直接或交换互连,以及存储系统之间的互连。1、IB是一类特殊的网卡,硬件上包括网卡,连接线,交换机都是由nvidia收购的mellanox定制的2、IB从字面理解就知道是超高带宽的连接技术,属于一种RDMA技术中的一种3、IB常用在智算场景,用于GPU间夸节点交换数据,可以将数据直接发送到IB卡;

m0_48594855的博客 6442

【硬件相关】IB网与以太网核心技术对比及选型指南

本文深入对比了IB网与以太网的核心技术差异,包括带宽、延迟、协议栈设计及错误恢复机制等关键指标。通过实际案例分析,为高性能计算、云数据中心等场景提供选型建议,帮助用户在IB网和以太网之间做出明智选择,优化网络部署方案。

weixin_29290379的博客 149

算力机房选择RoCE还是InfiniBand(IB)

算力机房选择RoCE还是InfiniBand(IB)

流水_鱼鱼的博客 3968

保姆级教程:在CentOS 7.9上把Mellanox ConnectX-5网卡从IB模式改成以太网模式

本文提供了一份详细的CentOS 7.9系统下将Mellanox ConnectX-5网卡从Infiniband(IB)模式切换至以太网模式的保姆级教程。涵盖从环境检查、模式确认到实际切换操作的全流程,特别分享了排错思路和性能优化技巧,帮助运维人员高效解决数据中心常见的网络配置问题。

weixin_30924087的博客 157

Wireshark抓包实战:深度解析RoCEv2、RRoCE与IB协议报文结构与故障排查

RDMA(远程直接内存访问)是一种高性能网络编程技术,它通过内核旁路和零拷贝机制,极大降低了网络通信的延迟与CPU开销。其核心原理在于将数据传输的控制逻辑从CPU卸载到智能网卡,从而允许应用直接访问远程内存。这项技术在追求极致性能的AI/ML训练、高性能计算和分布式存储场景中具有关键价值。RoCEv2、RRoCE和InfiniBand是实现RDMA的三种主流协议,它们分别基于以太网、可路由IP网络和专用网络,在报文封装、寻址和路由能力上存在显著差异。理解这些底层报文结构,是进行高效网络调试、性能优化和故障定

weixin_34344403的博客 927

Mellanox SX6015实战:IB网络组网、配置与性能排查指南

InfiniBand网络凭借RDMA和Credit流控机制,为高性能计算提供无损、低延迟的数据通路。其中,链路层Credit机制有效避免了因接收端处理不及时导致的丢包,而RDMA技术则绕过了内核协议栈,让数据在内存间直接搬运。这些特性使IB网络成为HPC场景中MPI集合通信和分布式存储的首选。在工程落地时,硬件选型和配置细节往往决定实际性能。Mellanox SX6015作为一款18端口FDR InfiniBand交换机,是聚合层设备的典型选择。部署时需要关注子网管理器(SM)的角色规划、PKey分区设置、

weixin_28745067的博客 281

openEuler 20.03 LTS面向RK3399移植系列(3)—openEuler 20.03 LTS面向Firefly RK3399的第一个版本(Linux kernel 4.4)

任务动机:完成openEuler面向RK3399开发板的移植。 任务描述:按照固件烧写准备,固件获取,固件打包和烧写的步骤实现openEuler面向RK3399开发板的移植,整理过程和相关命令记录到文档。 1. 制作openEuler的rootfs.img 1.1 开发环境 树莓派--openEuler系统 openEuler 20.03 LTS 的内测版本镜像,下载。 1.2 具体操作 1.2.1 ssh远程连接树莓派 确定树莓派IP ssh连接 1.2.2 制作rootfs.img

火种源码的机器人技术专栏 2372

航测倾斜摄影如何用Smart3D(ContextCapture)处理大疆无人机照片生成三维模型

本篇内容主要介绍Smart3D(ContextCapture)处理大疆无人机数据操作步骤 详细步骤如下 1.拷贝大疆无人机航拍的完整照片 2.打开Smart3D(ContextCapture)软件新建一个工程 3.影像选择项下选择添加影像 4.检查影像是否可以正常打开 5.提交空三计算,名称默认即可(不能带文字或字符) 6.没有控制点就默认选择 7.第一次空三默认设置 8.完成设置提交空三计算 9.打开引擎端开始计算 10.空三计算完成 11.查看空三质量报告是否有问题 12.空三没有

Miss程晨 1万+

Deepface实战避坑:人脸识别模型VGG-Face、Facenet、ArcFace怎么选?附各模型性能与速度实测对比

本文深入对比了DeepFace框架中VGG-Face、Facenet和ArcFace三种主流人脸识别模型的性能与适用场景,提供了详细的实测数据和选型建议。通过分析各模型在CPU/GPU环境下的推理速度、内存占用和准确率表现,帮助开发者根据实际需求(如门禁系统、相册分类或视频流分析)选择最优模型,并给出工程化部署的避坑指南和优化技巧。

weixin_42625070的博客 305

SSD性能测试进阶:用fio的io_uring引擎榨干你的NVMe硬盘

本文深入探讨了如何利用fio的io_uring引擎对NVMe SSD进行深度性能测试。通过对比传统libaio引擎,详解了io_uring低开销、高并发的优势。文章提供了从测试矩阵设计、队列深度分析到写入放大观察和尾延迟可视化的完整进阶方法,并附有实战案例与脚本,旨在帮助用户科学压榨NVMe硬盘的极限性能,获取更真实的评估数据。

weixin_29247219的博客 328

C语言试题四之计算并输出3到n之间所有素数的平方根之和

1、题目 请编写函数function,它的功能是:计算并输出3到n之间所有素数的平方根之和 例子:若我们main函数从键盘给n输入5之后,我们需要输出结果为3.968119 输入值n的要求:正整数n, 要求小于100。 2、部分函数说明 C 库函数 double sqrt(double x) 返回 x 的平方根 3、源代码实现 #include <stdio.h> #...

码莎拉蒂 7240

YOLOv11 改进 - 注意力机制 | HaloNet 局部自注意力 (Local Self-Attention) 以分块交互策略实现高效全局上下文建模

本文介绍了局部自注意力机制(HaloAttention)在YOLOv11中的结合应用。局部自注意力通过关注输入数据局部区域来捕捉特征关系,能降低计算复杂度、增强局部特征捕捉,且可与CNN结合。其计算时先定义局部窗口,再计算注意力权重并加权求和。我们将HaloAttention集成到YOLOv11的检测头中,并进行相关注册和配置。实验表明,改进后的模型在目标检测和实例分割等任务中表现更佳,证明了自注意力模型在传统卷积主导领域的有效性。

魔改工程师的博客 1143

成功解决使用jupyter notebook命令打开原先存的.ipynb文件突然消失的问题

成功解决使用jupyter notebook命令打开原先存的.ipynb文件突然消失的问题 目录 解决问题 解决思路 解决方法 T1、修改默认配置 T2、修改后缀参数(此方法是其他网友推荐,博主没有尝试) T3、如果以上还不成功,这个时候很可能是环境配置有问题 解决问题 使用jupyter notebook命令打开原先存的.ipynb文件突然消失的问题 解决思路 使用jupyter notebook命令打开原先存的.ipynb文件突然消失,说明...

头部AI社区如有邀博主AI主题演讲请私信—心比天高,仗剑走天涯,保持热爱,奔赴向梦想!低调,专注,谦虚,自律,反思,成长,还算比较正能量的博主,公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然,有点小情怀,也有点使命感呀 5118

如何使用 Python 爬虫获取猫眼电影数据:电影评分与评论分析

随着互联网的快速发展,越来越多的人开始使用各种在线平台来了解电影信息,猫眼电影作为一个非常流行的在线电影票务平台,提供了详细的电影评分、评论和票房数据。本篇博客将详细介绍如何使用 Python 爬虫技术获取猫眼电影平台上的电影数据,重点关注电影评分和用户评论的爬取,分析其背后的数据处理和反爬虫技术。如果你对数据分析、电影评论分析等话题感兴趣,可以根据本文的示例进一步深入挖掘更多的数据,为决策提供支持,或为电影产业的相关研究提供有价值的分析依据。有些猫眼电影的页面数据是动态加载的,使用。

2201_76125261的博客 1623

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

上一篇: 【硬件相关】RDMA网络类别及基础介绍
下一篇: 【硬件相关】Mellanox网络配置及参数优化
Luxf0
博客等级 码龄10年 558粉丝 67原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值