详解GPU显存和batch size的关系

深度模型gpu运行机制 gpu运行原理一、单机多gpu运行原理1.1 单机多卡并行机制:1.2 具体实现二、多机多gpu集群运行原理-分布式计算 一、单机多gpu运行原理 1.1 单机多卡并行机制: 首先是将模型加载到主GPU,然后将模型复制到其他指定的GPU,接着把输入数据按batch维度划分给各个GPU去计算(batch_size_per_gpu=total_batch_size / num_gpu),各个GPU上的模型和数据独立进行前向推理计算,得到结果(loss)后汇总到主gpu上反向传播更新模型权重,再将主GPU模型更新 阅读详情
AI摘要

本文详细探讨了GPU显存、算力和带宽的基础知识,并着重分析了在深度学习中,batch size的变化如何影响显存占用。通过实例解析,揭示了模型参数、输入输出和优化器在不同batch size下的显存消耗,指出训练速度不仅受限于显存,还与GPU算力相关。

请添加图片描述最近在训练模型的时候突然被问到如下几个看似简单,实则一点也不难的问题

  • 在显存充足的情况下增加 batch size 大小会加快训练吗?
  • 扩大 batch size 占用的显存是如何变化的,显存是线性增加吗?
  • 扩大 batch size 后是哪些因素导致了显存占用增加?

前两个问题有过训练模型经验的都知道增加batch size并不会一直能加快训练,而扩大batch size也和显存占用不成线性关系。而对第三个问题被问到的一瞬间确实没有反应过来,因此便有了这篇文章。本文将对以上三个问题进行详细分析

1. GPU 基础

1.1 显存

此处不多说,就是GPU的内存,越大越好,下面展示一些GPU的显存大小

GPU型号 显存大小
1060 6G
1080 8G
T4 16G
V100 32G
A100 80G

显存分析
在深度学习中常用的数值类型是float32,一个字节8位,float32数值类型占用4个字节。如果现在有一个1000x1000的矩阵,存储类型为float32,那么占用的显存差不多就是

1000 × 1000 × 4 = 4 × 1 0 6 B ≈ 4000 K B ≈ 4 M B 1000 \times 1000 \times 4 = 4 \times 10^6 B \approx 4000KB \approx 4MB 1000×1000×4=4×106B≈4000KB≈4MB

注意此处为了计算方便使用了1000进制,实际上为1024

前面介绍的 Stable Diffusion XL 的Unet参数量为2.6B(26亿),那么其占用显存计算如下(假设按 float32 存储):
26 × 1 0 8 × 4 = 104 × 1 0 8 B ≈ 10.4 G B 26\times 10^8 \times 4 = 104 \times 10^8 B \approx 10.4 GB 26×108×4=104×108B≈10.4GB

1.2 算力

GPU计算单元类似于CPU中的核,用来进行数值计算。衡量计算量的单位是flop: the number of floating-point multiplication-adds,即浮点数先乘后加算一个flop。

1*2+3                  1 flop
1*2 + 3*4 + 4*5        3 flop 

算力用于衡量GPU的计算能力,计算能力越强大,速度越快。衡量计算能力的单位是flops,即每秒能执行的flop数量。

下图展示了V100的算力,其中TFLOPS是teraFLOPS的缩写,等于每秒一万亿( 1 0 12 10^{12} 1012) 次的浮点运算。常见的单位还有PFLOPS(petaFLOPS)等于每秒一千万亿( 1 0 15 10^{15} 1015)次的浮点运算
在这里插入图片描述
下图展示了大模型训练常用的GPU A100算例
在这里插入图片描述

下图展示了最强GPU H100的算力,在双精度情况下基本是V100的5倍。
在这里插入图片描述

1.3 带宽

显存和算力是GPU最重要的两个指标,另外一个重要指标就是带宽了。 带宽主要用在分布式训练中通信,带宽小将限制训练速度。

2. 神经网络显存占用

下文将以如下式所示的全连接网络为例进行讲解,其中 X ∈ R n × m X \in R^{n\times m} X∈Rn×m是输入, W ∈ R b × n W \in R^{b\times n}

显存大小并非 batch size 的唯一限制 显存是 batch size 的核心约束,但非唯一约束:显存决定了 “最大可能的 batch size 上限”,但计算效率、收敛稳定性、CPU 内存等会决定 “实际可用的 batch size”。batch size 影响显存的关键是 “中间激活值”:参数和梯度的显存占用是固定成本,激活值是随 batch size 变化的 “可变成本”。优化策略可打破显存限制:通过梯度累积、混合精度等方法,能在有限显存下实现 “等效大 batch”,或在大模型下运行小 batch。 阅读详情

相关推荐

nnUNet实战:如何为你的3D医学影像数据定制batch_size和patch_size?从.pkl文件解析到参数调整全流程

本文详细解析了如何为3D医学影像数据定制nnUNet的batch_size和patch_size参数。从.pkl文件解析到参数调整全流程,涵盖了数据特性分析、GPU显存考量及实战调整策略,帮助研究者优化模型性能。特别适合处理不同器官和成像设备的医学影像分割任务。

weixin_27310417的博客 291

深度学习训练调参:batch size、epoch、iteration 口径

深度学习模型训练里,batch、batch size、epoch 与 iteration 是最基础的计量概念:batch size 决定单次送入网络的样本数,一次 iteration 对应一次参数更新,而一个 epoch 表示全量数据被完整扫过一遍。理解它们之间的换算关系,才能准确估算训练时间、总步数和显存占用,并合理选择学习率缩放、梯度累积与 warmup 策略。无论 ResNet 图像分类、YOLO 目标检测,还是 LoRA 大模型微调,global batch、iteration 与 epoch 的口

weixin_33046983的博客 239

LLM-模型大小:GPU显卡内存大小、模型大小、精度、batch_size关系

1、训练时模型本身参数、梯度值、优化器参数值需要的内存大小为:2、 每个样本需要的内存大小():3、基于第1/2条,对于A100显卡(80GB RAM)来说,batch_size最大可以设置为50V100不支持bf16类型A100支持bf16类型优化器参数量其中,theta表示待更新的参数,g表示梯度,t表示当前的时间步,beta1和beta2分别是梯度一阶矩估计和二阶矩估计的指数衰减率,epsilon是为了数值稳定性而添加到分母的小数值。

u013250861的博客 5147

Photoshop免费获取指南:官方试用与开源替代方案详解

图像处理软件是数字内容创作的核心工具,其工作原理基于像素编辑、图层叠加与算法滤镜。这类软件的技术价值在于为设计师、摄影师和内容创作者提供了强大的视觉表达能力,广泛应用于平面设计、UI/UX、摄影后期及社交媒体内容制作等场景。在众多工具中,Adobe Photoshop以其全面的功能和行业标准地位备受关注。对于希望免费体验或使用的用户,存在合法且安全的途径。其中,Adobe官方提供的7天免费试用版允许用户在安全环境下体验完整功能,而开源替代方案如GIMP则提供了长期免费的强大图像编辑能力。理解这些合法获取方式

cigang4063的博客 527

数字IC后端实战:Innovus与ICC2中如何巧妙规避Filler1缺失引发的DRC问题?

本文针对数字IC后端设计中工艺厂不提供最小填充单元Filler1的常见挑战,深入剖析了由此引发的DRC问题根源。详细对比了在Cadence Innovus和Synopsys ICC2两大主流PR工具中,如何通过设置单元间距约束来系统性规避物理缝隙,确保电源网络完整性与制造可靠性,为工程师提供了一套稳健的实战解决方案。

weixin_29303701的博客 311

Fluent新手避坑:遇到‘Floating point exception’别慌,这7个排查步骤帮你搞定

本文为Fluent新手提供了7个排查'Floating point exception'错误的实用步骤,包括边界条件检查、时间步长优化、求解器配置等关键技巧。通过系统化的诊断流程,帮助用户快速定位并解决CFD仿真中的浮点异常问题,提升计算稳定性。

weixin_42531886的博客 290

合宙ESP32C3实战:MPU6500六轴传感器数据读取与校准全解析

本文详细解析了如何使用合宙ESP32C3开发板读取和校准MPU6500六轴姿态传感器数据。从硬件接线、开发环境搭建到核心代码解析,提供了全面的实战指南,帮助开发者快速掌握传感器配置与数据处理技巧,适用于姿态控制、运动检测等应用场景。

weixin_27066963的博客 408

更新3ds时和用读卡器读取传输文件操作不当导致的tf卡损坏无法读取需要格式化时出现的问题以及不想丢失文件并且修复的详细解决方法

前言: 不小心按了同意更新而且tf/sd卡损坏导致了3ds打开后都是出现 Anerror has occurred:(红色的) Failed to apply 1 FIRM patch(es). Press any button to shotdown 这样的画面,按了任意键后就关机,我找了很多资料和大佬的回答解决了这些问题,现在记录一下。 一.不小心按了更新导致上述的画面 原因:是因为系统升级了,但是里面的Luma3DS还没有更新,属于是更新了但没有完全更新的状态。 **修复方法** 1.首先请按

give_me_fish的博客 1万+

nCode:GlyphWorks案例教程一

nCode GlyphWorks案例一Comparing Frequency Content of Two Different Tests案例文件目标配置选择数据 Comparing Frequency Content of Two Different Tests 在本案例中,我们将比较来自两个不同测试的六个加速计通道的频率内容。将三轴加速度计放置在车辆的左前角和右前角,然后分别在两个不同的试验路面上行驶12分钟以上。 案例文件 此案例的文件(采用nCode DAC格式)位于nCode安装目录下的\demo

追月行的博客 1万+

从 ABAP 视角看 JSON :7.40 版本带来的那些改变

摘要:ABAP 对 JSON 的原生支持 随着企业系统与外部 API 的交互增多,ABAP 从 NetWeaver 7.40 开始原生支持 JSON 格式。通过复用现有 XML 基础设施,ABAP 团队引入 JSON-XML 概念,使用 sXML Library 和 IF_SXML=>CO_XT_JSON 常量处理 JSON 数据。开发人员可通过 CALL TRANSFORMATION 语句实现 ABAP 数据与 JSON 的双向转换,大幅简化了与外部系统的数据交互。这种标准化的 JSON 处理方式提

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 182

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

上一篇: 像素空间文生图之Imagen原理详解
下一篇: 大模型训练显存优化推理加速方案
funNLPer
博客等级 码龄7年 3万+粉丝 220原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值