ROCm rocr-libhsakmt分析系列9-3: queue的内核创建流程

1. queue创建全流程概览

接上文中的用户态创建流程,下图是内核的queue创建流程,后续按这个流程进行分析。

用户空间 ioctl
      │
      v
kfd_ioctl_create_queue
      │
      ├─> 1. set_queue_properties_from_user()
      │        验证参数
      ├─> 2. kfd_process_device_by_id()
      │        查找设备数据
      ├─> 3. kfd_bind_process_to_device()
      │        绑定并激活设备
      ├─> 4. kfd_alloc_process_doorbells()
      │        分配 doorbell 池
      ├─> 5. kfd_queue_acquire_buffers()
      │        获取队列缓冲区
      └─> 6. pqm_create_queue()
               │
               ├─> init_user_queue()
               │    - 初始化队列
               │    - 分配 gang context (MES)
               └─
ROCm rocr-libhsakmt分析系列9-3: queue的内核创建流程--硬件队列创建和配置 本文分析了ROCm中队列创建的核心流程,重点阐述了pqm_create_queue()函数的实现机制。该函数负责初始化队列数据结构、配置硬件队列描述符(MQD)并将其提交到设备队列管理器(DQM)。文章首先梳理了关键数据结构的关系,包括进程队列管理器(PQM)、进程队列节点(PQN)、队列(queue)、设备队列管理器(DQM)和MQD管理器。随后详细介绍了创建流程的6个主要步骤,特别强调了针对SDMA队列和计算队列的不同处理分支,以及init_user_queue()和dqm->ops.create 阅读详情

相关推荐

ROCm rocr-libhsakmt分析系列9-3: queue的内核创建流程--DQM vs PQM 架构设计与功能区别

本文档详细介绍了AMD GPU驱动中的队列管理架构,重点解析了PQM(进程队列管理器)和DQM(设备队列管理器)的设计与功能。PQM作为进程级管理器,负责单个进程的队列ID分配(0-1023)、配额管理及跨设备队列生命周期管理,但不直接操作硬件。DQM作为设备级管理器,直接控制GPU硬件资源分配(如VMID、HQD等)和调度策略实现。两者协同工作,PQM通过调用DQM完成硬件操作,形成分层管理架构,有效隔离进程视图与硬件视图,确保资源分配的公平性和隔离性。

图形/计算GPU的驱动与虚拟化技术分享园地 2490

ROCm rocr-libhsakmt分析系列9-4: Queue 与 Event 关联机制

ROCm/HSA 的 queue 和 event 关联机制,是实现高效异步任务调度和同步的核心。其设计充分利用了 GPU 的直接内存访问和中断能力,实现了低延迟、高吞吐的事件信号机制。通过 PM4ReleaseMemoryPacket,应用可灵活地将事件信号与 GPU 任务完成绑定,实现复杂的同步场景。queue 和 event 并不直接关联,而是通过将event数据放入packet中,实现两者的间接关联。

图形/计算GPU的驱动与虚拟化技术分享园地 2208

ROCm rocr-libhsakmt分析系列9-2: user queue的创建与销毁

本文分析了AMD ROCm驱动中queue的创建与销毁实现。核心数据结构queue包含ID、读写指针、EOP缓冲区等关键字段。创建流程涉及参数校验、内存分配(环形缓冲区、EOP区等)、IOCTL调用等步骤,需填充kfd_ioctl_create_queue_args结构体提交内核。销毁流程则通过AMDKFD_IOC_DESTROY_QUEUE通知内核释放资源。queue作为ROCm核心组件,通过环形缓冲区和门铃机制实现了用户空间与GPU的高效通信。

图形/计算GPU的驱动与虚拟化技术分享园地 2340

读懂 ROCm 分层:HIP → ROCr → libhsakmt 核心概念对照表

本文深入解析了AMD ROCm软件栈的分层架构与核心概念映射关系。通过分层对比表,系统梳理了HIP、ROCr/HSA运行时、libhsakmt和KFD四个层次中设备、流/队列、事件/信号等关键概念的对应关系。文章重点分析了三个典型"翻译链":设备标识如何从hipDevice_t逐层转换为内核gpu_id;HIP流如何实现为用户态AQL队列并最终映射为MQD描述符;事件机制如何通过信号量和中断实现。这些映射揭示了ROCm从编程抽象到硬件操作的完整路径,展现了其用户态直接提交的设计精髓。

图形/计算GPU的驱动与虚拟化技术分享园地 1469

ROCm rocr-libhsakmt分析系列9-1: user queue的概念

ROCm中的userspace queue机制通过用户进程直接管理GPU任务提交,绕过驱动IOCTL调用降低开销。其核心是环形缓冲队列,包含读写指针(rptr/wptr)和门铃寄存器(doorbell)。UMD通过共享内存与固件交互,CPU更新wptr触发任务执行。调度固件动态管理硬件队列,使用MQD/HQD存储队列状态。应用创建队列时需分配环形缓冲、指针缓冲等资源,映射到GPUVM并指定门铃索引。内核驱动验证资源后创建队列,应用通过写门铃启动任务。驱动提供IOCTL接口进行队列创建/销毁/查询等操作。

图形/计算GPU的驱动与虚拟化技术分享园地 2626

0.1 ROCm rocr-libhsakmt实现深度剖析专栏介绍

本专栏深入解析AMD ROCm生态核心组件rocrruntime,从底层硬件交互到上层封装实现。重点剖析libhsakmt驱动层的七大核心模块设计,包括拓扑管理、队列调度、事件同步等关键机制;详解C++接口封装策略与工程实践,如资源管理、多线程优化等。通过"硬件-驱动-应用"全链路技术拆解,帮助开发者深入理解ROCm运行时机制,解决性能调优、调试等实际问题,为HPC/AI应用开发提供底层技术支撑。

图形/计算GPU的驱动与虚拟化技术分享园地 5983

ROCm rocr-runtime 库详细解析目录

摘要: 本系列文档系统介绍AMD ROCm HSA Runtime技术栈,涵盖基础概念、核心组件、内存管理、任务调度及高级特性。HSA Runtime作为ROCm核心组件,提供GPU设备管理、内存分配、任务调度等功能。内容分为五部分:HSA基础(异构计算原理、编程模型)、核心组件(Agent/Queue等实现)、内存管理(统一内存/IPC共享)、任务调度(AQL队列机制)及高级特性。包含代码路径runtime/hsa-runtime/和核心模块解析。

图形/计算GPU的驱动与虚拟化技术分享园地 2553

ROCm rocr-libhsakmt分析系列8-2: doorbell的实现

摘要 本文深入分析了AMD ROCm运行时库(libhsakmt)中的doorbell机制实现。doorbell作为CPU-GPU通信的关键硬件寄存器,通过内存映射方式实现低延迟信号传递。文章详细阐述了doorbell的核心数据结构(包括进程级管理结构和队列资源结构)、大小布局特性(4字节或8字节/门铃,1024门铃/页),以及两种初始化映射方式(APU的传统mmap和独立GPU的GPUVM映射)。重点介绍了doorbell的生命周期管理,包括进程级初始化、节点级配置和具体映射方法,揭示了不同GPU架构(V

图形/计算GPU的驱动与虚拟化技术分享园地 1939

5 ROCm rocr-libhsakmt event(signal)机制框架概览

本文摘要围绕GPU异步编程中的事件机制展开,通过4篇文章系统讲解ROCm平台的事件处理架构。第1篇介绍事件机制的概念与设计目标,包括事件类型和三层架构;第2篇深入内核实现,解析KFD事件对象、信号页机制和中断处理流程;第3篇聚焦用户态Thunk层的API封装与事件管理;第4篇将结合多队列完成检测的实际案例,帮助开发者掌握事件机制的综合应用。文章重点剖析了从硬件中断到用户态通知的完整路径,以及事件生命周期管理的关键技术点。

图形/计算GPU的驱动与虚拟化技术分享园地 1814

ROCm rocr-libhsakmt分析系列9-5: queue测试用例DisableCpQueueByUpdateWithNullAddress 功能详解

该测试函数验证了GPU队列的动态控制功能,测试了禁用和重新启用命令处理器队列的核心机制。通过创建PM4命令队列和内存缓冲区,测试首先验证了正常命令执行(将缓冲区值从0xFFFFFFFF修改为0)。然后通过queue.Update(true)禁用队列后,确认新提交的写命令(修改为1)被暂停执行;再次启用队列(queue.Update(false))后,之前暂停的命令成功执行。测试证实了队列管理的三个关键特性:运行时动态控制能力、禁用时命令的暂停保留机制,以及重新启用后的状态恢复功能。测试完成后正确释放了事件和

图形/计算GPU的驱动与虚拟化技术分享园地 1215

1.1 HSA(异构系统架构)驱动 libhsakmt 概览

本文介绍了AMD ROCm平台中KFD驱动与libhsakmt库的架构与功能。KFD驱动作为内核模块,负责GPU设备管理、内存分配、任务调度等核心功能,通过/dev/kfd接口与用户空间交互。libhsakmt库作为用户态支撑库,封装KFD的ioctl调用,提供设备实例管理、内存管理、任务调度、事件同步和数据传输等API接口。文章详细阐述了libhsakmt在设备初始化、内存操作、任务队列管理以及多GPU协作等方面的典型调用流程,展现了其在异构计算中简化CPU-GPU交互的重要作用。

图形/计算GPU的驱动与虚拟化技术分享园地 2523

5.1 rocr-runtime libhsakmt event 机制全景—从 Doorbell 到 Signal

本文介绍了ROCm/KFD中的Event机制架构,主要解决GPU异步计算中的反馈问题。Event机制分为三层:硬件层触发事件,内核层管理事件通知,用户态接收处理。事件类型分为三大类:同步类事件(如SIGNAL、QUEUE_EVENT)用于任务完成通知,异常类事件(如MEMORY、HW_EXCEPTION)报告错误,拓扑类事件(如NODECHANGE)处理设备变更。该机制通过共享内存和中断实现高效通信,避免CPU轮询开销。后续文章将深入内核实现、Thunk层封装和多队列完成检测实战。

图形/计算GPU的驱动与虚拟化技术分享园地 1311

第02章:HSA-Runtime架构概览

摘要: 本章深入解析HSA Runtime的三层架构设计,包括公共API层(C语言接口)、核心实现层(C++业务逻辑)和驱动抽象层(硬件交互)。重点介绍了Runtime的核心组件(Agent、Queue、Signal、Memory)及其关系,以及初始化流程、配置选项和调试功能。通过学习,读者将掌握HSA Runtime的整体架构,为后续模块学习奠定基础。

图形/计算GPU的驱动与虚拟化技术分享园地 2931

0.4 阅读本专栏的前置知识与环境搭建指南

摘要: 本文介绍了阅读和运行libhsakmt所需的前置知识体系和环境搭建指南。从必备的C语言和Linux系统编程基础到推荐的AMD GPU硬件配置,详细说明了操作系统选择、驱动安装、源码获取和编译依赖的安装步骤。重点包括:1) 知识准备评估表;2) AMD显卡兼容性列表;3) Ubuntu系统下的ROCm驱动安装;4) 源码获取方式;5) 编译依赖项说明。帮助读者快速搭建可编译调试libhsakmt的环境,为后续源码分析奠定基础。

图形/计算GPU的驱动与虚拟化技术分享园地 332

5.5 event机制中的 KFD 中断处理全流程解析

KFD驱动中断处理机制分析:KFD驱动通过event_interrupt_class注册GPU中断处理回调,集成到AMDGPU中断框架。硬件中断由amdgpu_ih_process处理,经amdgpu_irq_dispatch分发到KFD的.interrupt_isr进行快速判定(检查client_id/source_id等),符合条件的推入工作队列。

图形/计算GPU的驱动与虚拟化技术分享园地 1096

第15章:统一内存与一致性

摘要:本章深入解析HSA Runtime的统一内存模型与一致性机制,重点介绍其创新性的统一地址空间设计,使CPU与GPU共享虚拟地址。内容涵盖Fine-grained与Coarse-grained内存的区别、内存一致性模型、Fence操作及Driver层支持。通过对比传统异构编程模型,阐述了统一地址空间在简化编程、避免数据竞争及优化性能方面的优势。详细剖析了Driver如何通过标志控制内存属性,并提供了Fine-grained内存的原子操作示例。本章对理解CPU-GPU协同内存语义、选择合适内存类型及解决一

图形/计算GPU的驱动与虚拟化技术分享园地 333

CentOS7全隔离环境部署Nvidia Tesla A100 40G驱动与CUDA工具包实战

本文详细介绍了在CentOS7全隔离环境下部署Nvidia Tesla A100 40G显卡驱动与CUDA工具包的实战经验。通过构建本地YUM仓库、解决驱动依赖问题以及三重验证法,确保Tesla A100与CUDA 11.7的完美兼容。同时分享了Anaconda3离线部署技巧,帮助用户在隔离环境中高效搭建Python GPU开发环境。

weixin_27215337的博客 404

FPGA图像处理之直方图均衡实现

直方图均衡的基本原理,就是对在图像中像素个数多的灰度值(即对画面起主要作用的灰度值)进行拉伸,而对像素个数较少的灰度值(即对画面不起主要作用的灰度值)进行合并,从而提高对比度,使图像清晰,达到增强的目的。综合以上两个条件,累积分布函数是个好的选择,因为累积分布函数是单调增函数(控制大小关系),并且值域是0到1(控制越界问题),所以直方图均衡化中使用的是累积分布函数。

FZWzsl的博客 1429

易智联LM401模块学习(一)——初识Lora

Lora

weixin_46046597的博客 1057

解决k8s核心组件calico pod资源不创建问题

解决k8s核心组件calico pod资源不创建问题 1.问题描述 由于K8S集群Master节点故障,导致calico网络组件虽然处于Running状态,但是一直无法准备就绪,如下图所示 calico-node-lpt7h运行在master节点,第一时间紧急处理方法就是将其pod删除,让K8S自动重建该pod,使整个集群快速恢复 但是就当我将calico-node-lpt7h pod删除后,该pod始终无法自建,就好像是从来没有这个pod似的 2.解决方法 期初排查时,我觉得可能是由于当前master

江晓龙的博客 4808

调用魔搭API出现Please bind your Alibaba Cloud account before use的解决方案

本文主要介绍了调用魔搭API出现Please bind your Alibaba Cloud account before use解决方案,希望能对使用大模型的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案

weixin_43178406的博客 3万+

PyTorch生成式人工智能——VQ-VAE详解与实现

VQ-VAE (Vector Quantised-Variational AutoEncoder) 的核心思想就是将 VAE 的连续潜变量离散化。它通过学习一个码本 (Codebook) 来实现这一点,码本是一个包含有限个嵌入向量的字典。模型不是直接输出一个连续的潜在向量,而是从码本中找出与编码器输出最接近的嵌入向量来代替它。本节首先详细讲解 VQ-VAE 的技术原理,然后使用 PyTorch 从零开始实现 VQ-VAE 模型。

盼小辉丶的博客 3380

uniapp - 实现 App 端 “半屏幕“ 连续扫码功能,页面只有半个屏幕是扫码框并且可持续连续扫码获取数据(不使用官方 uni.scanCode API,因为无法连续扫码!)详细示例源码插件教程

uniapp app端实现半屏幕扫码,uniapp 扫一扫半个屏幕,uniapp 扫一扫,uniapp持续扫码实现,uniapp怎么自定义扫码和连续扫码,uni-app App端半屏连续扫码,uniapp 扫一扫半个屏幕,uniapp自定义扫码页面样式,实现连续扫码功能(uniapp),uniapp - 实现 App 端 "半屏幕" 连续扫码功能,页面只有半个屏幕是扫码框并且可持续连续扫码获取数据(不使用官方 uni.scanCode API,因为无法连续扫码!)详细示例源码插件教程。

✅ 精选推荐文章 1万+

ardupilot 日志分析《xKF1信息》

ardupilot 日志分析系列将会把ardupilot所有的日志文档进行分析,为我们分析无人机的运行状态,炸鸡原因,传感器状态,电机状态,控制信息,滤波信息做准备。本节主要分析xKF1日志信息,欢迎批评指正。学习好ardupilot必须会分析飞行日志,从飞行日志中我们可以学到很多无人机的知识。无人机是综合知识的体现,涵盖:导航、控制、滤波、算法、协议等各种知识,只有更全面的学习,才能在无人机的道路上越走越远。

陌城烟雨 1226

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

上一篇: 3.2 drm_mm 在 amdgpu bo 创建中的应用
下一篇: 3.3 drm_mm在amdgpu bo mmap中的应用
DeeplyMind
DeeplyMind 新星创作者: 嵌入式与硬件开发技术领域 新星创作者: 嵌入式与硬件开发技术领域
博客等级 码龄17年 2278粉丝 884原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值