ZYNQ #3 - Linux环境下在用户空间使用AXI-DMA进行传输

zynq 使用AXI_dma 传输==pl到ps,linux驱动开发,应用层处理DMA数据(一) zynq axi_dma pl到ps数据传输 axi_dma驱动 linux应用层使用dma 阅读详情
AI摘要

本文详细介绍了在Zynq平台上,使用Petalinux搭建环境并结合xilinx_axidma库实现AXI-DMA在Linux用户空间的零拷贝传输。文章涵盖从环境搭建、内核配置、设备树修改到模块编译的全过程。

本文使用Petalinux搭建相关linux环境,在vivado中搭建了一个简单的PS -> AXI-DMA -> AXI-FIFO -> AXI-DMA -> PS的测试环路。使用了国外开源的 xilinx_axidma 操作库,完成了用户空间上的AXI-DMA传输。使用库相对来说更加方便容易上手,不需要过多的了解linux设备驱动中如何调用DMA进行传输

目录

0 - 引言

1 - 准备工作

2 - 建立petalinux工程

3 - 配置Linux内核

4 - 避免U-boot从sd卡载入dtb时报错的问题

5 - 设备树的修改

6 - 生成

7 - 生成xilinx_axidma模块

8 - 运行

X - 附录

Ⅰ - 关于设备树中dma通道的device-id的实验


0 - 引言

先不谈如何实现用户空间的零拷贝DMA传输,光是Linux环境下的DMA传输就已经感觉比较棘手,一方面是对Linux了解不够深入,另一方面则是Linux在相关的使用说明方面的确没有比较好的官方支持。

Xilinx提供了一个AXI-DMA的IP核,其可以通过AXI-Lite进行配置,命令其从AXI高性能总线(HP)上直接的对内存数据进行读取存储,这一切在PS使用裸机时感觉是那么的简单,就如同之前在MCU上一般,调用库函数对DMA配置好起始、结束地址、传输大小及相关的即可。但是这一切到linux上则变得狰狞起来。复杂的基于DMA engine 的操作机制使得刚开始上手在zynq上使用linux系统操作AXI-DMA变得不那么简洁明了。

而到了实际应用中,用户往往是在用户空间申请一块内存区域,想要从PL端读一些数据到这个内存区域,或者是从这块内存区域写到PL端,如果直接的使用cpu进行搬运,则会耗费大量的时间,DMA是不可或缺的。

为了“避免”繁杂的linux下dma engine的操作,有的用户想到了是否可以只把AXI-DMA这个IP核的寄存器(挂载在AXI-Lite总线上)通过mmap的方式映射到内存中,然后像之前裸机上一样,对这块内存读写就直接配置AXI-DMA寄存器,完成了对AXI-DMA的配置操作(参考这个:https://forums.xilinx.com/t5/Embedded-Linux/AXI-DMA-with-Zynq-Running-Linux/m-p/522755?advanced=false&collapse_discussion=true&q=linux%20axi%20dma&search_type=thread)

但是,其也不可避免的从内核空间通过copy_to_usr来拷贝数据到用户空间,在大批量的数据时,这是很缓慢的一个过程。

幸好,有一个开源项目xilinx_axidma,实现了从用户空间使用AXI-DMA的零拷贝,并且将其封装为了库,这篇文章主要就是记录如何使用这个库的(https://github.com/bperez77/xilinx_axidma/tree/master)

要使用这个库,有几个需要注意的地方

  • 确保linux内核中,DMA相关项已开启
  • 配置CMA(continues memory area)空间大于25M(视项目需求决定)
  • 修改设备树引入axidma_chrdev,并确保各个dma通道id不重复

1 - 准备工作

  • 下载xilinx_axidma源文件:https://github.com/bperez77/xilinx_axidma/tree/master,并好好看看它的README
  • 已编译过的linux kernel,用于生成model(或者也可以用petalinux的module方式自己将xilinx_axidma添加进去,在petalinux生成时会自动编译生成module)

2 - 建立petalinux工程

建立一个petalinux工程,设置根文件系统从sd卡载入,使用外部linux。这些我之前的博客已经有记录,就这里不赘述了

然后,设置设备树dtb从sd卡里载入。这是为了调试时方便我们修改设备树后直接替换,默认是dtb会打包在uImage中。

Subsystem AUTO Hardware Settings -> Advanced boot...... -> dtb image settings ->选择primary sd

3 - 配置Linux内核

这里面需要确保DMA相关项开启。一般如果vivado工程中含有AXI-DMA 的IP核,在petalinux-config -c kernel的时候会发现基本相关项都已经开启。

这里用一个小技巧,我们在menuconfig中选保存,自己定一个保存名(例如alinx_sgdma_linux_defconfig),保存一下,不要退出,去你petalinux工程项目文件下搜索这个文件名,将其复制出来(我们之后为了编译模块也会用到它),按照github上的要求检查以下项目是否选y了(删除线的不需要检查,这个库是17年写的,但是现在xilinx的linux代码分支已经使用到2018,这些相关配置项已经不在了)

  • CONFIG_CMA=y
  • CONFIG_DMA_CMA=y
  • CONFIG_XILINX_DMAENGINES=y
  • CONFIG_XILINX_AXIDMA=y
  • CONFIG_XILINX_AXIVDMA=y
  • CONFIG_DMA_SHARED_BUFFER=y

记得,在menuconfig中再选保存,将文件名命名回.config,以供petalinux正确生成linux

DMA相关设置完毕后,我们还需要配置CMA

Device Drivers -> Generic Driver Options -> Default contiguous memory area size 的 Size in Mega Bytes修改为25

CMA的修改不要在petalinux-config这个总的对于petalinux工程配置中修改bootargs,这个是自动生成的,手动修改是不会保存的(NO EDIT!)

DTG Settings -> Kernel Bootargs

4 - 避免U-boot从sd卡载入dtb时报错的问题

如果不修改这里,在uboot启动时可能会出现下面的警告

Unknown command 'booti' - try 'help'

解决方法可以参考这篇文章:https://forums.xilinx.com/t5/Embedded-Linux/Zedboard-Unknown-command-booti-PetaLinux/m-p/899108

The problem is the bootm becoming booti. As a workaround, I tried redefining default_bootcmdin a uEnv.txt on my SD card. I can see the variable has updated by running printenv in U-Boot, but the original default still seems to get loaded at startup and the booti error appears. Annoyingly, just doing run default_bootcmd after the initial error results in a normal boot using the default defined in uEnv.txt. I'm guessing there is some kind of env loading order problem. If anyone can let me know why uEnv.txt gets ignored, I would be keen to know!

在petalinux的工作目录下 alinx_sgdma_linux/project-spec/meta-user/recipes-bsp/u-boot/files/platform-top.h 文件末尾加入下面的代码

/* Due to a bug where having u-boot load dtb from SD card causes the boot
 * command to default to using booti instead of bootm on Zynq, the defult build
 * fails to boot. This boot command override is a temporary workaround.
*/
#ifdef CONFIG_BOOTCOMMAND
#undef CONFIG_BOOTCOMMAND
#define CONFIG_BOOTCOMMAND    "run uenvboot; run cp_kernel2ram && run cp_dtb2ram && bootm ${netstart} - ${dtbnetstart}"
#endif

5 - 设备树的修改

先运行一下生成pl相关的设备树(这是可选项,只是为了方便修改dtsi时看看pl.dtsi里的节点名)

$ petalinux-config -c device-tree

我们需要修改设备树的主要有两个点:1.加入axidma_chardev 2.修改各个dma通道的device-id不重复。

我这里有两个dma通道(一个发到FIFO,一个从FIFO接回来),我把他们的device-id分别修改为0和1

在project-spec/meta-user/recipes-bsp/device-tree/files/system-user.dtsi中加入

/include/ "system-conf.dtsi"
/{
};

&amba_pl{
    axidma_chrdev: axidma_chrdev@0 {
            compatible = "xlnx,axidma-chrdev";
            dmas = <&axi_dma_0 0 &axi_dma_0 1>;
            dma-names = "tx_channel", "rx_channel";
    };
};

&axi_dma_0{
    dma-channel@40400000 {
        xlnx,device-id = <0x0>;
    };
    dma-channel@40400030 {
        xlnx,device-id = <0x1>;
    };
};

这里使用的设备树的引用覆盖的方法来修改device-id

注意:直接在网页复制上面的代码可能会存在符号问题,强烈建议手动输入,或者复制之后确认所有的缩进均是使用TAB键键入的制表符

6 - 生成

$ petalinux-build -c kernel

$ petalinux-build -c device-tree

$ petalinux-build -c fsbl

$ petalinux-build -c u-boot

$ petalinux-package --boot --fsbl --fpga --u-boot --force

这样在images目录下就会生成我们需要的uImage、system.dtb以及BOOT.BIN,为了确保设备树修改完好,我们这里先反编译一下设备树,生成system.dts,查看里面是否我们要修改的东西都已经修改好了(需要device-tree-compiler)。

在system.dtb文件的目录下运行

dtc -I dtb -O dts -o system.dts system.dtb

打开ststem.dts,我们可以看到已经修改完毕

将 uImage、system.dtb、BOOT.BIN拷到SD卡的FAT分区(从SD卡启动,根文件系统已经部署好在SD卡,参考我前面的文章)待用。

7 - 生成xilinx_axidma模块

如果你是将xilinx_axidma作为了petalinux的自定义方式module生成的话,可以跳过这个步骤。(如何在petalinux中编译linux时直接生成所需的模块或者应用程序参考UG1144,针对xilinx_axidma,可以看这篇文章https://github.com/bperez77/xilinx_axidma/issues/24)

petalinux编译linux时是在一个临时文件夹中编译的,编译完毕之后立刻便清除了生成的文件,这也导致我们无法利用其来编译模块。还记得我们前面在第3步里抢救保存下来的deconfig吗?我们可以到linux源码文件夹下,将alinx_sgdma_linux_defconfig放置在 arch/arm/configs中,运行下面代码生成 .config

make ARCH=arm alinx_sgdma_linux_defconfig

然后 运行下面代码,编译linux,这样我们就能够得到能编译模块的工具了。

make ARCH=arm CROSS_COMPILE=arm-linux-gnueabihf- -j8

进入到下载的xilinx_axidma源码目录,使用交叉编译链,定位到kernel(已经编译好的)的路径,编译xilinx_axidma的driver

make CROSS_COMPILE=arm-linux-gnueabihf- ARCH=arm KBUILD_DIR=已编译好的kernel的路径 driver

再编译xilinx_axidma的例程

make CROSS_COMPILE=arm-linux-gnueabihf- ARCH=arm examples

编译完成后,生成的文件都在xilinx_axidma的output文件夹下

将生成的文件拷贝到开发板的根文件系统中。

8 - 运行

启动开发板,进入到我们存放的xilinx_axidma的output文件夹下

这里testsrc.txt和testdst.txt是用来做测试的文本文件,testdst.txt是空的,testsrc.txt是我之前写的流水灯脚本文件,这里拿来测试一下,不需要运行。

X - 附录

Ⅰ - 关于设备树中dma通道的device-id的实验

讲实话,我并没有很看懂xilinx_axidma的README.md中关于 dmas 和 dma-names 的描述

  • dmas - A list of phandles (references to other device tree nodes) of Xilinx AXI DMA or VDMA device tree nodes, followed by either 0 or 1. This refers to the child node inside of the Xilinx AXI DMA/VDMA device tree node, 0 of course being the first child node.

而我在运行样例测试 axidma_transfer 的时候,发现其代码中通过 axidma_get_dma_tx 和 axidma_get_dma_rx 获得的通道id显示的是0和1。这是因为我设备树中设置这两个为0和1导致的还是因为什么,于是我做了一下修改设备树的实验。

将发送通道的id修改为1,接收通道的id修改为0,发现代码中获取正常,传输文件正常

将发送通道的id修改为4,接收通道的id修改为3,代码中获取正常,传输文件失败。

 

AXI DMA File Transfer Info:
Transmit Channel: 4
Receive Channel: 3
Input File Size: 0.00 MiB
Output File Size: 0.00 MiB

axidma_transfer: library/libaxidma.c:193: axidma_callback: Assertion `0 <= siginfo->si_int && siginfo->si_int < axidma_dev.num_channels' failed.

这说明当我们的硬件设计中出现多个dma(例如有vdma到hdmi接口,又有两个dma来进行数据交互)的时候,我们是可以通过id来选择通道的。但是,依照xilinx_axidma的github中README的关于device-id的介绍,说其可以取任何值,只要不重复就可以,但是我设置发送和接收通道分别为4和3时,却提示错误,

参考这个:https://github.com/bperez77/xilinx_axidma/issues/78

I use AXI-DMA(rx&tx) and VDMA(rx&tx).writting device tree as:
axivdma_chrdev: axivdma_chrdev@0 {/* github */
compatible = "xlnx,axidma-chrdev";
dmas = <&axi_vdma_0 0
&axi_vdma_0 1
&axi_dma_0 0
&axi_dma_0 1>;
dma-names = "vdma_tx_channel", "vdma_rx_channel", "dma_tx_channel", "dma_rx_channel";
xlnx,num-fstores = <0x3>;
};
And I have to change "xlnx,device-id" in &axi_vdma_0 and &axi_dma_0.

fix:更加详细的说明https://github.com/bperez77/xilinx_axidma/issues/57

救救穷学生,5毛买个辣条也可

 

xilinx_axidma 驱动移植与使用 需要在ZYNQ平台上使用DMA驱动,裸机的还到好说,Linux下的DMA驱动框架复杂,这对本身不是搞驱动的我难度太大。自己动手丰衣足食,但是试错成本很大,记录下来希望能给后来者帮助。 阅读详情

相关推荐

ZYNQ跑系统 系列(四) AXI-DMA的linux下运行

AXI-DMA的linux驱动 一、搭建硬件环境 vivado版本2017.4,芯片为7010,不过不管什么版本和芯片大致步骤是一样的 硬件平台PL的搭建同ZYNQ基础系列(六) DMA基本用法,在这个工程的基础上添加SD卡(根据自己的开发板硬件选择相应的引脚) 然后直接生成bit文件,然后记得要导出硬件(包含bit文件)进SDK 二、生成设备树 1.解压设备树工具文件夹到一个地方...

long_fly的博客 3万+

数据库该不该用外键

外键这个东西让多少程序员又爱又恨,虽然高效的保证了数据库的完整性,一度让我们觉得有了它,维护数据库是多么幸福的一件事情,我们不需要写那么多繁琐的代码来保证数据的完整性。可是随着我们的系统逐渐庞大,我们又发现它给我们带来了不少麻烦,复杂度、性能都受到了影响,于是我们就产生了到底该不该用外键的疑问。 不管是我们做程序设计的,还是社会上的各行各业,或是任何一件事情都是有一个度的约束。上学的时候政

纬纬的专栏 3008

ZYNQ AXI DMA零拷贝实战:用mmap在用户空间玩转高速数据传输

本文深入探讨了ZYNQ平台上AXI DMA零拷贝技术的实现方法,通过mmap机制在用户空间直接操作DMA缓冲区,显著提升数据传输效率。详细解析了AXI DMA架构、Petalinux环境配置、xilinx_axidma库移植及性能优化技巧,帮助开发者突破嵌入式系统中的数据传输性能瓶颈。

weixin_30905981的博客 484

ZYNQ系列(十二)linux的DMA使用

ZYNQ系列(十二)linux的DMA使用 文章目录ZYNQ系列(十二)linux的DMA使用前言 前言

qq_26849933的博客 1万+

ZYNQ AXI DMA性能实测:在Linux用户空间用xilinx_axidma库实现零拷贝,速度提升多少?

本文深入解析了在Xilinx ZYNQ平台上使用AXI DMA实现Linux用户空间零拷贝的性能优化方案。通过实测数据对比,用户空间DMA方案相比传统CPU拷贝和内核DMA,性能提升显著,尤其在处理大数据块时可达402.6MB/s。文章详细介绍了xilinx_axidma库的部署步骤、设备树配置及性能优化技巧,为嵌入式系统开发提供了一套高效的DMA应用实践。

weixin_42532938的博客 295

ZYNQ Linux DMA实战:用户空间零拷贝传输全解析

本文详细解析了ZYNQ Linux环境下DMA零拷贝传输的实现方法,通过CMA内存分配、mmap映射和字符设备接口技术,显著提升数据传输效率。文章包含硬件配置、内核定制、驱动编译及性能优化等实战指南,适用于需要高效数据处理的嵌入式开发场景。

weixin_30566111的博客 282

zynq操作系统: Linux驱动开发AXIDMA篇

前言    由于bram形式的速率限制,在同样紧急的时间条件下,还是改回了axidma的方式来降维打击,对于几兆的速率,颇有种杀鸡用牛刀的感觉,没办法,原来的刀就是差一点,牛刀好用是好用但是终究得提升一点内功 裸机下的DMA相对是比较简单的,参考之前裸板对于DMA的操作,而对于LINUX下,只能说苦不堪言。先不谈如何实现用户空间的零拷贝DMA传输,光是Linux环境下的DMA传输就已经感觉比较棘手,一方面是对Linux了解不够深入,另一方面则是Linux在相关的使用说明方面的确没有比较好的官方支持。   

同步更新https://blog.must-xin.com/,内容转载请联系作者本人 1万+

ZYNQ Linux实战:手把手教你用AXI DMA实现高速数据传输(附常见错误排查)

本文详细介绍了在ZYNQ平台上使用AXI DMA实现高速数据传输的全流程,包括硬件配置、Linux驱动编译、用户空间操作及常见错误排查。特别针对CMA不足、超时错误等高频问题提供了实用解决方案,帮助开发者优化数据传输性能,适用于嵌入式系统开发中的高性能应用场景。

weixin_30632089的博客 450

ZYNQ #4 - Linux环境下使用AXI-DMA读取PL外接ADC

该篇文章是上一篇博客(https://blog.csdn.net/sements/article/details/90230188)的实际应用版本。在上篇中我们只是在PL端搭建了一个简单的AXI-DMA回环数据流进行测试,在该篇博客中,我们将实际的使用AXI-DMA这个IP核,使用xilinx_axidma库对一个挂载在PL端的ADC(AD7606,黑金的拓展子卡称为AN706)使用DMA进行数...

里先森 1万+

AXI DMA SG模式背后的数据流革命:从链表管理到高效传输

本文深入解析AXI DMA SG模式在嵌入式系统中的高效数据传输机制,重点探讨描述符链表管理、硬件架构优化及Linux内核实现。通过Vivado配置和性能对比,揭示SG模式在零拷贝传输、自动化流水等方面的优势,为开发者提供从理论到实践的全面指导。

weixin_29171087的博客 648

ZYNQ7045实战:如何用AXI总线实现PS与PL的高效数据交互(附工程源码)

本文深入探讨了Xilinx ZYNQ7045平台中AXI总线在PS与PL高效数据交互中的关键应用。通过详细分析AXI4-Lite、AXI4和AXI4-Stream三种协议的选型策略、带宽优化技巧及Vivado工程配置实战,为开发者提供了一套完整的解决方案。文章包含可直接复用的代码片段和Linux驱动实现,特别适合需要提升异构系统性能的工程师参考。

ll5678的博客 1103

ZYNQ7000 #3 - Linux环境下在用户空间使用AXI-DMA进行传输

本文使用Petalinux搭建相关linux环境,在vivado中搭建了一个简单的PS -> AXI-DMA -> AXI-FIFO -> AXI-DMA -> PS的测试环路。使用了国外开源的 xilinx_axidma 操作库,完成了用户空间上的AXI-DMA传输。使用库相对来说更加方便容易上手,不需要过多的了解linux设备驱动中如何调用DMA进行传输 目录 0 -...

weixin_42278284的博客 1934

Zynq MPSoC PS侧PCIe互连与DMA传输实战

PCIe作为一种高速串行总线标准,在异构计算系统中扮演着关键角色。其采用分层架构(事务层、数据链路层和物理层)实现高带宽、低延迟的数据传输。在AMD Zynq UltraScale+ MPSoC平台中,处理系统(PS)侧集成的PCIe控制器为开发者提供了硬件加速与通用计算的融合方案。通过合理配置RC(根复合体)和EP(端点设备)模式,配合Linux DMA引擎框架,可实现接近理论带宽的数据传输。这种技术方案特别适用于分布式信号处理、高速数据采集等场景,实测显示在PCIe Gen3 x4链路上可达3.5GB/

weixin_33724059的博客 418

ZYNQ #SP1 - Linux emmc boot with AXI-DMA loop test

本篇是综合工程,将较为详细的讲解如何利用vivado搭建一个AXI-DMA环通测试环境,并使用petalinux进行linux系统的部署。以QSPI的启动方式唤起emmc fat分区中的linux内核系统,并挂载emmc ext4分区中的根文件系统。同时,使用xilinx-axidma库进行AXI-DMA的环通测试 目录 0 - 准备工作 1 - VIVADO工程 2 - petali...

里先森 2024

ZYNQ中AXI-DMA高速数据通路实战:PL-PS协同设计与Linux驱动调优

AXI-DMA是ZYNQ平台实现PL(FPGA逻辑)与PS(ARM处理器)高效数据交互的核心机制,其本质是基于AXI总线协议的硬件级DMA引擎,绕过CPU直接完成DDR内存与流式外设间的数据搬运。原理上依赖地址空间映射、DMA一致性内存管理、中断协同及Scatter-Gather描述符链表调度,技术价值在于释放CPU负载、保障实时性、支撑高吞吐(如AD9361射频采样达120MB/s以上)。典型应用场景涵盖软件定义无线电(SDR)、高速图像采集、实时信号处理等嵌入式AI边缘系统。本文聚焦ZYNQ Linux

weixin_34221073的博客 375

xilinx-axidma 驱动模块 petalinux2020

xilinx-axidma petalinux2020,使用说明参见《xilinx_axidma 驱动移植与使用》 包含测试例程hello_dma

ZYNQ PL-PS AXI-DMA在Linux系统层的工程落地实践

AXI-DMA是ZYNQ异构平台实现PL与PS高效数据搬运的核心硬件机制,其本质是通过专用DMA引擎绕过CPU完成物理内存直传,解决轮询和软件拷贝导致的带宽瓶颈与高CPU占用问题。技术价值在于支撑百MB/s级实时数据流(如AD9361采样、图像预处理),保障Linux系统下中断响应、内存一致性与多任务调度能力。典型应用场景涵盖嵌入式信号采集、边缘AI推理前/后端数据通路、高速接口桥接等。本文聚焦AXI-DMA在Petalinux环境下的完整工程闭环——从Vivado IP配置、设备树精准描述、CMA内存池调

weixin_33924220的博客 345

xilinx_axidma-master.rar_ZYNQ7000_axidma_chrdev_axidma测试_xilinx

zynq7000的AXI4S-DMA的驱动及测试程序

上一篇: 设备树学习(实用型文档)
下一篇: ZYNQ #4 - Linux环境下使用AXI-DMA读取PL外接ADC
里先森
博客等级 码龄13年 462粉丝 57原创
评论 85
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值