RK3588 与 FPGA 的 PCIe 通信驱动开发

驱动加载

[root@rk3588-buildroot /opt/00_test/pcie]# insmod xdma.ko
[   20.349214] xdma: loading out-of-tree module taints kernel.
[   20.351795] xdma:xdma_mod_init: Xilinx XDMA Reference Driver xdma v2020.2.2
[   20.351818] xdma:xdma_mod_init: desc_blen_max: 0xfffffff/268435455, timeout: h2c 10 c2h 10 sec.
[   20.352450] xdma:xdma_device_open: xdma device 0000:01:00.0, 0x00000000405154b7.
[   20.352498] xdma 0000:01:00.0: enabling device (0000 -> 0002)
[   20.352599] xdma:map_single_bar: BAR0 at 0xf0200000 mapped at 0x00000000708655f0, length=1048576(/1048576)
[   20.352616] xdma:map_single_bar: BAR1 at 0xf0300000 mapped at 0x000000006b5b942f, length=65536(/65536)
[   20.352625] xdma:map_bars: config bar 1, pos 1.
[   20.352633] xdma:identify_bars: 2 BARs: config 1, user 0, bypass -1.
[   20.354467] xdma:pci_keep_intx_enabled: 0000:01:00.0: clear INTX_DISABLE, 0x406 -> 0x6.
[   20.354548] xdma:probe_one: 0000:01:00.0 xdma0, pdev 0x00000000405154b7, xdev 0x00000000a58ffaf7, 0x00000000cc9a9c39, usr 16, ch 2,2.
[   20.358004] xdma:cdev_xvc_init: xcdev 0x0000000005eef4e4, bar 0, offset 0x40000.

设备节点

[root@rk3588-buildroot /opt/00_test/pcie]# ls /dev/xdma0_* -lh
crw------- 1 root root 234, 36 Jan 1 08:00 /dev/xdma0_c2h_0
crw------- 1 root root 234, 37 Jan 1 08:00 /dev/xdma0_c2h_1
crw------- 1 root root 234, 1 Jan 1 08:00 /dev/xdma0_control
crw------- 1 root root 234, 10 Jan 1 08:00 /dev/xdma0_events_0
crw------- 1 root root 234, 11 Jan 1 08:00 /dev/xdma0_events_1
crw------- 1 root root 234, 20 Jan 1 08:00 /dev/xdma0_events_10
crw------- 1 root root 234, 21 Jan 1 08:00 /dev/xdma0_events_11
crw------- 1 root root 234, 22 Jan 1 08:00 /dev/xdma0_events_12
crw------- 1 root root 234, 23 Jan 1 08:00 /dev/xdma0_events_13
crw------- 1 root root 234, 24 Jan 1 08:00 /dev/xdma0_events_14
crw------- 1 root root 234, 25 Jan 1 08:00 /dev/xdma0_events_15
crw------- 1 root root 234, 12 Jan 1 08:00 /dev/xdma0_events_2
crw------- 1 root root 234, 13 Jan 1 08:00 /dev/xdma0_events_3
crw------- 1 root root 234, 14 Jan 1 08:00 /dev/xdma0_events_4
crw------- 1 root root 234, 15 Jan 1 08:00 /dev/xdma0_events_5
crw------- 1 root root 234, 16 Jan 1 08:00 /dev/xdma0_events_6
crw------- 1 root root 234, 17 Jan 1 08:00 /dev/xdma0_events_7
crw------- 1 root root 234, 18 Jan 1 08:00 /dev/xdma0_events_8
crw------- 1 root root 234, 19 Jan 1 08:00 /dev/xdma0_events_9
crw------- 1 root root 234, 32 Jan 1 08:00 /dev/xdma0_h2c_0
crw------- 1 root root 234, 33 Jan 1 08:00 /dev/xdma0_h2c_1
crw------- 1 root root 234, 0 Jan 1 08:00 /dev/xdma0_user
crw------- 1 root root 234, 2 Jan 1 08:00 /dev/xdma0_xvc

xdma0_c2h: Card to Host，有两个通道。 xdma0_h2c: Host to Card，有两个通道。 xdma0_control: 对应 DMA 相关的 BAR1 (BAR1 at 0xf0300000)。 xdma0_user: 对应自定义的 BAR0 (BAR0 at 0xf0200000)。 xdma0_events: 自定义中断事件，通常由 Card 触发 GPIO 拉高，进而触发 PCIe 中断通知 Host，驱动响应中断并判断相关 Event 中断寄存器。需要 Card 配合使用。

关键 API 解读

if (aperture)
{
    struct xdma_aperture_ioctl io;
    io.buffer = (unsigned long)buffer;
    io.len = size;
    io.ep_addr = addr;
    io.aperture = aperture;
    io.done = 0UL;
    rc = ioctl(fpga_fd, IOCTL_XDMA_APERTURE_R, &io);
    if (rc < 0 || io.error)
    {
        log_pcie("aperture R failed %d,%d.\n", rc, io.error);
        goto out;
    }
    bytes_done = io.done;
}
else
{
    rc = read_to_buffer(devname, fpga_fd, buffer, size, addr);
    if (rc < 0)
        goto out;
    bytes_done = rc;
}

测试表明 aperture 接口传输速度较慢，后续未采用。主要使用 read_to_buffer 和 write_from_buffer。注意最后的 addr 是 Card 端地址（如 FPGA DDR 地址）。

reg_rw 工具移植到代码里的修改：

1. 第一次尝试：只 map 一次，在 map 上偏移地址读取 BAR0 值，发现无法正确读取，推测未映射到 BAR0。
2. 第二次尝试：每次读写寄存器先 mmap，再指针操作，最后 unmap，仍不行。
3. 第三次尝试：参考海思工具 himm，先获取 BAR0 物理地址，每次操作该 BAR 空间内存时先 open /dev/mem，然后 mmap 并偏移，操作完后 unmap、close。此方式与 reg_rw 工具操作结果一致。

数据传输机制： H2C 和 C2H 的数据传输中，Host 和 Card 之间通过 User (BAR0) 传递控制信息，大数据则通过 DMA 传输。