全志 V85x E907 RISC-V小核开发与使用
v85x 平台包括了 V853, V853s, V851s, V851se。 s后缀代表芯片内封了DDR内存，e后缀代表芯片内封 ephy。拥有 Cortex-A7 core@900MHz, RISC-V@600MHz 和一个 0.5TOPS（VIP9000PICO_PID0XEE, 567MACS, 576 x 348M x 2 ≈ 500GOPS） 的 NPU。其中的 RISC-V 小核心为 平头哥玄铁E907E907 平台玄铁E907 是一款完全可综合的高端 MCU 处理器。它兼容 RV32IMAC 指令集，提供可观的整型性能提升以及高能效的浮点性能。E907 的主要特性包括：单双精度浮点单元，以及快速中断响应。https://bbs.aw-ol.com/assets/uploads/files/1677222896251-934bf475-964e-4113-b4ac-9a19c4bc8783-%E5%9B%BE%E7%89%87.png在V85x平台中使用的E907为RV32IMAC，不包括 P 指令集。V85x 平台框图V851shttps://bbs.aw-ol.com/assets/uploads/files/1677222903304-73aadf95-c5e3-48af-8e4b-7fe8c0b22391-%E5%9B%BE%E7%89%87.png芯片架构图https://bbs.aw-ol.com/assets/uploads/files/1677222910134-4abb0717-8f54-40c3-a7fb-fd876d4d9afd-%E5%9B%BE%E7%89%87.png相关内存分布https://bbs.aw-ol.com/assets/uploads/files/1677222917167-0deca913-2fca-415f-bd7b-1d9e9eb71d82-%E5%9B%BE%E7%89%87.pnghttps://bbs.aw-ol.com/assets/uploads/files/1677222926729-034997ed-c9bb-489d-a5c4-0ffabdba6610-%E5%9B%BE%E7%89%87.pngE907 子系统框图https://bbs.aw-ol.com/assets/uploads/files/1677222942096-d457b549-0491-4a17-8f3f-69b90b088ccf-%E5%9B%BE%E7%89%87.png具体的寄存器配置项这里就不过多介绍了，具体可以参考数据手册《V851S&V851SE_Datasheet_V1.0.pdf》V853 的异构系统通讯在硬件上使用的是 MSGBOX，在软件层面上使用的是 AMP 与 RPMsg 通讯协议。其中 A7 上基于 Linux 标准的 RPMsg 驱动框架，E907基于 OpenAMP 异构通信框架。AMP 与 RPMSGV853 所带有的 A7 主核心与 E907 辅助核心是完全不同的两个核心，为了最大限度的发挥他们的性能，协同完成某一任务，所以在不同的核心上面运行的系统也各不相同。这些不同架构的核心以及他们上面所运行的软件组合在一起，就成了 AMP 系统 （Asymmetric Multiprocessing System, 异构多处理系统）。由于两个核心存在的目的是协同的处理，因此在异构多处理系统中往往会形成 Master - Remote 结构。主核心启动后启动从核心。当两个核心上的系统都启动完成后，他们之间就通过 IPC（Inter Processor Communication）方式进行通信，而 RPMsg 就是 IPC 中的一种。在AMP系统中，两个核心通过共享内存的方式进行通信。两个核心通过 AMP 中断来传递讯息。内存的管理由主核负责。https://bbs.aw-ol.com/assets/uploads/files/1677222969930-1c17ca43-f978-418c-b415-d9fcf203c195-%E5%9B%BE%E7%89%87.png软件适配这部分使用BSP开发包即可，配置设备树如下：reserved-memory { // 配置预留内存区间 e907_dram: riscv_memserve { // riscv 核心使用的内存 reg = <0x0 0x43c00000 0x0 0x00400000>;// 起始地址 0x43c00000 长度 4MB no-map; }; vdev0buffer: vdev0buffer@0x43000000 { // vdev设备buffer预留内存 compatible = "shared-dma-pool"; reg = <0x0 0x43000000 0x0 0x40000>; no-map; }; vdev0vring0: vdev0vring0@0x43040000 { // 通讯使用的vring设备0 reg = <0x0 0x43040000 0x0 0x20000>; no-map; }; vdev0vring1: vdev0vring1@0x43060000 { // 通讯使用的vring设备1 reg = <0x0 0x43060000 0x0 0x20000>; no-map; };};e907_rproc: e907_rproc@0 { // rproc相关配置 compatible = "allwinner,sun8iw21p1-e907-rproc"; clock-frequency = <600000000>; memory-region = <&e907_dram>, <&vdev0buffer>, <&vdev0vring0>, <&vdev0vring1>; mboxes = <&msgbox 0>; mbox-names = "mbox-chan"; iommus = <&mmu_aw 5 1>; memory-mappings = /* DA len PA */ /* DDR for e907*/ < 0x43c00000 0x00400000 0x43c00000 >; core-name = "sun8iw21p1-e907"; firmware-name = "melis-elf"; status = "okay";};rpbuf_controller0: rpbuf_controller@0 { // rpbuf配置 compatible = "allwinner,rpbuf-controller"; remoteproc = <&e907_rproc>; ctrl_id = <0>; /* index of /dev/rpbuf_ctrl */ iommus = <&mmu_aw 5 1>; status = "okay";};rpbuf_sample: rpbuf_sample@0 { compatible = "allwinner,rpbuf-sample"; rpbuf = <&rpbuf_controller0>; status = "okay";};msgbox: msgbox@3003000 { // msgbox配置 compatible = "allwinner,sunxi-msgbox"; #mbox-cells = <1>; reg = <0x0 0x03003000 0x0 0x1000>, <0x0 0x06020000 0x0 0x1000>; interrupts = <GIC_SPI 0 IRQ_TYPE_LEVEL_HIGH>, <GIC_SPI 1 IRQ_TYPE_LEVEL_HIGH>; clocks = <&clk_msgbox0>; clock-names = "msgbox0"; local_id = <0>; status = "okay";};e907_standby: e907_standby@0 { compatible = "allwinner,sunxi-e907-standby"; firmware = "riscv.fex"; mboxes = <&msgbox 1>; mbox-names = "mbox-chan"; power-domains = <&pd V853_PD_E907>; status = "okay";};内存划分在设备树配置小核心使用的内存，包括小核自己使用的内存，设备通信内存，回环内存等等，这里E907 运行在 DRAM 内。内存起始地址可以在数据手册查到。https://bbs.aw-ol.com/assets/uploads/files/1677222987986-d4ade8f6-b9ca-4c6e-9797-a8738a9047a5-%E5%9B%BE%E7%89%87.png通常来说我们把内存地址设置到末尾，例如这里使用的 V851s，拥有 64MByte 内存，则内存范围为 0x40000000 - 0x44000000，这里配置到 0x43c00000 即可。对于 V853s 拥有 128M 内存则可以设置到 0x47C00000，以此类推。对于交换区内存则可以配置在附近。reserved-memory { // 配置预留内存区间 e907_dram: riscv_memserve { // riscv 核心使用的内存 reg = <0x0 0x43c00000 0x0 0x00400000>;// 起始地址 0x43c00000 长度 4MB no-map; }; vdev0buffer: vdev0buffer@0x43000000 { // vdev设备buffer预留内存 compatible = "shared-dma-pool"; reg = <0x0 0x43000000 0x0 0x40000>; no-map; }; vdev0vring0: vdev0vring0@0x43040000 { // 通讯使用的vring设备0 reg = <0x0 0x43040000 0x0 0x20000>; no-map; }; vdev0vring1: vdev0vring1@0x43060000 { // 通讯使用的vring设备1 reg = <0x0 0x43060000 0x0 0x20000>; no-map; };};然后需要配置下 e907 的链接脚本，找到 e907_rtos/rtos/source/projects/v851-e907-lizard/kernel.lds 将 ORIGIN 配置为上面预留的内存。MEMORY{ /*DRAM_KERNEL: 4M */ DRAM_SEG_KRN (rwx) : ORIGIN = 0x43c00000, LENGTH = 0x00400000}然后配置小核的 defconfig 位于 e907_rtos/rtos/source/projects/v851-e907-lizard/configs/defconfig 配置与其对应即可。CONFIG_DRAM_PHYBASE=0x43c00000CONFIG_DRAM_VIRTBASE=0x43c00000CONFIG_DRAM_SIZE=0x0400000配置启动小核配置启动小核的流程如下，这里只讨论使用 linux 启动小核的情况，不讨论快启相关。https://bbs.aw-ol.com/assets/uploads/files/1677223003597-b3d48344-f6d4-41a2-8e3b-aaf91eb8aef8-%E5%9B%BE%E7%89%87.png[*]加载固件
[*]调用 firmware 接口获取文件系统中的固件
[*]解析固件的 resource_table 段，该段有如下内容
[*]声明需要的内存（Linux 为其分配，设备树配置）
[*]声明使用的 vdev（固定为一个）
[*]声明使用的 vring（固定为两个）
[*]将固件加载到指定地址
[*]注册 rpmsg virtio 设备
[*]提供 vdev->ops（基于 virtio 接口实现的）
[*]与 rpmsg_bus 驱动匹配，完成 rpmsg 初始化
[*]启动小核
[*]调用 rproc->ops->start
1. 加载固件驱动位于 kernel/linux-4.9/drivers/remoteproc/sunxi_rproc_firmware.c首先调用 sunxi_request_firmware 函数int sunxi_request_firmware(const struct firmware **fw, const char *name, struct device *dev){ int ret, index; struct firmware *fw_p = NULL; u32 img_addr, img_len; ret = sunxi_find_firmware_storage(); if (ret < 0) { dev_warn(dev, "Can't finded boot_package head\n"); return -ENODEV; } index = ret; ret = sunxi_firmware_get_info(dev, index, name, &img_addr, &img_len); if (ret < 0) { dev_warn(dev, "failed to read boot_package item\n"); ret = -EFAULT; goto out; } ret = sunxi_firmware_get_data(dev, index, img_addr, img_len, &fw_p); if (ret < 0) { dev_err(dev, "failed to read Firmware\n"); ret = -ENOMEM; goto out; } *fw = fw_p;out: return ret;}驱动会从固件的特定位置读取，使用函数 sunxi_find_firmware_storage，这里会去固定的位置查找固件，位置包括 lib/firmware，/dev/mtd0. /dev/mtd1, /dev/mmcblk0 等位置。对于Linux启动我们只需要放置于 lib/firmware 即可。static int sunxi_find_firmware_storage(void){ struct firmware_head_info *head; int i, len, ret; loff_t pos; const char *path; u32 flag; len = sizeof(*head); head = kmalloc(len, GFP_KERNEL); if (!head) return -ENOMEM; ret = sunxi_get_storage_type(); for (i = 0; i < ARRAY_SIZE(firmware_storages); i++) { path = firmware_storages.path; pos = firmware_storages.head_off; flag = firmware_storages.flag; if (flag != ret) continue; pr_debug("try to open %s\n", path); ret = sunxi_firmware_read(path, head, len, &pos, flag); if (ret < 0) pr_err("open %s failed,ret=%d\n", path, ret); if (ret != len) continue; if (head->magic == FIRMWARE_MAGIC) { kfree(head); return i; } } kfree(head); return -ENODEV;}2. 配置时钟配置clk与小核的 boot 选项，驱动位于kernel/linux-4.9/drivers/remoteproc/sunxi_rproc_boot.c 可以自行参考struct sunxi_core *sunxi_remote_core_find(const char *name);int sunxi_core_init(struct sunxi_core *core);void sunxi_core_deinit(struct sunxi_core *core);int sunxi_core_start(struct sunxi_core *core);int sunxi_core_is_start(struct sunxi_core *core);int sunxi_core_stop(struct sunxi_core *core);void sunxi_core_set_start_addr(struct sunxi_core *core, u32 addr);void sunxi_core_set_freq(struct sunxi_core *core, u32 freq);使用 DEBUGFS 加载固件由于已经对外注册了接口，这里只需要使用命令即可启动小核心。假设小核的elf名字叫e907.elf 并且已经放置进 lib/firmware 文件夹echo e907.elf > /sys/kernel/debug/remoteproc/remoteproc0/firmwareecho start > /sys/kernel/debug/remoteproc/remoteproc0/stateE907 小核开发这里提供了一个 RTOS 以供开发使用，此 RTOS 基于 RTT 内核。地址 https://github.com/YuzukiHD/Yuzukilizard/tree/master/Software/BSP/e907_rtos同时，docker 镜像内也已包含此开发包，可以直接使用。搭建开发环境使用 DOCKER直接拉取 gloomyghost/yuzukilizard 即可 docker pull gloomyghost/yuzukilizardhttps://bbs.aw-ol.com/assets/uploads/files/1677223093937-d149f7d8-56be-4d35-b90c-9d0ed5b87216-%E5%9B%BE%E7%89%87.png独立搭建开发环境使用 git 命令下载（不可以直接到 Github 下载 zip，会破坏超链接与文件属性）git clone --depth=1 https://github.com/YuzukiHD/Yuzukilizard.githttps://bbs.aw-ol.com/assets/uploads/files/1677223116518-88163ab7-2efc-449c-9d51-dfd884b61537-%E5%9B%BE%E7%89%87.png然后复制到当前目录下 cp -rf Yuzukilizard/Software/BSP/e907_rtos/ . && cd e907_rtos下载编译工具链到指定目录cd rtos/tools/xcompiler/on_linux/compiler/ && wget https://github.com/YuzukiHD/Yuzukilizard/releases/download/Compiler.0.0.1/riscv64-elf-x86_64-20201104.tar.gz && cd -https://bbs.aw-ol.com/assets/uploads/files/1677223188072-b14dedd1-b35a-4641-ba88-f3dde82a8f96-%E5%9B%BE%E7%89%87.png编译第一个 elf 系统进入 rtos/source 文件夹cd rtos/source/https://bbs.aw-ol.com/assets/uploads/files/1677223202362-c5383bb2-cc52-4bdf-bd00-e9418c6fe799-%E5%9B%BE%E7%89%87.png应用环境变量并加载方案source melis-env.sh;lunchhttps://bbs.aw-ol.com/assets/uploads/files/1677223225316-8dec3054-1b72-43ac-8394-97a67503087c-%E5%9B%BE%E7%89%87.png然后直接编译即可，他会自动解压配置工具链。编译完成后可以在 ekernel/melis30.elf 找到固件。make -jhttps://bbs.aw-ol.com/assets/uploads/files/1677223239643-b30c9554-4528-4442-8b24-02e3dfe00ac0-%E5%9B%BE%E7%89%87.png配置小核系统小核的编译框架与 kernel 类似，使用 kconfig 作为配置项。使用 make menuconfig 进入配置页。https://bbs.aw-ol.com/assets/uploads/files/1677223252219-e022d40f-a2e1-4886-a7d7-8b272cb44e8a-%E5%9B%BE%E7%89%87.png其余使用与标准 menuconfig 相同这里不过多赘述。小核使用小核使用 UART 输出 console首先配置小核的 PINMUX 编辑文件 e907_rtos/rtos/source/projects/v851-e907-lizard/configs/sys_config.fex 这里使用 UART3 , 引脚为PE12, PE13 , mux 为 7uart_tx = port:PE12<7><1><default><default>uart_rx = port:PE13<7><1><default><default>然后配置使用 uart3 作为输出，运行 make menuconfig 居进入配置 Kernel Setup---> Drivers Setup---> Melis Source Support---> [*] Support Serial Driver SoC HAL Drivers---> Common Option---> [*] enable sysconfig // 启用读取解析 sys_config.fex 功能 UART Devices---> [*] enable uart driver // 启用驱动 [*] support uart3 device // 使用 uart3 (3) cli uart port number // cli 配置到 uart3 Subsystem support---> devicetree support---> [*] support traditional fex configuration method parser. // 启用 sys_config.fex 解析器到 linux 中配置设备树，将设备树配置相应的引脚与 muxhttps://bbs.aw-ol.com/assets/uploads/files/1677223266615-f078de4c-3773-4bf2-b6e7-28c1ada4bde7-%E5%9B%BE%E7%89%87.png如果设备树不做配置引脚和 mux，kernel会很贴心的帮你把没使用的 Pin 设置 io_disable 。由于使用的是 iommu 操作 UART 设备，会导致 io 不可使用。如下所示。https://bbs.aw-ol.com/assets/uploads/files/1677223274487-22eaa050-073c-468d-a7d8-6d9a7bad95cb-%E5%9B%BE%E7%89%87.pnghttps://bbs.aw-ol.com/assets/uploads/files/1677223300696-486ea195-9f2d-48d0-bb0d-47c13385f25f-%E5%9B%BE%E7%89%87.png此外，还需要将 uart3 的节点配置 disable，否则 kernel 会优先占用此设备。&uart3 { pinctrl-names = "default", "sleep"; pinctrl-0 = <&uart3_pins_active>; pinctrl-1 = <&uart3_pins_sleep>; status = "disabled";};如果配置 okay 会出现以下提示。uart: create mailbox failuart: irq for uart3 already enableduart: create mailbox fail启动小核固件后就可以看到输出了https://bbs.aw-ol.com/assets/uploads/files/1677223312508-ad0747ea-fff4-4216-83f2-362355f519cf-%E5%9B%BE%E7%89%87.png核心通讯建立通讯节点启动小核后，使用 eptdev_bind test 2 建立两个通讯节点的监听，可以用 rpmsg_list_listen 命令查看监听节点。https://bbs.aw-ol.com/assets/uploads/files/1677223324650-831ae5a8-e15c-43bd-ab28-e1d33c24d5ef-%E5%9B%BE%E7%89%87.png然后在 Linux 内创建通讯节点，由于我们上面启用了两个监听所以这里也开两个节点echo test > /sys/class/rpmsg/rpmsg_ctrl0/openecho test > /sys/class/rpmsg/rpmsg_ctrl0/openhttps://bbs.aw-ol.com/assets/uploads/files/1677223477736-8c1a29ef-b2e9-48a6-a6fd-7142756b0d83-%E5%9B%BE%E7%89%87.png然后就可以在 /dev/ 下看到通讯节点 /dev/rpmsg0，/dev/rpmsg1https://bbs.aw-ol.com/assets/uploads/files/1677223491932-a9761355-b5fd-4dfb-9568-7a57f0105044-%E5%9B%BE%E7%89%87.png也可以在小核控制台看到节点的建立https://bbs.aw-ol.com/assets/uploads/files/1677223508997-6ee569c7-18f5-4b10-a8ee-3a8c97154f72-%E5%9B%BE%E7%89%87.png核心通讯Linux -> e907可以直接操作 Linux 端的节点，使用 echo 写入数据echo "Linux Message 0" > /dev/rpmsg0echo "Linux Message 0" > /dev/rpmsg1https://bbs.aw-ol.com/assets/uploads/files/1677223521862-c6c6d0e6-9dd5-4681-afff-3dee914f5429-%E5%9B%BE%E7%89%87.png小核即可收到数据https://bbs.aw-ol.com/assets/uploads/files/1677223529783-5143299e-ccf3-4ca0-a255-58bd611ea1d9-%E5%9B%BE%E7%89%87.pnge907 -> Linux使用命令 eptdev_send 用法 eptdev_send <id> <data>eptdev_send 0 "E907 Message"eptdev_send 1 "E907 Message"https://bbs.aw-ol.com/assets/uploads/files/1677223543590-3d7ae909-6756-496f-a5d5-1aee7f07065a-%E5%9B%BE%E7%89%87.png在 Linux 侧直接可以读取出来cat /dev/rpmsg0cat /dev/rpmsg1https://bbs.aw-ol.com/assets/uploads/files/1677223581120-c82a5efc-b528-40be-838e-1172539d0946-%E5%9B%BE%E7%89%87.png可以一直监听，例如多次发送数据https://bbs.aw-ol.com/assets/uploads/files/1677223588396-81c4b823-9c4b-49ec-b897-f6da88215871-%E5%9B%BE%E7%89%87.pngLinux 侧获得的数据也会增加https://bbs.aw-ol.com/assets/uploads/files/1677223598946-e8822c02-75d2-4925-8632-d936e7f8a2c8-%E5%9B%BE%E7%89%87.png关闭通讯Linux 侧关闭，操作控制节点，echo <id> 给节点即可echo 0 > /sys/class/rpmsg/rpmsg_ctrl0/closeecho 1 > /sys/class/rpmsg/rpmsg_ctrl0/closehttps://bbs.aw-ol.com/assets/uploads/files/1677223608444-af4724c5-be15-4755-b8d9-0a810b5126b5-%E5%9B%BE%E7%89%87.png同时 E907 也会打印链接关闭https://bbs.aw-ol.com/assets/uploads/files/1677223695380-df78c714-00bf-4f10-9946-83c082797ab0-%E5%9B%BE%E7%89%87.pngrpmsg 需知
[*]端点是 rpmsg 通信的基础；每个端点都有自己的 src 和 dst 地址，范围（1 - 1023，除了
0x35）
[*]rpmsg 每次发送数据最大为512 -16 字节；（数据块大小为 512，头部占用 16 字节）
[*]rpmsg 使用 name server 机制，当 E907 创建的端点名，和 linux 注册的 rpmsg 驱动名一
样的时候，rpmsg bus 总线会调用其 probe 接口。所以如果需要 Linux 端主动发起创建端
点并通知 e907，则需要借助上面提到的 rpmsg_ctrl 驱动。
[*]rpmsg 是串行调用回调的，故建议 rpmsg_driver 的回调中不要调用耗时长的函数，避免影
响其他 rpmsg 驱动的运行
自定义小核 APP小核的程序入口位于 e907_rtos/rtos/source/projects/v851-e907-lizard/src/main.c#include <stdio.h>#include <openamp/sunxi_helper/openamp.h>int app_entry(void *param){ return 0;}可以自定义小核所运行的程序。自定义小核命令SDK 提供了 FINSH_FUNCTION_EXPORT_ALIAS 绑定方法，具体为FINSH_FUNCTION_EXPORT_ALIAS(<函数名称>, <命令>, <命令的描述>)例如编写一个 hello 命令，功能是输出 Hello World，描述为 Show Hello Worldint hello_cmd(int argc, const char **argv){ printf("Hello World\n");}FINSH_FUNCTION_EXPORT_ALIAS(hello_cmd, hello, Show Hello World)即可在小核找到命令与输出。https://bbs.aw-ol.com/assets/uploads/files/1677223701971-07adfaef-d366-4b3e-939d-e0f214832e23-%E5%9B%BE%E7%89%87.png
页:
[1]