21ic电子技术开发论坛 › 单片机与嵌入式系统 › ST MCU › 【STM32N6570-DK测评】视频录制与播放
返回列表 发新帖我要提问

[STM32N6] 【STM32N6570-DK测评】视频录制与播放

[复制链接]
 楼主| xhackerustc 发表于 2025-5-11 21:13 | 显示全部楼层 |阅读模式
<
STM32N6, 视频录制, STM32N6570-DK测评, ar, driver
本帖最后由 xhackerustc 于 2025-5-11 22:04 编辑

#申请原创#
  @21小跑堂

STM32N6集成有硬件H264 Encoder，也集成了sdmc控制器，板级设计上又加了tf卡槽，所以自然而然想到摄像头拍摄录制视频存入sd卡，所以笔者很想实现下这个功能。会偷懒的程序员才是好的程序员，ST官方有没有实现了这个功能呢？还真给笔者找到了，在STM32Cube_FW_N6的
复制
  1. Projects/STM32N6570-DK/Applications/VENC/VENC_SDCard/
    

  2. Projects/STM32N6570-DK/Applications/VENC/VENC_SDCard_ThreadX/

前者是裸机环境，后者为ThreadX RTOS环境，笔者现在对ThreadX不是太感冒，兴趣完全迁移到了zephyr RTOS了，所以就VENC_SDCard吧。可能因STM32N6很新的缘故，这个VENC_SDCard还未来得及加上fatfs的支持，编码好的H264流是当字节流直接存在tf卡上的，无任何文件系统，fatfs的支持可以放TODO List中。


因VENC_SDCard已自包含，笔者不想再架起CubeMX这种大杀器了，直接写了个CMakeLists.txt，内容如下:
复制
  1. set(CMAKE_SYSTEM_NAME Generic)
    

  2. set(CMAKE_SYSTEM_VERSION 1)
    

  3. set(CMAKE_TRY_COMPILE_TARGET_TYPE "STATIC_LIBRARY")
    

  4. cmake_minimum_required(VERSION 3.20)
    


  5. 

  6. set(CMAKE_C_COMPILER arm-none-eabi-gcc)
    

  7. set(CMAKE_CXX_COMPILER arm-none-eabi-g++)
    

  8. set(CMAKE_ASM_COMPILER arm-none-eabi-gcc)
    

  9. set(CMAKE_AR arm-none-eabi-ar)
    

  10. set(CMAKE_OBJCOPY arm-none-eabi-objcopy)
    

  11. set(CMAKE_OBJDUMP arm-none-eabi-objdump)
    

  12. set(SIZE arm-none-eabi-size)
    


  13. 

  14. set(CMAKE_FIND_ROOT_PATH_MODE_PROGRAM NEVER)
    

  15. set(CMAKE_FIND_ROOT_PATH_MODE_LIBRARY ONLY)
    

  16. set(CMAKE_FIND_ROOT_PATH_MODE_INCLUDE ONLY)
    

  17. set(CMAKE_FIND_ROOT_PATH_MODE_PACKAGE ONLY)
    


  18. 

  19. add_compile_options(-mthumb -mcpu=cortex-m55 -mfloat-abi=hard -mfpu=fpv5-d16 -mcmse -fsingle-precision-constant)
    

  20. add_compile_options(-ffunction-sections -fdata-sections -fno-builtin -fno-common -Wdouble-promotion -Werror -Wno-unused-parameter -Wno-incompatible-pointer-types)
    


  21. 

  22. add_compile_options(-O2)
    


  23. 

  24. project(stm32n6 C ASM)
    

  25. set(CMAKE_CXX_STANDARD 11)
    

  26. set(CMAKE_C_STANDARD 99)
    


  27. 

  28. include_directories(Drivers/CMSIS/Include
    

  29.                     Drivers/CMSIS/Device/ST/STM32N6xx/Include
    

  30.                     Drivers/STM32N6xx_HAL_Driver/Inc
    

  31.                     Drivers/BSP/STM32N6570-DK
    

  32.                     Drivers/BSP/Components/Common
    

  33.                     Utilities/lcd
    

  34.                     Drivers/BSP/Components/imx335
    

  35.                     Middlewares/ST/STM32_ISP_Library/isp/Inc
    

  36.                     Middlewares/ST/STM32_ISP_Library/evision/Inc
    

  37.                     Middlewares/Third_Party/VideoEncoder/inc
    

  38.                     Middlewares/Third_Party/VideoEncoder/source/common
    

  39.                     Middlewares/Third_Party/VideoEncoder/source/h264
    

  40.                     Projects/STM32N6570-DK/Applications/VENC/VENC_SDCard/Appli/Inc)
    


  41. 

  42. add_definitions(-DSTM32N657xx)
    


  43. 

  44. file(GLOB_RECURSE SOURCES
    

  45.                 "Drivers/STM32N6xx_HAL_Driver/Src/stm32n6xx_hal_cortex.c"
    

  46.                 "Drivers/STM32N6xx_HAL_Driver/Src/stm32n6xx_hal_xspi.c"
    

  47.                 "Drivers/STM32N6xx_HAL_Driver/Src/stm32n6xx_hal_dma.c"
    

  48.                 "Drivers/STM32N6xx_HAL_Driver/Src/stm32n6xx_hal_dma_ex.c"
    

  49.                 "Drivers/STM32N6xx_HAL_Driver/Src/stm32n6xx_hal_rcc.c"
    

  50.                 "Drivers/STM32N6xx_HAL_Driver/Src/stm32n6xx_hal_rcc_ex.c"
    

  51.                 "Drivers/STM32N6xx_HAL_Driver/Src/stm32n6xx_hal_gpio.c"
    

  52.                 "Drivers/STM32N6xx_HAL_Driver/Src/stm32n6xx_hal_pwr.c"
    

  53.                 "Drivers/STM32N6xx_HAL_Driver/Src/stm32n6xx_hal_pwr_ex.c"
    

  54.                 "Drivers/STM32N6xx_HAL_Driver/Src/stm32n6xx_hal.c"
    

  55.                 "Drivers/STM32N6xx_HAL_Driver/Src/stm32n6xx_hal_exti.c"
    

  56.                 "Drivers/STM32N6xx_HAL_Driver/Src/stm32n6xx_hal_uart.c"
    

  57.                 "Drivers/STM32N6xx_HAL_Driver/Src/stm32n6xx_hal_ltdc.c"
    

  58.                 "Drivers/STM32N6xx_HAL_Driver/Src/stm32n6xx_hal_dma2d.c"
    

  59.                 "Drivers/STM32N6xx_HAL_Driver/Src/stm32n6xx_hal_rif.c"
    

  60.                 "Drivers/STM32N6xx_HAL_Driver/Src/stm32n6xx_hal_jpeg.c"
    

  61.                 "Drivers/STM32N6xx_HAL_Driver/Src/stm32n6xx_hal_dcmipp.c"
    

  62.                 "Drivers/STM32N6xx_HAL_Driver/Src/stm32n6xx_hal_tim.c"
    

  63.                 "Drivers/STM32N6xx_HAL_Driver/Src/stm32n6xx_hal_tim_ex.c"
    

  64.                 "Drivers/STM32N6xx_HAL_Driver/Src/stm32n6xx_hal_sd.c"
    

  65.                 "Drivers/STM32N6xx_HAL_Driver/Src/stm32n6xx_ll_venc.c"
    

  66.                 "Drivers/STM32N6xx_HAL_Driver/Src/stm32n6xx_ll_sdmmc.c"
    

  67.                 "Drivers/STM32N6xx_HAL_Driver/Src/stm32n6xx_hal_i2c.c"
    

  68.                 "Drivers/STM32N6xx_HAL_Driver/Src/stm32n6xx_hal_i2c_ex.c"
    

  69.                 "Drivers/BSP/STM32N6570-DK/stm32n6570_discovery.c"
    

  70.                 "Drivers/BSP/STM32N6570-DK/stm32n6570_discovery_lcd.c"
    

  71.                 "Drivers/BSP/STM32N6570-DK/stm32n6570_discovery_sd.c"
    

  72.                 "Drivers/BSP/STM32N6570-DK/stm32n6570_discovery_camera.c"
    

  73.                 "Drivers/BSP/STM32N6570-DK/stm32n6570_discovery_bus.c"
    

  74.                 "Drivers/BSP/Components/imx335/*.c"
    

  75.                 "Utilities/lcd/stm32_lcd.c"
    

  76.                 "Middlewares/ST/VideoEncoder_EWL/*.c"
    

  77.                 "Middlewares/ST/STM32_ISP_Library/isp/Src/isp_algo.c"
    

  78.                 "Middlewares/ST/STM32_ISP_Library/isp/Src/isp_core.c"
    

  79.                 "Middlewares/ST/STM32_ISP_Library/isp/Src/isp_services.c"
    

  80.                 "Middlewares/ST/STM32_ISP_Library/isp/Src/isp_tool_com.c"
    

  81.                 "Middlewares/ST/STM32_ISP_Library/isp/Src/isp_cmd_parser.c"
    

  82.                 "Middlewares/Third_Party/VideoEncoder/source/h264/*.c"
    

  83.                 "Middlewares/Third_Party/VideoEncoder/source/common/*.c"
    

  84.                 "Projects/STM32N6570-DK/Applications/VENC/VENC_SDCard/Appli/Src/*.c"
    

  85.                 "Projects/STM32N6570-DK/Applications/VENC/VENC_SDCard/STM32CubeIDE/Appli/Src/*.c"
    

  86.                 "Projects/STM32N6570-DK/Applications/VENC/VENC_SDCard/STM32CubeIDE/Appli/Startup/startup_stm32n657xx.s"
    

  87.                 )
    


  88. 

  89. set(LINKER_SCRIPT ${CMAKE_SOURCE_DIR}/Projects/STM32N6570-DK/Applications/VENC/VENC_SDCard/STM32CubeIDE/Appli/STM32N657XX_LRUN.ld)
    

  90. add_link_options(
    

  91.                 -mthumb -mcpu=cortex-m55 -mfloat-abi=hard -mfpu=fpv5-d16 -mcmse
    

  92.                 -Wl,--gc-sections,--print-memory-usage,-Map,${PROJECT_NAME}.map
    

  93.                 --specs=nano.specs
    

  94.                 --specs=nosys.specs)
    

  95. add_link_options(-T ${LINKER_SCRIPT})
    


  96. 

  97. add_executable(${PROJECT_NAME}.elf ${SOURCES} ${LINKER_SCRIPT})
    


  98. 

  99. # target_link_libraries(${PROJECT_NAME}.elf printfloat)
    

  100. target_link_libraries(${PROJECT_NAME}.elf ${CMAKE_SOURCE_DIR}/Middlewares/ST/STM32_ISP_Library/evision/Lib/libn6-evision-st-ae_gcc.a)
    

  101. target_link_libraries(${PROJECT_NAME}.elf ${CMAKE_SOURCE_DIR}/Middlewares/ST/STM32_ISP_Library/evision/Lib/libn6-evision-awb_gcc.a)
    


  102. 

  103. set(HEX_FILE ${PROJECT_BINARY_DIR}/${PROJECT_NAME}.hex)
    

  104. set(BIN_FILE ${PROJECT_BINARY_DIR}/${PROJECT_NAME}.bin)
    

  105. set(LST_FILE ${PROJECT_BINARY_DIR}/${PROJECT_NAME}.lst)
    

  106. add_custom_command(TARGET ${PROJECT_NAME}.elf POST_BUILD
    

  107.         COMMAND ${CMAKE_OBJCOPY} -Oihex [        DISCUZ_CODE_467        ]lt;TARGET_FILE:${PROJECT_NAME}.elf> ${HEX_FILE}
    

  108.         COMMAND ${CMAKE_OBJCOPY} -Obinary [        DISCUZ_CODE_467        ]lt;TARGET_FILE:${PROJECT_NAME}.elf> ${BIN_FILE}
    

  109.         COMMAND ${CMAKE_OBJDUMP} --all-headers --demangle --disassemble [        DISCUZ_CODE_467        ]lt;TARGET_FILE:${PROJECT_NAME}.elf> > ${LST_FILE}
    

  110.         COMMAND ${SIZE} --format=berkeley [        DISCUZ_CODE_467        ]lt;TARGET_FILE:${PROJECT_NAME}.elf>
    

  111. )
充分利用大sram
咱直接把代码加载进sram跑，尽量避免烧录xspi nor flash，这是不是有linux开发那味儿了。不过这么一来有个问题，FSBL有部分初始化code未运行，所以需要把FSBL/Src/system_stm32n6xx_fsbl.c的SystemInit()的代码完全拷贝添加到Appli/Src/system_stm32n6xx_s.c的SystemInit()中。


编译
复制
  1. cmake -B /tmp/build
    

  2. cmake --build /tmp/build -j8

在/tmp/build/目录下即有stm32n6.bin生成，此文件即我们要加载进sram运行的bin文件。万事具备上酸菜，sorry上openocd


加载到sram运行
一终端执行
复制
  1. openocd/src/openocd -f interface/stlink.cfg -c "transport select dapdirect_swd"  -f target/stm32n6.cfg -c "adapter speed 8000"
另一终端执行
复制
  1. telnet 127.0.0.1 4444

然后在此openocd的telnet命令session下依次执行如下命令


复制
  1. halt
    

  2. load_image /tmp/build/stm32n6.bin 0x34000400
    

  3. reg pc 0x34019038
    

  4. resume
现在LCD应该亮屏并显示摄像头拍到的东西，如图
293136388.jpg



错误出现与解决
但是如果观察STLINK的虚拟串口的输出，会发现奇怪的错误
11.jpg

What, "error initializing encoder -4"什么意思，难道VENC_SDCard代码有bug？但是VENC_SDCard的README文件明明提到可以运行，甚至怎么从tf卡dump h264数据流步骤都写清楚了。这里又是一个大坑，笔者花了很长时间调试跟踪，最后发现这确实是VENC_SDCard的代码中一个bug，至少对于arm-none-eabi-gcc toolchain来说确实有bug。VENC_SDCard依赖很多中间件，其中之一是VideoEncoder，这个库会用到malloc（）函数从堆上分配内存，熟悉arm-none-eabi-gcc toolchain的工程师都知道，其libc是newlibc，它的malloc（）实现需要用户提供sbrk()函数，但是我们看下VENC_SDCard给arm-none-eabi-gcc提供的sbrk（）函数，它的位置在STM32CubeIDE/Appli/Src/sysmem.c
21.jpg

再看看ld文件，它的位置在STM32CubeIDE/Appli/STM32N657XX_LRUN.ld
2.jpg

这里栈放在了STM32N6的DTCM中，即0x30000000开始的128KB TCM，而STM32N6的secure world的SRAM都位于0x34000000，所以下面这个判断总是成立: 22.jpg

即总会认为堆已经用尽，快要增长到栈中去了，所以总是返回-1, errno被设成了ENOMEM，从而libc的malloc（）会失败，于是下面这段代码EWLcalloc()会失败:
3.jpg

于是代码返回H264ENC_MEMORY_ERROR，这个H264ENC_MEMORY_ERROR的值正是-4, 这也就是上面"error initializing encoder -4"的来历。问题出在什么地方，linkscript把栈放在DTCM中，但是sysmem.c为做对应调整，仍然还是用的原来栈在SRAM中的版本。知道了原因修改就很简单了，笔者把STM32CubeIDE/Appli/Src/sysmem.c sbrk（）函数修改如下
复制
  1. void *_sbrk(ptrdiff_t incr)
    

  2. {
    

  3.   extern uint8_t _end; /* Symbol defined in the linker script */
    

  4.   extern uint8_t _estack; /* Symbol defined in the linker script */
    

  5.   extern uint32_t _Min_Heap_Size; /* Symbol defined in the linker script */
    

  6.   const uint32_t stack_limit = (uint32_t)&_end + (uint32_t)_Min_Heap_Size;
    

  7.   const uint8_t *max_heap = (uint8_t *)stack_limit;
    

  8.   uint8_t *prev_heap_end;
    


  9. 

  10.   /* Initialize heap end at first call */
    

  11.   if (NULL == __sbrk_heap_end)
    

  12.   {
    

  13.     __sbrk_heap_end = &_end;
    

  14.   }
    


  15. 

  16.   /* Protect heap from growing into the reserved MSP stack */
    

  17.   if (__sbrk_heap_end + incr > max_heap)
    

  18.   {
    

  19.     errno = ENOMEM;
    

  20.     return (void *)-1;
    

  21.   }
    

  22.   prev_heap_end = __sbrk_heap_end;
    

  23.   __sbrk_heap_end += incr;
    


  24. 

  25.   return (void *)prev_heap_end;
    

  26. }
再次编译加载到sram运行，一切变得那么丝滑

串口截图
5.jpg

录制结束把tf卡插读卡器接入电脑，运行如下命令读出
复制
  1. dd if=/dev/sdc of=/tmp/dump.bin bs=512 count=25000

这个dump.bin其实已经是正儿八经的H264视频文件，file探测下文件显示:
9.jpg

用mpv等软件也能播放，只是提示无timestamp:
10.jpg

可运行如下命令设置下30帧/s的帧率copy成转成另外一个视频文件:
复制
  1. ffmpeg -f h264 -framerate 30 -i /tmp/dump.bin -c copy /tmp/out.mp4

这个文件再用mpv软件播放已经不抱怨无timestamp了

8.jpg
回复 赏

举报

相关帖子
 楼主| xhackerustc 发表于 2025-5-11 21:18 | 显示全部楼层
笔者发现的STM32Cube_FW_N6这个bug应该还没人报过，所以笔者是第一个发现并给出解决方案的？
回复 赏

举报

tpgf 发表于 2025-5-27 08:33 | 显示全部楼层
为了降低用户的开发难度，开发板提供了配套的软件开发工具包，包括驱动程序、示例代码、开发文档等
回复 赏

举报

mzznqqq 发表于 2025-7-5 02:34 | 显示全部楼层
您好，我在尝试使用STM32N6570-DK录视频，然后我发现官方的例程能够录制视频，但是我实在是不知道怎么将SD卡的数据导出出来，有幸读到了您的这篇文章“【STM32N6570-DK测评】视频录制与播放”，遇到了一些问题，如果您有时间的话，可以请您帮我看一下我出现的问题吗？感激不尽。问题如下：
1.我在运行您文章中的CMakeLists.txt，出现了这样的结果：[100%] Linking C executable stm32n6.elf,而且也成功生成了bin,hex等文件，但是我发现他有报错
            DTCM:        128 KB       128 KB    100.00%
Generating binary, hex and listing files
/bin/sh: 1: /tmp/build/stm32n6.elf: Exec format error
不知道这是否会造成后续的问题
2.我在openocd/src/openocd -f interface/stlink.cfg -c "transport select dapdirect_swd"  -f target/stm32n6.cfg -c "adapter speed 8000"运行这一段代码的时候一直报错，我尝试了很多办法都没能解决，如果有可能的话希望你能帮我看看，这是我运行的命令：openocd -f interface/stlink.cfg -f target/stm32n6x.cfg -c "adapter speed 1000"报错：
xPack Open On-Chip Debugger 0.12.0-01004-g9ea7f3d64-dirty (2023-01-30-15:03)
Licensed under GNU GPL v2
For bug reports, read
http://openocd.org/doc/doxygen/bugs.html
Info : auto-selecting first available session transport "hla_swd". To override use 'transport select <transport>'.
Error: The selected transport doesn't support this target
target/stm32n6x.cfg:60: Error:
in procedure 'script'
at file "embedded:startup.tcl", line 28
at file "target/stm32n6x.cfg", line 60
我搜到的信息是说：
openocd版本太低，不支持是stm32n6，我下的是12.0，已经是我能搜到的最新的版本了
我尝试使用stm32h7x.cfg，出现了这样的报错：
xPack Open On-Chip Debugger 0.12.0-01004-g9ea7f3d64-dirty (2023-01-30-15:03)
Licensed under GNU GPL v2
For bug reports, read
        http://openocd.org/doc/doxygen/bugs.html
Info : auto-selecting first available session transport "hla_swd". To override use 'transport select <transport>'.
Info : The selected transport took over low-level target control. The results might differ compared to plain JTAG/SWD
adapter speed: 8000 kHz

Info : Listening on port 6666 for tcl connections
Info : Listening on port 4444 for telnet connections
Info : clock speed 8000 kHz
恳请不吝赐教
回复 赏

举报

mzznqqq 发表于 2025-7-5 02:39 | 显示全部楼层
回复 赏

举报

Ketose 发表于 2025-7-8 15:56 | 显示全部楼层
收一块STM32N6开发板。
回复 赏

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则

xhackerustc

42

主题

165

帖子

2

粉丝
快速回复 在线客服 返回列表 返回顶部