21ic电子技术开发论坛 › 单片机与嵌入式系统 › ST MCU › 【STM32H7S78-DK测评】JPEG图片解码测试
返回列表 发新帖我要提问

[STM32H7] 【STM32H7S78-DK测评】JPEG图片解码测试

[复制链接]
 楼主| SJZhu 发表于 2024-10-6 12:04 | 显示全部楼层 |阅读模式
<
解码, JPEG, STM32H7S78-DK, 测试, dc, LTDC
本帖最后由 SJZhu 于 2024-10-8 15:57 编辑

JPEG和ARGB8888是两种不同的图像数据表示方式，主要用于不同的用途和情境。它们之间的区别和联系如下：
区别：
  • 数据格式类型：

    • JPEG：是一种压缩的图像格式，采用有损压缩算法，主要用于存储和传输数字图像。JPEG文件通常以.jpg或.jpeg为扩展名。
    • ARGB8888：是一种不压缩的像素格式，表示每个像素的颜色信息。它是一种32位的格式，每个通道（Alpha、Red、Green、Blue）各占8位。
  • 用途：

    • JPEG：由于支持高效压缩且文件大小较小，JPEG非常适合用于互联网图片、数码相片以及需要快速传输的场合。
    • ARGB8888：适用于需要高精度和完全质量的图像处理场合，比如图形渲染和图像编辑，因为它能完整保留每个像素的颜色信息。
  • 压缩方式：

    • JPEG：使用有损压缩，可以大幅减小文件体积，但会导致一定的图像质量损失。
    • ARGB8888：不进行压缩，保留完整的图像信息，因此占用更多存储空间。
  • 渲染性能：

    • JPEG：需要解码过程，通常较适于图片展示而不是实时图形操作。
    • ARGB8888：直接存储每个像素的数据，适合用于对图像进行实时操作和精细化处理。

联系：
  • 图像表示：

    • 两者都是用于图像的表示方式，一个用于压缩存储，一个用于直接表示颜色数据。它们可以在图像处理过程中相互转换。
  • 互操作性：

    • 一幅图像可以从ARGB8888格式编码为JPEG以便储存或传输，也可以从JPEG解码回ARGB8888进行编辑和处理。
  • 常见使用场景：

    • 图像文件通常在存储时使用JPEG格式以节省空间，而在实际处理或编辑时会被解码为诸如ARGB8888等不压缩格式。


JPG格式的文件，可以通过下面的Python脚本转换为16进制：
复制
  1. from PIL import Image
    

  2. import binascii
    


  3. 

  4. import re
    


  5. 

  6. def jpg_to_hex(file_path):
    

  7.     # 打开图像
    

  8.     with open(file_path, 'rb') as image_file:
    

  9.         # 读取文件的二进制数据
    

  10.         binary_data = image_file.read()
    

  11.         # 将二进制数据转换为十六进制
    

  12.         hex_data = binascii.hexlify(binary_data)
    

  13.         #return hex_data
    

  14.         # 转换为字符串
    

  15.         hex_string = hex_data.decode('utf-8')
    

  16.         return hex_string
    


  17. 

  18. # 示例用法
    

  19. file_path = 'example.jpg'
    

  20. hex_representation = jpg_to_hex(file_path)
    

  21. #print(hex_representation)
    


  22. 

  23. split_str = [hex_representation[i:i+2] for i in range(0, len(hex_representation), 2)]
    

  24. print(split_str)

JPEG解码流程：
 22686704a65cd8a36.png
在图形化配置界面，首先使能JPEG模块，然后使能HPDMA模块：
7761667020830b3fb2.png

160786702083d6cb10.png

2219367020879b8524.png



55019670208a1aa312.png

LTDC显示还是使用上一个工程的配置方式：
80463670208d5ceff0.png


主函数通过调用MX_JPEG_Init -> HAL_JPEG_Init(&hjpeg)来初始化硬件JPEG模块
LTDC模块初始化代码：
复制
  1. /**
    

  2.   * [url=home.php?mod=space&uid=247401]@brief[/url] LTDC Initialization Function
    

  3.   * @param None
    

  4.   * @retval None
    

  5.   */
    

  6. static void MX_LTDC_Init(void)
    

  7. {
    


  8. 

  9.   /* USER CODE BEGIN LTDC_Init 0 */
    


  10. 

  11.   /* USER CODE END LTDC_Init 0 */
    


  12. 

  13.   LTDC_LayerCfgTypeDef pLayerCfg = {0};
    


  14. 

  15.   /* USER CODE BEGIN LTDC_Init 1 */
    


  16. 

  17.   /* USER CODE END LTDC_Init 1 */
    

  18.   hltdc.Instance = LTDC;
    

  19.   hltdc.Init.HSPolarity = LTDC_HSPOLARITY_AL;
    

  20.   hltdc.Init.VSPolarity = LTDC_VSPOLARITY_AL;
    

  21.   hltdc.Init.DEPolarity = LTDC_DEPOLARITY_AL;
    

  22.   hltdc.Init.PCPolarity = LTDC_PCPOLARITY_IPC;
    

  23.   hltdc.Init.HorizontalSync = 3;
    

  24.   hltdc.Init.VerticalSync = 3;
    

  25.   hltdc.Init.AccumulatedHBP = 11;
    

  26.   hltdc.Init.AccumulatedVBP = 11;
    

  27.   hltdc.Init.AccumulatedActiveW = 811;
    

  28.   hltdc.Init.AccumulatedActiveH = 491;
    

  29.   hltdc.Init.TotalWidth = 819;
    

  30.   hltdc.Init.TotalHeigh = 499;
    

  31.   hltdc.Init.Backcolor.Blue = 0;
    

  32.   hltdc.Init.Backcolor.Green = 0;
    

  33.   hltdc.Init.Backcolor.Red = 0;
    

  34.   if (HAL_LTDC_Init(&hltdc) != HAL_OK)
    

  35.   {
    

  36.     Error_Handler();
    

  37.   }
    

  38.   pLayerCfg.WindowX0 = 0;
    

  39.   pLayerCfg.WindowX1 = 320;
    

  40.   pLayerCfg.WindowY0 = 0;
    

  41.   pLayerCfg.WindowY1 = 240;
    

  42.   pLayerCfg.PixelFormat = LTDC_PIXEL_FORMAT_ARGB8888;
    

  43.   pLayerCfg.Alpha = 127;
    

  44.   pLayerCfg.Alpha0 = 0;
    

  45.   pLayerCfg.BlendingFactor1 = LTDC_BLENDING_FACTOR1_CA;
    

  46.   pLayerCfg.BlendingFactor2 = LTDC_BLENDING_FACTOR2_CA;
    

  47.   pLayerCfg.FBStartAdress = (uint32_t)&image_data_Cloud_320_240;
    

  48.   pLayerCfg.ImageWidth = 320;
    

  49.   pLayerCfg.ImageHeight = 240;
    

  50.   pLayerCfg.Backcolor.Blue = 0;
    

  51.   pLayerCfg.Backcolor.Green = 0;
    

  52.   pLayerCfg.Backcolor.Red = 0;
    

  53.   if (HAL_LTDC_ConfigLayer(&hltdc, &pLayerCfg, 0) != HAL_OK)
    

  54.   {
    

  55.     Error_Handler();
    

  56.   }
    

  57.   /* USER CODE BEGIN LTDC_Init 2 */
    


  58. 

  59.   /* USER CODE END LTDC_Init 2 */
    


  60. 

  61. }


主函数代码：
复制
  1. int main(void)
    

  2. {
    


  3. 

  4.   /* USER CODE BEGIN 1 */
    

  5.   uint32_t toBottom = 0;
    

  6.   uint32_t toTop = 0;
    


  7. 

  8.   /* STM32H7RSxx HAL library initialization:
    

  9.        - Systick timer is configured by default as source of time base, but user
    

  10.              can eventually implement his proper time base source (a general purpose
    

  11.              timer for example or other time source), keeping in mind that Time base
    

  12.              duration should be kept 1ms since PPP_TIMEOUT_VALUEs are defined and
    

  13.              handled in milliseconds basis.
    

  14.        - Set NVIC Group Priority to 4
    

  15.        - Low Level Initialization
    

  16.      */
    


  17. 

  18.   MPU_Config();
    

  19.   /* USER CODE END 1 */
    


  20. 

  21.   /* Enable the CPU Cache */
    


  22. 

  23.   /* Enable I-Cache---------------------------------------------------------*/
    

  24.   SCB_EnableICache();
    


  25. 

  26.   /* Enable D-Cache---------------------------------------------------------*/
    

  27.   SCB_EnableDCache();
    


  28. 

  29.   /* MCU Configuration--------------------------------------------------------*/
    


  30. 

  31.   /* Update SystemCoreClock variable according to RCC registers values. */
    

  32.   SystemCoreClockUpdate();
    


  33. 

  34.   /* Reset of all peripherals, Initializes the Flash interface and the Systick. */
    

  35.   HAL_Init();
    


  36. 

  37.   /* USER CODE BEGIN Init */
    


  38. 

  39.   /* Initialize LD1 and LD2*/
    

  40.   BSP_LED_Init(LD1);
    

  41.   BSP_LED_Init(LD2);
    

  42.   BSP_LED_Init(LD3);
    

  43.   BSP_LED_Init(LD4);
    

  44.   /* USER CODE END Init */
    


  45. 

  46.   /* USER CODE BEGIN SysInit */
    


  47. 

  48.   /* USER CODE END SysInit */
    


  49. 

  50.   /* Initialize all configured peripherals */
    

  51.   MX_GPIO_Init();
    

  52.   MX_HPDMA1_Init();
    

  53.   MX_ADC1_Init();
    

  54.   MX_USART1_UART_Init();
    

  55.   MX_JPEG_Init();
    

  56.   MX_LTDC_Init();
    

  57.   /* USER CODE BEGIN 2 */
    

  58.  tickstart = HAL_GetTick();
    

  59.  JPEG_Decode_DMA(&hjpeg, (uint32_t)image_320_240_jpg, IMAGE_320_240_JPG_SIZE, (uint32_t) rawBuffer);
    


  60. 

  61. while((Jpeg_HWDecodingEnd == 0) && ((HAL_GetTick() - tickstart) < 5000))
    

  62.   {
    

  63.   }
    


  64. 

  65.   if (Jpeg_HWDecodingEnd != 0)
    

  66.   {
    

  67.         /* Test ends properly */
    

  68.     BSP_LED_On(LD1);
    

  69.   }
    

  70.   else
    

  71.   {
    

  72.         /* Test error */
    

  73.     BSP_LED_On(LD2);
    

  74.   }   
    


  75. 

  76.   /* USER CODE END 2 */
    


  77. 

  78.   /* Infinite loop */
    

  79.   /* USER CODE BEGIN WHILE */
    

  80.   while(1){
    

  81.       HAL_LTDC_SetAddress(&hltdc, (uint32_t)rawBuffer, 0);
    

  82.       HAL_LTDC_Reload( &hltdc,LTDC_RELOAD_IMMEDIATE);
    

  83.       BSP_LED_Toggle(LD3);
    

  84.       BSP_LED_Toggle(LD4);
    

  85.       HAL_Delay(1000);
    

  86.       HAL_LTDC_SetAddress(&hltdc, (uint32_t)&image_data_Cloud_320_240, 0);
    

  87.       HAL_LTDC_Reload( &hltdc,LTDC_RELOAD_IMMEDIATE);
    

  88.       BSP_LED_Toggle(LD3);
    

  89.       BSP_LED_Toggle(LD4);
    

  90.       HAL_Delay(1000);
    

  91. }
    

  92. }


此外烧录到板子后发现解码的图片没有正常显示，可能是LTDC配置参数与解码结果不兼容，目前还在调试中。解码后的数据在调试界面看到也有数据。


596567020b8dc8e43.png

https://www.bilibili.com/video/BV1m61vYaEVX/?spm_id_from=333.999.0.0&vd_source=69f2c95df791924c208b48e010bc38a7


【更新10月8日】之所以出现上述视频中的解码图片不能正常显示的问题，在于JPEG硬件解码输出的图片格式为YCbCr，而LTDC控制器所需要的输入图片格式为ARGB8888.因此，结合相关资料【AN4996】，利用DMA2D模块完成图片格式的转换，进而成功的在TFT屏幕上显示出解码后的JPEG图片。


首先在图形化配置界面使能DMA2D：
663606704a7c229cf1.png


这里发现一个问题，DMA2D选择像素格式转换模式，然而InputColorMode无法选择“DMA2D_INPUT_YCBCR”，只能手动修改代码。
复制
  1. static void MX_DMA2D_Init(void)
    

  2. {
    


  3. 

  4.   /* USER CODE BEGIN DMA2D_Init 0 */
    


  5. 

  6.   /* USER CODE END DMA2D_Init 0 */
    


  7. 

  8.   /* USER CODE BEGIN DMA2D_Init 1 */
    


  9. 

  10.   /* USER CODE END DMA2D_Init 1 */
    

  11.   hdma2d.Instance = DMA2D;
    

  12.   hdma2d.Init.Mode = DMA2D_M2M_PFC;
    

  13.   hdma2d.Init.ColorMode = DMA2D_OUTPUT_ARGB8888;
    

  14.   hdma2d.Init.OutputOffset = 0;
    

  15.   hdma2d.LayerCfg[1].InputOffset = 0;
    

  16.   hdma2d.LayerCfg[1].InputColorMode = DMA2D_INPUT_YCBCR;
    

  17.   hdma2d.LayerCfg[1].AlphaMode = DMA2D_NO_MODIF_ALPHA;
    

  18.   hdma2d.LayerCfg[1].InputAlpha = 0;
    

  19.   hdma2d.LayerCfg[1].AlphaInverted = DMA2D_REGULAR_ALPHA;
    

  20.   hdma2d.LayerCfg[1].RedBlueSwap = DMA2D_RB_REGULAR;
    

  21.   hdma2d.LayerCfg[1].ChromaSubSampling = DMA2D_NO_CSS;
    

  22.   if (HAL_DMA2D_Init(&hdma2d) != HAL_OK)
    

  23.   {
    

  24.     Error_Handler();
    

  25.   }
    

  26.   if (HAL_DMA2D_ConfigLayer(&hdma2d, 1) != HAL_OK)
    

  27.   {
    

  28.     Error_Handler();
    

  29.   }
    

  30.   /* USER CODE BEGIN DMA2D_Init 2 */
    


  31. 

  32.   /* USER CODE END DMA2D_Init 2 */
    


  33. 

  34. }


硬件解码完成后，通过调用如下API来获取解码后的图片信息，包括Width与Height。
复制
  1. HAL_JPEG_GetInfo(&hjpeg, &MyJPEGInfo);



接下来是重头戏，即完成像素颜色格式转换：
复制
  1.   DMA2D_Copy_YCbCr_To_RGB((uint32_t *)rawBuffer,  /* JEPG解码后的数据 */
    

  2.                               (uint32_t *)rawBuffer_DMA2D_ARGB8888, /* 这里是显存地址 */
    

  3.                               0 ,
    

  4.                               0,
    

  5.                                                           MyJPEGInfo.ImageWidth,
    

  6.                                                           MyJPEGInfo.ImageHeight,
    

  7.                                                           LTDC_PIXEL_FORMAT_ARGB8888,
    

  8.                                                           MyJPEGInfo.ChromaSubsampling);

而这个函数  DMA2D_Copy_YCbCr_To_RGB的具体实现如下（参考：安富莱的例程）：
复制
  1. /*
    

  2. *********************************************************************************************************
    

  3. *        函 数 名: DMA2D_Copy_YCbCr_To_RGB
    

  4. *        功能说明: YCbCr转RGB输出
    

  5. *        形    参: pSrc:    数据源地址
    

  6. *                  pDst:    数据目的地址
    

  7. *                  x:       X轴首地址
    

  8. *                  y:       Y轴首地址
    

  9. *                  xsize:   目的区域的X轴大小，即每行像素数
    

  10. *                  ysize:   目的区域的Y轴大小，即行数
    

  11. *                  PixelFormat：   目标区颜色格式
    

  12. *                  ChromaSampling : YCbCr Chroma sampling : 4:2:0, 4:2:2 or 4:4:4
    

  13. *        返 回 值: 无
    

  14. *********************************************************************************************************
    

  15. */
    

  16. void DMA2D_Copy_YCbCr_To_RGB(uint32_t *pSrc,
    

  17.                                     uint32_t *pDst,
    

  18.                                     uint16_t x,
    

  19.                                     uint16_t y,
    

  20.                                     uint16_t xsize,
    

  21.                                     uint16_t ysize,
    

  22.                                     uint32_t PixelFormat,
    

  23.                                     uint32_t ChromaSampling)
    

  24. {
    

  25.         uint32_t cssMode = DMA2D_CSS_420;
    

  26.         uint32_t inputLineOffset = 0;
    

  27.         uint32_t destination = 0;
    


  28. 

  29.         /* 处理输入行偏移 */
    

  30.         if(ChromaSampling == JPEG_420_SUBSAMPLING)
    

  31.         {
    

  32.                 cssMode = DMA2D_CSS_420;
    


  33. 

  34.                 inputLineOffset = xsize % 16;
    

  35.                 if(inputLineOffset != 0)
    

  36.                 {
    

  37.                         inputLineOffset = 16 - inputLineOffset;
    

  38.                 }
    

  39.         }
    

  40.         else if(ChromaSampling == JPEG_444_SUBSAMPLING)
    

  41.         {
    

  42.                 cssMode = DMA2D_NO_CSS;
    


  43. 

  44.                 inputLineOffset = xsize % 8;
    

  45.                 if(inputLineOffset != 0)
    

  46.                 {
    

  47.                         inputLineOffset = 8 - inputLineOffset;
    

  48.                 }
    

  49.         }
    

  50.         else if(ChromaSampling == JPEG_422_SUBSAMPLING)
    

  51.         {
    

  52.                 cssMode = DMA2D_CSS_422;
    


  53. 

  54.                 inputLineOffset = xsize % 16;
    

  55.                 if(inputLineOffset != 0)
    

  56.                 {
    

  57.                         inputLineOffset = 16 - inputLineOffset;
    

  58.                 }
    

  59.         }
    


  60. 

  61.         /* 输出地址，特别注意末尾乘以2的对RGB565，如果输出格式是ARGB8888，需要乘以4 */
    

  62.         destination = (uint32_t)pDst + ((y * 320) + x) * 4;
    


  63. 


  64. 

  65.         /* DMA2D采用存储器到存储器模式，并且执行FPC颜色格式转换, 这种模式是前景层作为DMA2D输入 */
    

  66.         DMA2D->CR      = 0x00010000UL | (1 << 9);
    

  67.         DMA2D->OOR     = 320 - xsize;
    


  68. 

  69.         /* 输出格式 */
    

  70.         DMA2D->OPFCCR  = PixelFormat
    

  71.                          | (DMA2D_REGULAR_ALPHA << 20)
    

  72.                          | (DMA2D_RB_REGULAR << 21);
    


  73. 

  74.         /* 前景层输入格式 */
    

  75.         DMA2D->FGPFCCR = DMA2D_INPUT_YCBCR
    

  76.                          | (DMA2D_REPLACE_ALPHA << 16)
    

  77.                          | (DMA2D_REGULAR_ALPHA << 20)
    

  78.                          | (DMA2D_RB_REGULAR << 21)
    

  79.                          | (0xFFU << 24)
    

  80.                          | (cssMode << 18);
    


  81. 

  82.         DMA2D->FGOR    = inputLineOffset;
    

  83.         DMA2D->NLR     = (uint32_t)(xsize << 16) | (uint16_t)ysize;
    

  84.         DMA2D->OMAR    = (uint32_t)destination;
    

  85.         DMA2D->FGMAR   = (uint32_t)pSrc;
    


  86. 

  87.         /* 启动传输 */
    

  88.         DMA2D->CR   |= DMA2D_CR_START;
    


  89. 

  90.         /* 等待DMA2D传输完成 */
    

  91.         while (DMA2D->CR & DMA2D_CR_START) {}
    

  92. }


接下来主循环中显示这个图片即可：
复制
  1.   while(1){
    

  2.       HAL_LTDC_SetAddress(&hltdc, (uint32_t)rawBuffer_DMA2D_ARGB8888, 0);
    

  3.       HAL_LTDC_Reload( &hltdc,LTDC_RELOAD_IMMEDIATE);
    

  4.       BSP_LED_Toggle(LD3);
    

  5.       BSP_LED_Toggle(LD4);
    

  6.       HAL_Delay(1000);
    


  7. 

  8.   }


最终解码出的照片如下所示：
282176704aabb3bb0e.png

https://www.bilibili.com/video/BV1iC2JYME3f/?spm_id_from=333.999.list.card_archive.click&vd_source=69f2c95df791924c208b48e010bc38a7

参考：
1. 整理了一个STM32H7的寄存器方式YCbCr转RGB函数并DMA2D到显示屏，支持采样比4:4:4，4:2:2和4:2:0https://www.armbbs.cn/forum.php?mod=viewthread&tid=93536

2. https://www.st.com/content/ccc/resource/training/technical/product_training/group0/d7/07/45/76/c2/f9/41/4f/STM32H7-Peripheral-JPEG_codec_JPEG/files/STM32H7-Peripheral-JPEG_codec_JPEG.pdf/_jcr_content/translations/en.STM32H7-Peripheral-JPEG_codec_JPEG.pdf#:~:text=The%20JPEG%20codec%20integrated%20inside%20STM32%20products%20is%20an%20hardware

3. How to use the JPEG codec peripheral on STM32 MCUs https://www.st.com/content/ccc/resource/technical/document/application_note/group0/a5/9d/22/46/61/6d/4a/ab/DM00356635/files/DM00356635.pdf/jcr:content/translations/en.DM00356635.pdf#:~:text=Using%20the%20STM32H743/53/45/55/47/57/50xx%20and%20STM32H7Rx/7Sx%20devices%20for%20JPEG%20decoding%20operations,







回复 赏

举报

相关帖子
Amazingxixixi 发表于 2024-10-31 16:18 | 显示全部楼层
硬件解码还是软解？
回复 赏

举报

地瓜patch 发表于 2024-10-31 18:44 来自手机 | 显示全部楼层
视频和图片解码是用什么协议
回复 赏

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则

SJZhu

6

主题

21

帖子

0

粉丝
快速回复 在线客服 返回列表 返回顶部