双目视觉处理系统开发实例-基于米尔安路国产DR1M90开发板
本帖最后由 myir米尔 于 2025-2-21 14:11 编辑1. 系统架构解析本系统基于米尔MYC-YM90X构建，基于安路飞龙DR1M90处理器，搭载安路DR1 FPGA SOC 创新型异构计算平台，充分发挥其双核Cortex-A35处理器与可编程逻辑（PL）单元的协同优势。通过AXI4-Stream总线构建的高速数据通道（峰值带宽可达12.8GB/s），实现ARM与FPGA间的纳秒级（ns）延迟交互，较传统方案提升了3倍的传输效率，极大地提升了系统整体性能。
国产化技术亮点：
[*]全自主AXI互连架构，支持多主多从拓扑，确保系统灵活性与可扩展性
[*]硬核处理器与PL单元共享DDR3控制器，提高内存带宽利用率（可升级至DDR4）
[*]动态时钟域隔离技术（DCIT），确保跨时钟域的数据交互稳定性，避免时序错误
[*]国产SM4加密引擎硬件加速模块，为数据加密任务提供硬件级别的支持，提升加密处理效率
https://files.mdnice.com/user/91013/7fc52132-b845-439f-93d2-8e2a96b88260.png图一 系统架构框图
如图一所示，系统架构通过“低内聚，高耦合”的设计思想，通过模块化的设计方式，完成了以下工作。1. 通过I²C对OV5640摄像头进行分辨率，输出格式等配置。2. 双目图像数据进行三级帧缓存，FIFO——DMA——DDR。3. 客制化低延迟ISP（开发者根据场景需求加入）4. VTC驱动HDMI输出显示
2. 系统程序开发2.1 DR1固件架构设计
GUI设计界面，类Blockdesign设计方式，通过AXI总线，连接DR1的ARM核与定制化外设，包括以太网，RAM模块，PL DMA和VTC。https://files.mdnice.com/user/91013/fe081b7d-028b-4d6a-b8a2-e6b7dfc0e140.png图二 FPGA底层架构框图
2.2 双目视觉处理流水线
2.2.1 传感器配置层为实现高效的传感器配置，本系统采用混合式I²C配置引擎，通过PL端硬件I²C控制器实现传感器参数的动态加载。与纯软件方案相比，该硬件加速的配置速度提升了8倍，显著降低了配置延迟。// 可重配置传感器驱动IP
module ov5640_config (
input wire clk_50M,
output tri scl,
inout tri sda,
input wire reg_addr,
input wire reg_data,
output reg config_done
);
// 支持动态分辨率切换（1920x1080@30fps ↔ 1280x720@60fps）
parameter RESOLUTION_TABLE = <font color="#98c379">'{...};</font>
该配置引擎支持多分辨率与高帧率动态切换，适应不同应用场景需求。
2.2.2 数据采集管道系统构建了三级缓存体系，确保数据处理的高效性和实时性：
[*]像素级缓存：采用双时钟FIFO（写时钟74.25MHz，读时钟100MHz），实现数据的稳定缓存和传输。
[*]行缓冲：使用BRAM的乒乓结构（每行1920像素×16bit），减少数据延迟。
[*]帧缓存：通过DDR3-1066 1GB内存支持四帧循环存储，确保图像的持续流畅展示。
// 位宽转换智能适配器
module data_width_converter <font color="#5c6370"><i>#(</i></font>
parameter IN_WIDTH = 16,
parameter OUT_WIDTH = 96
)(
input wire din,
output wire dout,
// 时钟与使能信号
);
// 采用流水线式位宽重组技术
always_ff @(posedge clk) begin
<font color="#c678dd">case</font>(state)
0: buffer <= {din, 80<font color="#98c379">'b0};
1: buffer <= {buffer, din};
// ...6周期完成96bit组装
endcase
end</font>
2.2.3. 异构计算调度系统通过AXI-DMA（Direct Memory Access）实现零拷贝数据传输，优化内存和外设间的数据交换：
[*]写通道：PL→DDR，采用突发长度128、位宽128bit的高速数据传输
[*]读通道：DDR→HDMI，配合动态带宽分配（QoS等级可调），确保不同带宽需求的动态适配
2.2.4 VTC显示引擎深度优化
[*]PL DMA输出显示优化
[*]显示时序的优化对高质量图像输出至关重要。通过VTC（Video Timing Controller），本系统能够实现多模式自适应输出。
axi_hdmi_tx<font color="#5c6370"><i>#(</i></font>
.ID(0),
.CR_CB_N(0),
.DEVICE_TYPE(17), // 17 <font color="#c678dd">for</font> DR1M
.INTERFACE(<font color="#98c379">"16_BIT"</font>),
.OUT_CLK_POLARITY (0)
)
axi_hdmi_tx_inst (
.hdmi_clk (pll_clk_150),
//.hdmi_clk (clk1_out),
.hdmi_out_clk (hdmi_clk ),
.hdmi_16_hsync (hdmi_hs ),
.hdmi_16_vsync (hdmi_vs ),
.hdmi_16_data_e (hdmi_de),
.hdmi_16_data (/*hdmi_data*/ ),
// .hdmi_16_data (hdmi_data ),
.hdmi_16_es_data (hdmi_data),
.hdmi_24_hsync (),
.hdmi_24_vsync (),
.hdmi_24_data_e (),
.hdmi_24_data (/*{r_data,g_data,b_data}*/),
.hdmi_36_hsync (),
.hdmi_36_vsync (),
.hdmi_36_data_e (),
.hdmi_36_data (),
.vdma_clk (pll_clk_150 ),
.vdma_end_of_frame (dma_m_axis_last ),
.vdma_valid (dma_m_axis_valid ),
.vdma_data (dma_m_axis_data ),
.vdma_ready (dma_m_axis_ready),
.s_axi_aclk (S_AXI_ACLK ),
.s_axi_aresetn (S_AXI_ARESETN ),
.s_axi_awvalid (axi_ds5_ds5_awvalid ),
.s_axi_awaddr (axi_ds5_ds5_awaddr ),
.s_axi_awprot (axi_ds5_ds5_awprot ),
.s_axi_awready (axi_ds5_ds5_awready ),
.s_axi_wvalid (axi_ds5_ds5_wvalid ),
.s_axi_wdata (axi_ds5_ds5_wdata ),
.s_axi_wstrb (axi_ds5_ds5_wstrb ),
.s_axi_wready (axi_ds5_ds5_wready ),
.s_axi_bvalid (axi_ds5_ds5_bvalid ),
.s_axi_bresp (axi_ds5_ds5_bresp ),
.s_axi_bready (axi_ds5_ds5_bready ),
.s_axi_arvalid (axi_ds5_ds5_arvalid ),
.s_axi_araddr (axi_ds5_ds5_araddr ),
.s_axi_arprot (axi_ds5_ds5_arprot ),
.s_axi_arready (axi_ds5_ds5_arready ),
.s_axi_rvalid (axi_ds5_ds5_rvalid ),
.s_axi_rresp (axi_ds5_ds5_rresp ),
.s_axi_rdata (axi_ds5_ds5_rdata ),
.s_axi_rready (axi_ds5_ds5_rready)
);
[*]动态时序生成器
[*]通过PL-PLL动态调整像素时钟，确保显示无卡顿、无闪烁，误差控制在<10ppm内。
// VTC配置代码片段（Anlogic SDK）
void config_vtc(uint32_t h_total, uint32_t v_total) {
VTCRegs->CTRL = 0x1; // 使能软复位
VTCRegs->HTOTAL = h_total - 1;
VTCRegs->VTOTAL = v_total - 1;
// 详细时序参数配置
VTCRegs->POLARITY = 0x3; // HS/VS极性配置
VTCRegs->CTRL = 0x81; // 使能模块
}
3. 硬件连接与测试
[*]硬件连接
米尔的安路飞龙板卡采用2 X 50 PIN 连接器设计，可灵活插拔多种子卡，配合子卡套件，可扩展成多种形态，多种应用**。https://files.mdnice.com/user/91013/e00444fa-60fe-4023-b8b7-7570e80b6a3f.png图三 使用模组，底板，子卡和线缆搭建硬件系统（使用米尔基于安路飞龙DR1M90开发板）
[*]显示测试
实测双目显示清晰，无卡帧，闪屏。https://files.mdnice.com/user/91013/f0286ce0-22dc-40b8-85d3-ab920239cd6b.png图四 输出显示效果
[*]系统集成
[*]在FPGA硬件描述文件的基础上，进一步在Linux下实现双摄，为复杂系统调度应用铺平道路。
[*]内核加载5640驱动下通过dma搬运ddr数据，在应用层中通过v4l2框架显示到HDMI上，完整数据流如下：
[*]FPGA DDR → AXI-DMA控制器 → Linux DMA引擎 → 内核dma_buf→ V4L2 vb2队列 → mmap用户空间 → 应用处理
三路DMA设备树HDMI、camera1、camera2代码片段：//hdmi
soft_adi_dma0: dma@80400000 {
compatible = <font color="#98c379">"adi,axi-dmac-1.00.a"</font>;
reg = <0x0 0x80400000 0x0 0x10000>;
interrupts = <GIC_SPI 83 IRQ_TYPE_LEVEL_HIGH>;
clocks = <&axi_dma_clk>;
<font color="#5c6370"><i>#dma-cells = <1>;</i></font>
status = <font color="#98c379">"okay"</font>;
adi,channels {
<font color="#5c6370"><i>#size-cells = <0>;</i></font>
<font color="#5c6370"><i>#address-cells = <1>;</i></font>
dma-channel<a href="home.php?mod=space&uid=2514928" target="_blank">@0</a> {
reg = <0>;
adi,<font color="#e6c07b">source</font>-bus-width = <32>;
adi,<font color="#e6c07b">source</font>-bus-type = <0>;
adi,destination-bus-width = <64>;
adi,destination-bus-type = <1>;
};
};
};
// cam1
mipi_adi_dma0: dma@80300000 {
compatible = <font color="#98c379">"adi,axi-dmac-1.00.a"</font>;
reg = <0x0 0x80300000 0x0 0x10000>;
interrupts = <GIC_SPI 82 IRQ_TYPE_LEVEL_HIGH>;
clocks = <&axi_dma_clk>;
<font color="#5c6370"><i>#dma-cells = <1>;</i></font>
status = <font color="#98c379">"okay"</font>;
adi,channels {
<font color="#5c6370"><i>#size-cells = <0>;</i></font>
<font color="#5c6370"><i>#address-cells = <1>;</i></font>
dma-channel@0 {
reg = <0>;
adi,<font color="#e6c07b">source</font>-bus-width = <128>;
adi,<font color="#e6c07b">source</font>-bus-type = <1>;
adi,destination-bus-width = <64>;
adi,destination-bus-type = <0>;
};
};
};
//cam2
mipi_adi_dma1: dma@80700000 {
compatible = <font color="#98c379">"adi,axi-dmac-1.00.a"</font>;
reg = <0x0 0x80700000 0x0 0x10000>;
interrupts = <GIC_SPI 86 IRQ_TYPE_LEVEL_HIGH>;
clocks = <&axi_dma_clk>;
<font color="#5c6370"><i>#dma-cells = <1>;</i></font>
status = <font color="#98c379">"okay"</font>;
adi,channels {
<font color="#5c6370"><i>#size-cells = <0>;</i></font>
<font color="#5c6370"><i>#address-cells = <1>;</i></font>
dma-channel@0 {
reg = <0>;
adi,<font color="#e6c07b">source</font>-bus-width = <128>;
adi,<font color="#e6c07b">source</font>-bus-type = <1>;
adi,destination-bus-width = <32>;
adi,destination-bus-type = <0>;
};
};
};
双路i2c OV5640设备树配置代码片段camera@3c {
compatible = <font color="#98c379">"ovti,ov5640"</font>;
pinctrl-names = <font color="#98c379">"default"</font>;
// pinctrl-0 = <&pinctrl_ov5640>;
reg = <0x3c>;
clocks = <&ov5640_clk>;
clock-names = <font color="#98c379">"xclk"</font>;
// DOVDD-supply = <&vgen4_reg>; /* 1.8v */
// AVDD-supply = <&vgen3_reg>;/* 2.8v */
// DVDD-supply = <&vgen2_reg>;/* 1.5v */
powerdown-gpios = <&portc 8 GPIO_ACTIVE_HIGH>;
reset-gpios = <&portc 7 GPIO_ACTIVE_LOW>;
port {
/* Parallel bus endpoint */
ov5640_out_0: endpoint {
remote-endpoint = <&vcap_ov5640_in_0>;
bus-width = <8>;
data-shift = <2>; /* lines 9:2 are used */
hsync-active = <0>;
vsync-active = <0>;
pclk-sample = <1>;
};
};
};
[*]性能测试
性能实测数据。
指标实测值理论峰值
图像处理延迟18.7ms≤20ms
DDR吞吐量2GB/s2.6GB/s
功耗（全负载）3.8W4.2W
启动时间（Linux）18s-
4. 场景化应用扩展该方案可广泛应用于以下领域：
[*]智能驾驶：前视ADAS系统，包含车道识别和碰撞预警
[*]工业检测：高速AOI（自动光学检测）流水线，提升检测精度和效率
[*]医疗影像：内窥镜实时增强显示，支持多视角成像
[*]机器人导航：SLAM（同步定位与地图构建）点云加速处理，提升机器人自主导航能力
通过安路TD 2024.10开发套件，开发者能够快速移植和定制化开发，具体包括：
[*]使用GUI图形化设计约束工具，简化硬件开发过程
[*]调用预置的接口与处理器IP，加速产品开发上市时间，专注应用和算法的处理
[*]进行动态功耗分析（DPA）与仿真，确保系统的稳定性与高效性
0. One More Thing…这里，回到我们原点，回到我们开发设计国产 FPGA SOC的初衷 ，芯片也好，模组也好，都只是开始，无论是FPGA，SOC，或者SOM，都是为了以更快，更好，平衡成本，体积，开发周期，开发难度，人员配置等等综合因素，做出的面向解决问题的选择，最终结果是降低成本和产品力的平衡。安路飞龙系列的问世，让我们很欣喜看见国产SOC FPGA的崛起，希望和业界开发者一起开发构建国产SOC FPGA生态，所以选择将系列教程以知识库全部开源，共同无限进步！https://files.mdnice.com/user/91013/2aff2e3d-07bb-4762-9590-c5e772b9488f.pnghttps://files.mdnice.com/user/91013/ef8fb90a-eed3-485b-995d-beebd9c4177f.png米尔可能只是其中非常非常小的一个数据集，但会尽力撬动更大贡献。
页:
[1]