摄影网站建设策划书,什么叫网站备案,致力于邯郸网站建设制作服务_使众多客户将网站转化为网络市场营销.,替人做非法网站目录 1、前言工程概述免责声明 2、相关方案推荐本博主所有FPGA工程项目--汇总目录我这里已有的 MIPI 编解码方案 3、本 MIPI CSI-RX IP 介绍4、详细设计方案设计原理框图IMX327 及其配置FPD-Link视频串化-解串方案MIPI CSI RX图像 ISP 处理图像缓存HDMI输出工程源码架构 5、… 目录 1、前言工程概述免责声明 2、相关方案推荐本博主所有FPGA工程项目--汇总目录我这里已有的 MIPI 编解码方案 3、本 MIPI CSI-RX IP 介绍4、详细设计方案设计原理框图IMX327 及其配置FPD-Link视频串化-解串方案MIPI CSI RX图像 ISP 处理图像缓存HDMI输出工程源码架构 5、工程源码1详解6、工程移植说明vivado版本不一致处理FPGA型号不一致处理其他注意事项 7、上板调试验证准备工作视频输出演示 8、工程代码的获取 FPGA实现MIPI转FPD-Link车载同轴视频传输方案基于IMX327FPD953架构提供工程源码和技术支持 1、前言
如今新能源汽车、自动驾驶已成为我国在工业革命浪潮中弯道超车的赛道而车载视频传输对长距离、低延时、稳定性、可靠性要求极高FPFA在车载自动驾驶图传解决方案中理应占有一席之地本设计基于FPGA为平台搭建IMX327FPD953FPD954的MIPI转FPD-Link车载同轴视频传输架构该方案已在某大型项目中得到可靠应用具有极高的参考价值
工程概述
本设计基于Xilinx的Kintex7-325T中端FPGA为平台搭建IMX327FPD953FPD954的MIPI转FPD-Link车载同轴视频传输架构视频输入源为IMX327 MIPI摄像头IMX327 摄像头配置为 MIPI-4 Lane-RAW12模式输出有效分辨率为1920x108060HzIMX327输出的LVDS视频接入TI公司的FPD953芯片实现串化即将4对差分数据线和1对随路时钟的视频信号转换为时钟内嵌的高速串行单端信号并通过同轴线输出至此MIPI转FPD-Link车载同轴视频发送架构搭建完毕可实现长距离、低延时、稳定性、可靠性的视频传输然后同轴视频接入TI公司的FPD954芯片实现解串即将时钟内嵌的高速串行单端信号恢复为4对差分数据线和1对随路时钟的LVDS视频信号至此FPD-Link车载同轴视频接收完成然后使用本博主自定义的MIPI CSI RX解码IP实现MIPI的D_PHYCSI_RX解码功能并输出AXI4-Stream格式的RAW12格式视频至此MIPI视频解码工作完成但此时的视频还是原始的RAW12格式远远达不到输出显示要求所以还需进行图像处理操作即图像ISP处理本博主提供完整的图像ISP具体流程包括Bayer转RGB888、自动白平衡、色彩校正、伽马校正、RGB888转YCrCb444、图像增强、YCrCb444转RGB888、AE自动曝光等一系列操作经过ISP处理后的图像颜色饱满、画质清晰输出RGB888格式视频然后再使用Xilinx官方的VDMA图像缓存架构将视频缓存到板载的DDR3中然后在Native时序的控制下将缓存视频从DDR3中读出再使用本博常用的HDMI输出模块将图像输出到显示器显示即可提供1套vivado2019.1版本的工程源码
本博客详细描述了Xilinx系列FPGA实现MIPI转FPD-Link车载同轴视频传输方案的设计方案工程代码可综合编译上板调试可直接项目移植适用于在校学生、研究生项目开发也适用于在职工程师做学习提升可应用于医疗、军工等行业的高速接口或图像处理领域 提供完整的、跑通的工程源码和技术支持 工程源码和技术支持的获取方式放在了文章末尾请耐心看到最后
免责声明
本工程及其源码即有自己写的一部分也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网以及其他开源免费获取渠道等等)若大佬们觉得有所冒犯请私信批评教育部分模块源码转载自上述网络版权归原作者所有如有侵权请联系我们删除基于此本工程及其源码仅限于读者或粉丝个人学习和研究禁止用于商业用途若由于读者或粉丝自身原因用于商业用途所导致的法律问题与本博客及博主无关请谨慎使用。。。
2、相关方案推荐
本博主所有FPGA工程项目–汇总目录
其实一直有朋友反馈说我的博客文章太多了乱花渐欲迷人自己看得一头雾水不方便快速定位找到自己想要的项目所以写了一篇汇总目录的博文并置顶列出我目前已有的所有项目并给出总目录每个项目的文章链接当然本博文实时更新。。。博客链接如下 点击直接前往
我这里已有的 MIPI 编解码方案
我这里目前已有丰富的基于FPGA的MIPI编解码方案主要是MIPI解码的既有纯vhdl实现的MIPI解码也有调用Xilinx官方IP实现的MIPI解码既有2line的MIPI解码也有4line的MIPI解码既有4K分辨率的MIPI解码也有小到720P分辨率的MIPI解码既有基于Xilinx平台FPGA的MIPI解码也有基于Altera平台FPGA的MIPI解码还有基于Lattice平台FPGA的MIPI解码后续还将继续推出更过国产FPGA的MIPI解码方案毕竟目前国产化方案才是未来主流后续也将推出更多MIPI编码的DSI方案努力将FPGA的MIPI编解码方案做成白菜价。。。 基于此我专门建了一个MIPI编解码的专栏并将MIPI编解码的博客都放到了专栏里整理对FPGA编解码MIPI有项目需求或学习兴趣的兄弟可以去我的专栏看看专栏地址如下 点击直接前往专栏
3、本 MIPI CSI-RX IP 介绍
本设计采用本博自研的MIPI CSI RX解码IP实现MIPI的D_PHYCSI_RX功能输出AXI4-Stream格式的RAW12颜色视频该IP由本博免费提供该IP目前只适用于Xilinx A7及其以上系列器件支持的 4 lane RAW12图像输入分辨率最高支持4K 30帧IP UI配置界面如下 该自定义IP只提供网表不提供源码但用户依然可以自由使用和使用Xilixn官方的 MIPI CSI-2 RX Subsystem一样没有本质区别因为MIPI CSI-2 RX Subsystem也是看不到源码的MIPI CSI-RX IP资源消耗如下
4、详细设计方案
设计原理框图
工程设计原理框图如下
IMX327 及其配置
本设计使用本博提供的专用SONY公司的 IMX327 MIPI相机该相机输出分辨率达到了1920x1080采用焦距可调的镜头清晰度极高适用于高端项目开发相机截图如下 IMX327 MIPI相机需要 i2c配置才能正确使用本设计调用本博自定义的i2c主机IP实现对IMX327的配置该IP挂载与AXI-Lite总线上通过MicroBlaze软核运行的C语言代码实现配置此外本博还设计了自动曝光程序实时读取IMX327 RAW12像素通过写IMX327对应寄存器的方式实现实时的自动曝光算法使得IMX327在暗黑的环境下也能输出明亮的图像
FPD-Link视频串化-解串方案
本设计采用IT公司的FPD953FPD954架构实现FPD-Link视频串化-解串方案这部分主题由硬件电路实现FPGA只需对FPD953和FPD954做i2c初始化配置即可FPD953FPD954一般级联使用是TI主推的FPD-Link方案TI官方提供了参考原理图和参考i2c初始化配置代码使得设计和使用难度大大降低为了方便读者推进自己的项目本博主提供参考原理图为PDF版本如下
MIPI CSI RX
本设计采用自定义的MIPI CSI RX解码IP实现MIPI的D_PHYCSI_RX功能输出AXI4-Stream格式的RAW12颜色视频该IP由本博免费提供该IP目前只适用于Xilinx A7及其以上系列器件支持的 4 lane RAW12图像输入分辨率最高支持4K 30帧IP UI配置界面如下 该自定义IP只提供网表不提供源码但用户依然可以自由使用和使用Xilixn官方的 MIPI CSI-2 RX Subsystem一样没有本质区别因为MIPI CSI-2 RX Subsystem也是看不到源码的
图像 ISP 处理
本博提供及其完整的图像ISP具体流程包括Bayer转RGB888、自动白平衡、色彩校正、伽马校正、RGB888转YCrCb444、图像增强、YCrCb444转RGB888、AE自动曝光等一系列操作经过ISP处理后的图像颜色饱满、画质清晰输出YCrCb422格式的视频图像 ISP 处理在工程 Block Design中如图 这些IP均为Xilinx的免费IP有的需要配置才能使用在MicroBlaze软核运行的C语言代码已经提供了配置程序其中AE自动曝光采用SDK C语言AE算法实现FPGA实时读取IMX327的亮度值然后与AE模型进行比较亮度不足则补光亮度太高则降光通过控制IMX327内部寄存器实现C代码需要在MicroBlaze软核运行
图像缓存
本设计使用Xilinx官方的VDMA图像缓存方案VDMA架构使用Xilinx官方力推的图像缓存架构实现图像3帧缓存VDMA图像缓存架构由Video In to AXI4-Stream、VDMA、Video Timing Controller、AXI4-Stream To Video Out构成其在Block Design中如下 VDMA需要驱动才能正常工作本工程提供C语言驱动
HDMI输出
HDMI输出架构由Native时序和HDMI输出模块构成Native时序负责产生输出的1920x108060Hz的时序并控制FDMA数据读出HDMI输出模块负责将VGA的RGB视频转换为差分的TMDS视频代码架构如下
工程源码架构
工程Block Design截图如下 工程综合后的源码截图如下 工程源码需要运行MicroBlaze软核用于配置ISP、VDMA等SDK工程架构如下
5、工程源码1详解
开发板FPGA型号Xilinx–Kintex7–xc7k325tffg676-2 开发环境Vivado2019.1 输入IMX327 MIPI相机4 Lane分辨率1920x108060Hz 输出HDMI分辨率1920x108060Hz FPD-Link串化方案TI的FPD953芯片 FPD-Link解串方案TI的FPD954芯片 图像缓存方案Xilinx官方VDMA方案 图像缓存路径DDR3 工程作用此工程目的是让读者掌握FPGA实现IMX327相机MIPI转FPD-Link的设计能力以便能够移植和设计自己的项目 工程Block Design和工程代码架构请参考第4章节“工程源码架构“小节内容 工程的资源消耗和功耗如下
6、工程移植说明
vivado版本不一致处理
1如果你的vivado版本与本工程vivado版本一致则直接打开工程 2如果你的vivado版本低于本工程vivado版本则需要打开工程后点击文件–另存为但此方法并不保险最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本 3如果你的vivado版本高于本工程vivado版本解决如下 打开工程后会发现IP都被锁住了如下 此时需要升级IP操作如下
FPGA型号不一致处理
如果你的FPGA型号与我的不一致则需要更改FPGA型号操作如下 更改FPGA型号后还需要升级IP升级IP的方法前面已经讲述了
其他注意事项
1由于每个板子的DDR不一定完全一样所以MIG IP需要根据你自己的原理图进行配置甚至可以直接删掉我这里原工程的MIG并重新添加IP重新配置 2根据你自己的原理图修改引脚约束在xdc文件中修改即可 3纯FPGA移植到Zynq需要在工程中添加zynq软核
7、上板调试验证
准备工作
需要准备的器材如下 FPGA开发板转接板 FPD-Link同轴线 IMX327 MIPI相机 HDMI显示器 我的开发板了连接如下
视频输出演示
输出演示如下 图传-原视频 8、工程代码的获取
代码太大无法邮箱发送以某度网盘链接方式发送 资料获取方式私或者文章末尾的V名片。 网盘资料如下 此外有很多朋友给本博主提了很多意见和建议希望能丰富服务内容和选项因为不同朋友的需求不一样所以本博主还提供以下服务
