dreamwearver做网站地图,wordpress非插件使用七牛云存储,海口的网站建设公司,linux wordpress安装目录 1、前言工程概述免责声明 2、相关方案推荐本博已有的 SDI 编解码方案本博已有的以太网方案本博已有的FPGA图像缩放方案本方案的缩放应用本方案在Xilinx--Kintex系列FPGA上的应用本方案在Xilinx--Zynq系列FPGA上的应用 3、详细设计方案设计原理框图SDI 输入设备Gv8601a 均衡… 目录 1、前言工程概述免责声明 2、相关方案推荐本博已有的 SDI 编解码方案本博已有的以太网方案本博已有的FPGA图像缩放方案本方案的缩放应用本方案在Xilinx--Kintex系列FPGA上的应用本方案在Xilinx--Zynq系列FPGA上的应用 3、详细设计方案设计原理框图SDI 输入设备Gv8601a 均衡器GTP 高速接口--解串与串化SMPTE SD/HD/3G SDI IP核BT1120转RGB纯Verilog图像缩放模块详解纯Verilog图像缩放模块使用图像缓存UDP协议栈UDP视频发送UDP协议栈数据发送MAC数据缓冲FIFO组IP地址、端口号的修改以太网网口输出方案--Tri Mode Ethernet MACQT上位机和源码工程源码架构 4、工程源码1详解--PHY芯片以太网输出方案5、工程移植说明vivado版本不一致处理FPGA型号不一致处理其他注意事项 6、上板调试验证准备工作输出视频演示 7、福利工程代码的获取 Artix7系列FPGA实现SDI视频编解码UDP以太网传输基于GTP高速接口提供工程源码和技术支持 1、前言
目前FPGA实现SDI视频编解码有两种方案一是使用专用编解码芯片比如典型的接收器GS2971发送器GS2972优点是简单比如GS2971接收器直接将SDI解码为并行的YCrCb422GS2972发送器直接将并行的YCrCb422编码为SDI视频缺点是成本较高可以百度一下GS2971和GS2972的价格另一种方案是使用FPGA逻辑资源部实现SDI编解码利用Xilinx系列FPGA的GTP/GTX资源实现解串利用Xilinx系列FPGA的SMPTE SDI资源实现SDI编解码优点是合理利用了FPGA资源GTP/GTX资源不用白不用缺点是操作难度大一些对FPGA开发者的技术水平要求较高。有意思的是这两种方案在本博这里都有对应的解决方案包括硬件的FPGA开发板、工程源码等等。
工程概述
本设计基于Xilinx的Artix7系列FPGA开发板实现SDI视频编解码图像缩放UDP以太网传输输入源为一个3G-SDI相机或者HDMI转3G-SDI盒子也可以使用HD-SDI或者SD-SDI相机因为本设计是三种SDI视频自适应的同轴的SDI视频通过同轴线连接到FPGA开发板的BNC座子然后同轴视频经过板载的Gv8601a芯片实现单端转差分和均衡EQ的功能然后差分SDI视频信号进入FPGA内部的GTP高速资源实现数据高速串行到并行的转换本博称之为解串解串后的并行视频再送入Xilinx系列FPGA特有的SMPTE SD/HD/3G SDI IP核进行SDI视频解码操作并输出BT1120视频至此SDI视频解码操作已经完成可以进行常规的图像处理操作了
本设计的目的是做图像缩放后再以UDP以太网输出解码的SDI视频针对目前市面上的主流项目需求本博设计了基于传统PHY芯片B50610的以太网输出方式首先对解码BT1120视频进行转RGB和图像缓存操作和图像缩放操作图像缩放方案采用纯verilog方案将输入的1920x1080视频缩放为1280x720再使用BT1120转RGB模块实现视频格式转换再使用本博常用的FDMA图像缓存架构实现图像3帧缓存缓存介质为板载的DDR3图像从DDR3读出后进入UDP视频发送模块对视频进行自定义协议编码然后送入UDP协议栈进行UDP以太网帧格式编码然后输出给MAC层再输出给物理层最后通过网线输出给PC上位机PC端上位机QT接收网络视频并显示图像本博客提供1套工程源码详情如下
工程源码1
开发板FPGA型号为Xilinx–Xilinx-Artix7-100T–xc7a100tfgg484-2输入视频为3G-SDI相机或者HDMI转3G-SDI盒子输入分辨率为1920x108060Hz输入视频经过板载的Gv8601a芯片实现单端转差分和均衡EQ后送入FPGA再经过GTP将SDI视频解串为并行数据再经过SMPTE SDI IP核将SDI解码BT1120数据再经过BT1120转RGB模块将BT1120转换为RGB888视频再经过自研的纯verilog实现的、支持任意比例缩放的图像缩放模块将输入视频由1920x1080缩放为1280x720再经过自研的FDMA图像缓存方案将视频写入DDR3做三帧缓存再经过UDP视频发送模块对视频进行自定义协议编码再经过UDP协议栈进行UDP以太网帧格式编码再经过Xilinx官方的Tri Mode Ethernet MAC实现MAC数据发送输出RGMII接口数据再经过板载的B50610芯片后以RJ45网口输出PC端运行QT上位机实时接收视频数据并显示出来该工程适用于SDI转网络PHY芯片方案输出场景
免责声明
本工程及其源码即有自己写的一部分也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网等等)若大佬们觉得有所冒犯请私信批评教育基于此本工程及其源码仅限于读者或粉丝个人学习和研究禁止用于商业用途若由于读者或粉丝自身原因用于商业用途所导致的法律问题与本博客及博主无关请谨慎使用。。。
2、相关方案推荐
本博已有的 SDI 编解码方案
我的博客主页开设有SDI视频专栏里面全是FPGA编解码SDI的工程源码及博客介绍既有基于GS2971/GS2972的SDI编解码也有基于GTP/GTX资源的SDI编解码既有HD-SDI、3G-SDI也有6G-SDI、12G-SDI等专栏地址链接如下 点击直接前往
本博已有的以太网方案
目前我这里有大量UDP协议的工程源码包括UDP数据回环视频传输AD采集传输等也有TCP协议的工程对网络通信有需求的兄弟可以去看看以下是专栏地址 直接点击前往
本博已有的FPGA图像缩放方案
我的主页目前有FPGA图像缩放专栏改专栏收录了我目前手里已有的FPGA图像缩放方案从实现方式分类有基于HSL实现的图像缩放、基于纯verilog代码实现的图像缩放从应用上分为单路视频图像缩放、多路视频图像缩放、多路视频图像缩放拼接从输入视频分类可分为OV5640摄像头视频缩放、SDI视频缩放、MIPI视频缩放等等以下是专栏地址 点击直接前往
本方案的缩放应用
本方案有缩放版本的应用只做SDI视频编解码之前专门写过一篇博客博客地址链接如下 点击直接前往
本方案在Xilinx–Kintex系列FPGA上的应用
本方案在Xilinx–Kintex系列FPGA上的也有应用之前专门写过一篇博客博客地址链接如下 点击直接前往
本方案在Xilinx–Zynq系列FPGA上的应用
本方案在Xilinx–Zynq系列FPGA上的也有应用之前专门写过一篇博客博客地址链接如下 点击直接前往
3、详细设计方案
设计原理框图
设计原理框图如下
SDI 输入设备
SDI 输入设备可以是SDI相机代码兼容HD/SD/3G-SDI三种模式SDI相机相对比较贵预算有限的朋友可以考虑用HDMI转SDI盒子模拟SDI相机这种盒子某宝一百块左右当使用HDMI转SDI盒子时输入源可以用笔记本电脑即用笔记本电脑通过HDMI线连接到HDMI转SDI盒子的HDMI输入接口再用SDI线连接HDMI转SDI盒子的SDI输出接口到FPGA开发板如下
Gv8601a 均衡器
Gv8601a芯片实现单端转差分和均衡EQ的功能这里选用Gv8601a是因为借鉴了了Xilinx官方的方案当然也可以用其他型号器件。Gv8601a均衡器原理图如下
GTP 高速接口–解串与串化
本设计使用Xilinx特有的GTP高速信号处理资源实现SDI差分视频信号的解串与串化对于SDI视频接收而言GTP起到解串的作用即将输入的高速串行的差分信号解为并行的数字信号对于SDI视频发送而言GTP起到串化的作用即将输入的并行的数字信号串化为高速串行的差分信号GTP的使用一般需要例化GTP IP核通过vivado的UI界面进行配置但本设计需要对SD-SDI、HD-SDI、3G-SDI视频进行自动识别和自适应处理所以需要使得GTP具有动态改变线速率的功能该功能可通过DRP接口配置也可通过GTP的rate接口配置所以不能使用vivado的UI界面进行配置而是直接例化GTP的GTPE2_CHANNEL和GTPE2_COMMON源语直接使用GTP资源此外为了动态配置GTP线速率还需要GTP控制模块该模块参考了Xilinx的官方设计方案具有动态监测SDI模式动态配置DRP等功能该方案参考了Xilinx官方的设计GTP 解串与串化模块代码架构如下
SMPTE SD/HD/3G SDI IP核
SMPTE SD/HD/3G SDI IP核是Xilinx系列FPGA特有的用于SDI视频编解码的IP该IP配置使用非常简单vivado的UI界面如下 SMPTE SD/HD/3G SDI IP核必须与GTP配合才能使用对于SDI视频接收而言该IP接收来自于GTP的数据然后将SDI视频解码为BT1120视频输出对于SDI视频发送而言该IP接收来自于用户侧的的BT1120视频数据然后将BT1120视频编码为SDI视频输出该方案参考了Xilinx官方的设计SMPTE SD/HD/3G SDI IP核代码架构如下
BT1120转RGB
BT1120转RGB模块的作用是将SMPTE SD/HD/3G SDI IP核解码输出的BT1120视频转换为RGB888视频它由BT1120转CEA861模块、YUV422转YUV444模块、YUV444转RGB888三个模块组成该方案参考了Xilinx官方的设计BT1120转RGB模块代码架构如下
纯Verilog图像缩放模块详解
工程源码1、2的图像缩放模块使用纯Verilog方案功能框图如下由跨时钟FIFO、插值RAM阵列构成跨时钟FIFO的目的是解决跨时钟域的问题比如从低分辨率视频放大到高分辨率视频时像素时钟必然需要变大这是就需要异步FIFO了插值算法和RAM阵列具体负责图像缩放算法层面的实现 插值算法和RAM阵列以ram和fifo为核心进行数据缓存和插值实现设计架构如下 图像缩放模块代码架构如下模块的例化请参考工程源码的顶层代码 图像缩放模块FIFO的选择可以调用工程对应的vivado工具自带的FIFO IP核也可以使用纯verilog实现的FIFO可通过接口参数选择图像缩放模块顶层接口如下
module helai_video_scale #(//---------------------------Parameters----------------------------------------parameter FIFO_TYPE xilinx, // xilinx for xilinx-fifo ; verilog for verilog-fifoparameter DATA_WIDTH 8 , //Width of input/output dataparameter CHANNELS 1 , //Number of channels of DATA_WIDTH, for color imagesparameter INPUT_X_RES_WIDTH 11 //Widths of input/output resolution control signals
)(input i_reset_n , // 输入--低电平复位信号input [INPUT_X_RES_WIDTH-1:0] i_src_video_width , // 输入视频--即缩放前视频的宽度input [INPUT_X_RES_WIDTH-1:0] i_src_video_height, // 输入视频--即缩放前视频的高度input [INPUT_X_RES_WIDTH-1:0] i_des_video_width , // 输出视频--即缩后前视频的宽度input [INPUT_X_RES_WIDTH-1:0] i_des_video_height, // 输出视频--即缩后前视频的高度input i_src_video_pclk , // 输入视频--即缩前视频的像素时钟input i_src_video_vs , // 输入视频--即缩前视频的场同步信号,必须为高电平有效input i_src_video_de , // 输入视频--即缩前视频的数据有效信号,必须为高电平有效input [DATA_WIDTH*CHANNELS-1:0] i_src_video_pixel , // 输入视频--即缩前视频的像素数据input i_des_video_pclk , // 输出视频--即缩后视频的像素时钟,一般为写入DDR缓存的时钟output o_des_video_vs , // 输出视频--即缩后视频的场同步信号,高电平有效output o_des_video_de , // 输出视频--即缩后视频的数据有效信号,高电平有效output [DATA_WIDTH*CHANNELS-1:0] o_des_video_pixel // 输出视频--即缩后视频的像素数据
);FIFO_TYPE选择原则如下 1总体原则选择xilinx好处大于选择verilog 2当你的FPGA逻辑资源不足时请选xilinx 3当你图像缩放的视频分辨率较大时请选xilinx 4当你的FPGA没有FIFO IP或者FIFO IP快用完了请选verilog 5当你向自学一下异步FIFO时请选verilog 6不同FPGA型号对应的工程FIFO_TYPE参数不一样但选择原则一样具体参考代码
2种插值算法的整合与选择 本设计将常用的双线性插值和邻域插值算法融合为一个代码中通过输入参数选择某一种算法 具体选择参数如下
input wire i_scaler_type //0--bilinear;1--neighbor通过输入i_scaler_type 的值即可选择 输入0选择双线性插值算法 输入1选择邻域插值算法 代码里的配置如下
纯Verilog图像缩放模块使用
图像缩放模块使用非常简单顶层代码里设置了四个参数举例如下 上图视频通过图像缩放模块但不进行缩放操作旨在掌握图像缩放模块的用法如果需要将图像放大到1080P则修改为如下 当然需要修改的不仅仅这一个地方FDMA的配置也需要相应修改详情请参考代码但我想要证明的是图像缩放模块使用非常简单你都不需要知道它内部具体怎么实现的上手就能用
图像缓存
使用本博常用的的FDMA图像缓存架构缓存介质为DDR3FDMA图像缓存架构由FDMA、FDMA控制器、缓存帧选择器构成图像缓存使用Xilinx vivado的Block Design设计如下图 关于FDMA更详细的介绍请参考我之前的博客博文链接如下 点击直接前往 需要注意的是为了适应UDP视频传输这里的FDMA已被我修改和以往版本不同具体参考代码
UDP协议栈
本UDP协议栈使用UDP协议栈网表文件该协议栈目前并不开源只提供网表文件虽看不见源码但可正常实现UDP通信但不影响使用该协议栈带有用户接口使得用户无需关心复杂的UDP协议而只需关心简单的用户接口时序即可操作UDP收发非常简单协议栈架构如下 协议栈性能表现如下 1支持 UDP 接收校验和检验功能暂不支持 UDP 发送校验和生成 2支持 IP 首部校验和的生成和校验同时支持 ICMP 协议中的 PING 功能可接收并响应同一个子网内部设备的 PING 请求 3可自动发起或响应同一个子网内设备的 ARP 请求ARP 收发完全自适应。ARP 表可保存同一个子网内部256 个 IP 和 MAC 地址对 4支持 ARP 超时机制可检测所需发送数据包的目的 IP 地址是否可达 5协议栈发送带宽利用率可达 93%高发送带宽下内部仲裁机制保证 PING 和 ARP 功能不受任何影响 6发送过程不会造成丢包 7提供64bit位宽AXI4-Stream形式的MAC接口可与Xilinx官方的千兆以太网IP核Tri Mode Ethernet MAC以及万兆以太网 IP 核 10 Gigabit Ethernet Subsystem、10 Gigabit Ethernet MAC 配合使用 有了此协议栈我们无需关心复杂的UDP协议的实现了直接调用接口即可使用。。。 本UDP协议栈用户接口发送时序如下 本UDP协议栈用户接口接收时序如下
UDP视频发送
UDP视频发送实现UDP视频数据的组包UDP数据发送必须与QT上位机的接受程序一致上位机定义的UDP帧格式包括帧头个UDP数据帧头定义如下 FPGA端的UDP数据组包代码必须与上图的数据帧格式对应否则QT无法解析代码中定义了数据组包状态机以及数据帧如下 另外由于UDP发送是64位数据位宽而图像像素数据是24bit位宽所以必须将UDP数据重新组合以保证像素数据的对齐这部分是整个工程的难点也是所有FPGA做UDP数据传输的难点
UDP协议栈数据发送
UDP协议栈具有发送和接收功能但这里仅用到了发送此部分代码架构如下 UDP协议栈代码组我已经做好用户可直接拿去使用
MAC数据缓冲FIFO组
这里对代码中用到的数据缓冲FIFO组做如下解释 由于 UDP IP 协议栈的 AXI-Stream 数据接口位宽为 64bit而 Tri Mode Ethernet MAC 的 AXI-Stream数据接口位宽为 8bit。因此要将 UDP IP 协议栈与 Tri Mode Ethernet MAC 之间通过 AXI-Stream 接口互联需要进行时钟域和数据位宽的转换。实现方案如下图所示 收发路径(本设计只用到了发送)都使用了2个AXI-Stream DATA FIFO通过其中1个FIFO实现异步时钟域的转换1个FIFO实 现数据缓冲和同步Packet mode功能由于千兆速率下Tri Mode Ethernet MAC的AXI-Stream数据接口同步时钟信号为125MHz此时UDP协议栈64bit的AXI-Stream数据接口同步时钟信号应该为125MHz/(64/8)15.625MHz因此异步 AXI-Stream DATA FIFO两端的时钟分别为125MHz(8bit)15.625MHz(64bit)UDP IP协议栈的AXI-Stream接口经过FIFO时钟域转换后还需要进行数据数据位宽转换数据位宽的转换通过AXI4-Stream Data Width Converter完成在接收路径中进行 8bit 到 64bit 的转换在发送路径中进行 64bit 到 8bit 的转换
IP地址、端口号的修改
UDP协议栈留出了IP地址、端口号的修改端口供用户自由修改位置如下
以太网网口输出方案–Tri Mode Ethernet MAC
PHY芯片网络输出架构以Tri Mode Ethernet MAC为核心以PHY芯片为载体优点是FPGA逻辑设计较为简单缺点是硬件设计较为复杂硬件成本会相应提高本设计采用B50610芯片工作于延时模式RGMII接口关于该方案的以太网输出详细设计文档请参考我之前的博客博客链接如下 直接点击前往
Tri Mode Ethernet MAC主要是为了适配PHY芯片因为后者的输入接口是GMII而Tri Mode Ethernet MAC的输入接口是AXIS输出接口是GMIITri Mode Ethernet MAC配置如下 提供Tri Mode Ethernet MAC使用教程和移植教程如下
QT上位机和源码
PC端接收网络视频并运行QT上位机接收显示视频我们提供和UDP通信协议相匹配的QT抓图显示上位机及其源代码目录如下 我们的QT目前仅支持1280x720分辨率的视频抓图显示但同时预留了1080P接口对QT开发感兴趣的朋友可以尝试修改代码以适应1080P因为QT在这里只是验证工具不是本工程的重点所以不再过多赘述
工程源码架构
本博客提供1套工程源码vivado Block Design设计如下其他工程与之类似Block Design设计为图像缓存架构的部分 工程源码1工程源码架构如下
4、工程源码1详解–PHY芯片以太网输出方案
开发板FPGA型号Xilinx-Artix7-100T–xc7a100tfgg484-2 开发环境Vivado2019.1 输入3G-SDI相机或HDMI转SDI盒子分辨率1920x108060Hz 输出RJ45网口分辨率1280x72060Hz SDI视频解串方案Xilinx–GTP高速接口解串 SDI视频解码方案Xilinx–SMPTE SD/HD/3G SDI解码 图像缩放方案自研纯Verilog图像缩放 图像缩放实例1920x1080缩放到1280x720 图像缓存方案自研FDMA方案 图像缓存介质DDR3 以太网输出方案PHY芯片以太网输出 PHY芯片B50610延时模式RGMII接口 PC端接收方案QT上位机 工程作用此工程目的是让读者掌握Xilinx–Artix7低端系列FPGA实现SDI转网口的设计能力以便能够移植和设计自己的项目 工程Block Design和工程代码架构请参考第3章节的《工程源码架构》小节内容 工程的资源消耗和功耗如下
5、工程移植说明
vivado版本不一致处理
1如果你的vivado版本与本工程vivado版本一致则直接打开工程 2如果你的vivado版本低于本工程vivado版本则需要打开工程后点击文件–另存为但此方法并不保险最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本 3如果你的vivado版本高于本工程vivado版本解决如下 打开工程后会发现IP都被锁住了如下 此时需要升级IP操作如下
FPGA型号不一致处理
如果你的FPGA型号与我的不一致则需要更改FPGA型号操作如下 更改FPGA型号后还需要升级IP升级IP的方法前面已经讲述了
其他注意事项
1由于每个板子的DDR不一定完全一样所以MIG IP需要根据你自己的原理图进行配置甚至可以直接删掉我这里原工程的MIG并重新添加IP重新配置 2根据你自己的原理图修改引脚约束在xdc文件中修改即可 3纯FPGA移植到Zynq需要在工程中添加zynq软核
6、上板调试验证
准备工作
需要准备的器材如下 FPGA开发板 SDI摄像头或HDMI转SDI盒子 网线 我的开发板了连接如下 QT上位机配置如下
输出视频演示
以工程13G-SDI输入图像缩放转网络输出为例输出如下 3G-SDI输入图像缩放转网络输出 7、福利工程代码的获取
福利工程代码的获取 代码太大无法邮箱发送以某度网盘链接方式发送 资料获取方式私或者文章末尾的V名片。 网盘资料如下 此外有很多朋友给本博主提了很多意见和建议希望能丰富服务内容和选项因为不同朋友的需求不一样所以本博主还提供以下服务
