wordpress 主题 样式表,廊坊百度seo公司,企业vi案例,工商名称预先核准官网导读
车载多相机采集系统是智能驾驶技术实际应用中的“眼睛”#xff0c;友思特车载图像采集和回放系统切实提升了系统的实时同步采集与回放能力#xff0c;为ADAS等应用的决策系统提供了可靠的核心数据。 视频流同步采集与智驾技术发展
在现代汽车行业中#xff0c;智能驾…导读
车载多相机采集系统是智能驾驶技术实际应用中的“眼睛”友思特车载图像采集和回放系统切实提升了系统的实时同步采集与回放能力为ADAS等应用的决策系统提供了可靠的核心数据。 视频流同步采集与智驾技术发展
在现代汽车行业中智能驾驶技术正以惊人的速度发展引领着交通领域的革新。这一技术的崛起不仅改变了传统驾驶方式更在安全性、舒适性和效率方面带来了前所未有的提升。作为智能驾驶技术的核心组成部分车载多相机系统发挥着举足轻重的作用。它们通过高精度、高速度的图像捕捉与处理为车辆提供了全方位、无死角的视觉感知能力从而极大地增强了驾驶过程中的环境感知和决策准确性。
随着科技的不断进步车载多相机系统也在不断升级和完善以适应更为复杂多变的驾驶场景。为了实现高级驾驶辅助系统ADAS和自动驾驶的精准功能车载多相机系统必须确保视频流的同步采集。车辆上传感器和相机数量的不断增多的现状对视频流的实时处理和数据融合技术也提出了更为严苛的要求。这种技术的创新不仅关乎车辆的安全性能更在自动驾驶的精确感知与决策中发挥着不可或缺的作用。因此探索先进的同步采集方案以实现车载多相机系统数据的高效处理已成为推动智能驾驶技术发展的当务之急。 图1. 车载多相机数采系统
图片来源Solectrix官网 https://solectrix.de/en/
为了适配智能驾驶技术的数采要求市场上各色的采集板卡、采集系统和方案层出不穷。首先为了同时采集多路实时视频数据采集板卡/系统对通道数量进行了拓展从传统的一两路视频数据拓展至4/6/8/16路视频数据在异步的场合基于先前收集的真实环境数据或仿真的自动驾驶数据板卡/系统需要回放带有时间戳的视频数据用于诸如硬件在环HiL测试的场合同时也对通道数量进行了拓展在同步的场合采集数据的同时需要旁通数据将同样的数据镜像同时分路用于诸如存储、处理、显示等目的也同样对通道数量进行了拓展进一步满足多样化的需求。
a.采集模式同时最多8个视频流 b.回放模式同时最多4个视频流 c.TAP模式同时最多4个视频流输入和输出 图2. 友思特车载采集卡视频数据采集回放经典配置
多路数据满足多相机实时采集的同时对硬件性能如带宽、实时性和数据传输协议也提出了高要求。在硬件性能上息息相关的是最终产品的价格影响的是产品应用过程中的性能上限而数据传输协议则是关乎数据传输实时性、准确率、实际传输速率的核心技术点。友思特 proFRAME 车载采集和回放板卡应用了SerDes技术为车载多相机的实时采集和记录回放提供了一种可行可靠的技术路线。
SerDes原理结构
SerDes核心包括串行器Serializer和解串器Deserializer是一种用于高速数据传输的接口技术。它通过将并行数据流转换为串行数据流从而提高数据传输速率并在接收端再将串行数据流转换回并行数据流。核心工作原理包括两部分
串行化SerDes的发送端串行器从本地系统接收并行数据作为输入通过FIFO传递给内部的编码器、扰码器然后将其转换为串行数据并将其作为单个数据流经由均衡器均衡后通过同轴或双绞线电缆等串行传输通道进行传输。这种方式能显著提高数据传输效率。串行化数据时串行器使用参考时钟的输入作为编码过程的一部分从而最大限度地减少并行传输中发现的时序问题类型。
反串行化SerDes的接收端解串器接收串行数据作为输入经由均衡器均衡通过CDR时钟恢复恢复时钟信号并将其转换恢复为对齐的并行数据流输出以便进一步处理。 图3. SerDes原理
图片来源维基百科https://en.wikipedia.org/wiki/SerDes
SerDes技术在现代数据传输中发挥了关键作用。它通过将高带宽的并行数据流转换为串行信号实现了更高的数据传输速率和更长的传输距离。此技术有效减少了电路板上的布线复杂性从而降低了系统成本和功耗并提升了系统的可靠性。SerDes还支持长距离传输增强了信号的抗干扰能力使得数据完整性得以保持。通过优化数据传输路径和提高速率SerDes技术显著提升了系统性能广泛应用于通信、计算机和存储领域为高效、稳定的数据传输提供了重要保障。
友思特车载图像采集和回放系统
为了获取汽车的 360° 全景环视图像需要在汽车的前后左右各设置一个或多个相机。以分辨率为3840*2160、帧率为60、输出图像数据格式为 RAW10 为例单路视频数据传输带宽要求 ≥5 Giga bit/s。
传输链路①相机实时获取的视频流数据→车载 ADAS/AD ECU
前端 GMSL/FPD-Link 相机的 CMOS 图像传感器捕获光信号并转换为电信号生成原始图像数据。在相机内部经过处理如去噪、增益、色彩校正等后通过相机的串行芯片进行串行化转为 CSI-2 标准的数据格式通过同轴线缆Coax传输到 proFRAME 板卡经过相机适配器的解串芯片进行解码将串行数据流恢复成并行的 CSI-2 图像数据格式传送至板卡的 FPGA 模块进行处理。图像数据经由板卡的 FPGA 模块同步分出两路数据一路数据传输至 ADAS 数采设备存储记录另一路数据重新经过相机适配器的串行化芯片进行串行输出通过同轴线缆传输到前端的 ECU 设备进行解串恢复成并行图像数据用于可视化或其他调试处理目的。 图4. 多相机数采系统数据传输链路
传输链路②车载 ADAS/AD ECU 的相机控制信号→相机
ECU 的相机控制信号指令如I2C和GPIO通过同轴线缆传输经由 proFRAME 板卡多路同时旁通至相机端。I2C 用于设备间的通信包括配置相机的工作参数如曝光、增益调整等GPIO 用于控制相机的行为如相机的启停、触发拍摄等。板卡也支持通过同轴线缆给相机供电PoC。
友思特 proFRAME 板卡的多路图像数据实时采集和回放功能通过其 TAP 模式实现。TAPTest Access Point是一种能够从传输网络或系统中分离出数据流并用于其他目的的工具能够在不干扰主数据流的情况下提供对数据进行访问和分析的接口。通过 proFRAME 的 TAP 模式板卡可以旁通bypass多种类型的数据包括携带高精度时间戳的视频流、相机控制信号指令、外部触发信号和 PoC 供电等。 图5.proFRAME旁通ECU的PoC
友思特 proFRAME 板卡提供了3种给相机供电8V-24V的方式 直接主机给板卡供电板卡通过稳压器将电压经由Coax传输至前端相机 外部电源连接板卡的相机适配器经由相机适配器的Coax传输至前端相机 基于板卡的TAP模式将ECU提供的PoC旁通至所连接的前端相机。 图6. proFRAME旁通ECU的触发信号
车载场合对于多传感器数据融合以及时间同步的要求非常高例如要将2D图像和激光雷达的点云图像进行融合、实现对点云数据的颜色渲染或者基于2D图像识别结果的box框对点云数据进行分割从而获取目标的三维位姿 cube。友思特 proFRAME 板卡提供了4种向相机发送同步触发信号实现相机同步的方式 板卡内部的FPGA生成时钟信号传输至相机 外部触发源通过板卡的外部触发信号口传输至FPGA再转送至相机 多proFRAME板卡通过Daisy链拓扑结构同步 ECU发送触发信号经由板卡的TAP模式旁通至相机。 图7. 友思特proFRAME图像采集和回放板卡
友思特 proFRAME 板卡采用模块化设计的方式通过切换不同的相机适配器模块适配包括 GMSL 1/2/3、FPD - Link III/IV、GVIF3、CSI-2 多种传输协议的接口相机/视频流。板卡支持同轴线缆供电和边带通信I2C和GPIO可同时进行多路视频数据的采集和回放多至8路且采集数据携带纳秒级别的高精度时间戳并能够以时间戳信息精准同步回放视频流通过TAP模式旁路各种数据在ADAS、EoL测试和 AD的硬件在环测试领域都大有建树。
总结
车载多相机实时同步采集系统在新能源汽车及智能驾驶领域扮演着至关重要的角色。系统通过高精度、高速度的图像数据采集为车辆的环境感知、行驶状态监测以及驾驶辅助提供了强有力的技术支持。
随着自动驾驶技术的不断深入发展车载相机系统的要求也日益严苛不仅需要具备高分辨率、广视角的成像能力还必须在各种复杂环境下保持稳定的性能。面对未来智能驾驶的多元化需求车载多相机实时同步采集系统将持续融合新兴技术如深度学习、计算机视觉等AI技术以提升系统的智能化水平。同时不断优化相机之间的同步性能和图像处理算法确保在多变的行车环境中能够实时、准确地捕捉关键信息为车辆的决策系统提供可靠的数据基础。
从长远来看智能驾驶技术将是未来交通出行的重要发展方向。车载多相机实时同步采集系统作为智能驾驶的“眼睛”其技术创新和性能提升将直接推动智能驾驶的发展助力实现更安全、更高效的绿色出行。同时随着技术的不断进步和成本的优化这一系统有望在未来实现更广泛的商业应用为智能交通和绿色出行贡献重要力量。 了解更多欢迎探索丰富案例https://viewsitec.com/proframe-grabber/
