做网站一般分几种,家居行业网站开发,产品开发设计流程,学校网站建设的目的文章目录 基础概念自动驾驶级别再稍提一下ODD是什么#xff1f; 自动驾驶仿真分类软件在环仿真硬件仿真 仿真究竟难在哪#xff1f;关于lidar和radar区别一些名词解释 最近也是学习自动驾驶仿真相关知识#xff0c;习惯去总结一下#xff0c;方便自己回顾和总结#xff0c… 文章目录 基础概念自动驾驶级别再稍提一下ODD是什么 自动驾驶仿真分类软件在环仿真硬件仿真 仿真究竟难在哪关于lidar和radar区别一些名词解释 最近也是学习自动驾驶仿真相关知识习惯去总结一下方便自己回顾和总结主要包括了自动驾驶框架和一些关于仿真方面的简单介绍给想了解车企自动驾驶岗位的同学做一个初步普及有写的不对的地方欢迎大佬前来指点orz 总的来说仿真是自动驾驶方案的重点部分无论是仿真开发还是仿真测试都是为了实车相关部分的验证与落地。仿真开发的工作是为了去开发一套用于仿真测试的工具和算法。 QA仿真测试团队的使命是加速AD技术开发、测试验证与落地。在自动驾驶AD系统的开发流程中仿真测试、模块测试与实车测试通过实施分层测试策略紧密协作共同确保产品发布的质量和效率得以显著提升。为了实现这一目标需要设计并构建了一套全面的仿真测试方案包括丰富的测试场景集、科学的评价体系以及高效的自动化测试工具。
基础概念
自动驾驶级别
SAE是分为了L0L5根据不同程度从零到完全自动化共分为六个等级。
L0级自动驾驶 无自动油门、刹车、方向盘全程皆由驾驶者掌控。L1级自动驾驶 主要还是由驾驶者操控车辆但在特定的时候系统会介入如ESP电子车身稳定系统或ABS防锁死刹车系统L2部分自动驾驶 部分自动化驾驶者仍需专心于路况。第二级自动驾驶可说是目前各大车厂的主流车辆的速度和转向可以在一定的条件下控制但驾驶者仍需保持对路况的专注。L3有条件自动驾驶 相较于第二级第三级自动驾驶可以在一定条件下驱动车辆而不需要驾驶者专注于路况双手甚至可以离开方向盘。但驾驶者仍需随时准备接管车辆。L4高度自动驾驶 高度自动化车辆在启动自动驾驶后计算机将在目的地设置后按自己的路线行驶无需干预全面驾驶但可能需要在特定区域如高速公路或市区进行干预。这一级别的自动驾驶技术仍处于研发阶段市场上尚未有成熟的车型。L5完全自动驾驶 全自动化第五级自动驾驶车辆将完全自动化车上甚至不需要方向盘等驾驶机构完全通过电脑感知与运算来驾驶车辆。不论任何环境、路况都不需要人类驾驶介入操控。
如上述自动驾驶一直有两条路线一条是L2-L4的渐进式路线典型公司是特斯拉和多数车企一条是直接L4路线典型公司是谷歌旗下的Waymo以及国内的百度、小马等公司。 渐进式路线的思路是做事要一步步来每一步都要实现商业价值支撑着技术的演进否则很容易路子太长走不到最后。而直接L4路线的公司则认为渐进式路线为了提前商业化需要做太多的“无用功”绕太多的弯路他们认为自动驾驶的成败不在于前边谁抢占了乘用车市场而在于谁先能真正做到完全不需要人来开车如果做到了这一点就可以通过运营无人驾驶出租车的方式靠低人力成本先抢占出租车市场再进一步的无人出租便宜又方便之后它甚至可以挤压掉私家车的市场份额。
再稍提一下ODD是什么
ODD的概念来自于SAE J3016中的定义它将ODD定义为“特定驾驶自动化系统或其功能专门设计的运行条件。任何一台自动驾驶车辆都必须有一定限定的工况。 ODD运行设计域Operational Design Domain代表了自动驾驶汽车的预期操作范围包括交通状况、道路类型、天气等因素。定义涵盖了自动驾驶系统在设计时所确定的本车状态和外部环境这些环境因素包括速度、道路、交通、天气、光照等。 简单来说ODD就是要定义好在哪些工况下是能够自动驾驶的脱离了这些工况自动驾驶就不能保证工作。任何一台自动驾驶车辆都必须有一定限定的工况。 ODD的范围越广自动驾驶系统的适用性就越高但在确定ODD时需要考虑各种复杂的因素如不同的道路类型、交通情况、天气状况等这些都会影响自动驾驶系统的表现。ODD是自动驾驶技术的重要组成部分因为它决定了自动驾驶汽车在何种情况下可以安全地运行。在实际应用中ODD的确定是非常困难的因为自动驾驶系统需要在各种复杂环境中运行确定ODD需要考虑各种可能情况。 通过对于这六大要素的划分可以较为清晰地定义出自动驾驶系统可以运行的工况及范围。 可以说ODD的场景分类给予非L5级别的自动驾驶非常明确的场景定义以及测试标准可以极大程度上保障驾驶员在使用这些自动驾驶功能时的安全性。根据不同场景的业务需求进行合理地ODD设计以及测试已经成为了所有自动驾驶企业们着重关注的目标。
ODD的划分标准与框架都有相关的标准可以清晰定义那么在对ODD场景进行分类之后如何去测试这些ODD的边界来判断现有的自动驾驶系统是否合格达标呢 我们知道自动驾驶汽车的开发满足V字开发模型在V字开发模型中涉及的测试方法主要包括软件在环SIL即software-in-loop、硬件在环HIL即hardware-in-loop、车辆在环VIL即vehicle-in-loop再到最后的整车场地、道路测试等方法涵盖了从零部件到系统再到整车的全链条验证。在测试内容方面主要包括传感器、执行器、算法、人机界面测试以及整车功能等内容。
在环测试借助虚拟现实数据生成、传输与交互技术模拟自动驾驶汽车在真实道路环境行驶并通过概率分布的危险场景强化模拟方法进行的自适应加速测试。通过在环测试可以在大幅节约测试时间和成本的同时给虚拟测试提供了验证结果并为实际道路测试提供了较为真实的参考数据。
传统来说自动驾驶几大核心团队感知、PnC规控、地图、定位、仿真、系统。我主要在仿真团队所以以下就以仿真展开了
自动驾驶仿真分类
软件在环仿真
软件仿真有两种方法WorldSim、LogSim. 场景完全虚拟算法生成的叫 WorldSim将真实数据回放给算法看的叫LogSim“但WorldSim中的路网也是在对来自真实道路的数据做自动标准的基础上生成的因此WorldSim与LogSim的界限越来越模糊”。
WorldSim
完全虚拟与算法生成WorldSim利用算法生成完全虚拟的测试场景包括道路、交通参与者、天气条件等。这些场景可以根据需要进行定制以覆盖各种极端和复杂的驾驶情况。基于真实数据的路网虽然场景本身是虚拟的但WorldSim中的路网结构、交通规则等往往是在对真实道路数据进行自动化处理和标准化后生成的。这确保了仿真环境的真实性和有效性。合成数据的优势使用虚拟数据合成数据可以避免真实数据采集中的限制如数据片段的有限性、危险事件发生的不可预测性等。合成数据可以按需生成以覆盖各种可能的驾驶场景。
LogSim
真实数据回放LogSim利用从真实道路测试中收集的数据进行回放这些数据包括传感器数据、车辆状态信息等。通过这种方式测试工程师可以模拟真实道路条件下的驾驶场景以验证自动驾驶系统的性能和可靠性。数据片段的局限性使用真实道路数据做回放时能采集的片段是有限的。此外由于数据采集的延迟和不确定性可能无法完整记录某些危险事件的发生过程。结合真实与虚拟尽管LogSim主要依赖于真实数据但它也可以与虚拟数据相结合以补充或扩展测试场景。例如在真实数据的基础上添加虚拟的交通参与者或变化的环境条件。
硬件仿真
硬件仿真也主要分为两种HIL replay、HIL sim.
HIL Replay HIL Replay也称为回放测试是一种利用实际道路测试或模拟环境中收集的数据来模拟传感器输入的方法。这些数据通常包括来自各种传感器的原始信号如摄像头、雷达、激光雷达LiDAR等。 在HIL Replay中这些数据被记录下来并按照传感器信号格式进行格式化以便在HIL测试环境中重放。这种方式允许测试工程师在实验室环境中复现实际道路场景而无需实际车辆和驾驶员的参与。 HIL Replay的优势在于能够精确地模拟实际道路条件包括复杂的交通状况、天气变化等从而帮助开发者发现和解决在实际道路测试中可能遇到的问题。
HIL Sim HIL Sim硬件在环仿真则更多地侧重于使用模拟软件或模型来与硬件进行交互。这些模拟软件或模型可以是基于物理的、基于数据的或混合的用于模拟车辆的动力学、环境感知、决策制定等各个方面。 在HIL Sim中测试工程师可以构建复杂的仿真场景包括道路、交通参与者、障碍物等并通过模拟软件生成相应的传感器数据和车辆状态信息。这些数据随后被发送到被测硬件如控制器进行处理并产生相应的控制指令。 HIL Sim的优势在于其灵活性和可扩展性。测试工程师可以根据需要调整仿真场景和参数以覆盖各种可能的测试情况。此外HIL Sim还可以与其他仿真工具如软件在环仿真、驾驶员在环仿真等相结合形成更全面的测试体系。
那么硬件和软件仿真最大的区别就是会不会涉及硬件的参与即会不会与真实的物理设备产生交互。可以简单理解硬件和软件仿真都是分成两种两者的区别就是一个是用真实数据回灌一个是使用虚拟数据模拟出来的数据。
用真实交通流数据做仿真称为“回灌”回灌又可分两种直接回灌和模型回灌。大部分都是直接回灌。但是要注意的是即使是用真实数据做回灌还是会出现很多误差的原因有很多比如传感器信号的模拟、传输过程中的损耗和噪声以及延迟。
所谓“直接回灌”是指对传感器数据不做处理直接喂给算法在这种模式下车辆及场景的参数是不可调整的用某款车型采的数据就只能用于同款车型的仿真测试“模型回灌”则是指先将场景数据抽象化、模型化用一组数学公式将其表达出来在这个数学公式里面车辆及场景的参数都是可调的。
直接回灌是无需用到数学模型的“比较简单基本上只要有大数据能力都能做到”但在模型回灌方案中不管是传感器模型还是车辆的行驶轨迹、车速都是要通过数学公式来完成的。 模型回灌的技术门槛很高成本也不低 要把传感器录制的数据转换成仿真数据数据解析的过程非常难。因此当前这一技术主要停留在PR层面上。在实践中各家的仿真测试都是以算法生成的场景为主以采自真实道路集的场景为补充。
模型回灌存在的最大挑战是在场景比较复杂的情况下要将场景用公式表达的难度极高这个过程是可以通过自动化的方式来实现的但最终做出来的场景能不能用也是个问题。 Waymo在2020年公布了的“通过将传感器收集到的数据直接生成逼真的图像信息来做仿真”的ChauffeurNet其实就是在云端用神经网络将原始道路数据转换成数学模型然后做模型回灌。但一位在硅谷多年的仿真专家说这个还停留在试验阶段距离成为真正的产品还有一段时间。 比回灌更有意义的是引入机器学习或强化学习。具体地说仿真系统在充分学习各类交通参与者行为习惯的基础上训练出一些自己的逻辑并将这些逻辑公式化然后在这些公式中调参。
而一个车企是否具备做模型回灌的能力这主要取决于他们所使用的工具及场景管理能力。多数公司基于真实交通流的数据之所以不能调参是因为他们没有做好场景管理。 “用算法直接生成场景这在开发的早期当然是没问题的但局限性也很明显——那些工程师们‘想不到’的场景怎么办真实的交通状况千变万化你的想象力不可能穷举所有。 “更关键的是在工程师想象出的场景中目标物之间的交互关系往往是不自然的。比如前方有车辆插入它是以多大的角度插入在距离你10米时还是5米时插入在用算法生成场景的实践中场景参数的制定往往带有非常的大主观性、随意性工程师拍脑袋想出了一组参数注入模型但这组参数是否具有代表性呢”
某车载仿真负责人认为自然驾驶数据做泛化目前还比较前瞻但未来肯定会成为很重要的方向。可能未来用真实道路数据做仿真和用算法生成的数据做仿真这两种路线会相互渗透。 一方面用算法生成场景也依赖于工程师对真实道路场景的理解对真实场景的理解越透彻建模就越能接近真实。另一方面用真实道路数据做场景也需要对数据做切片、提取将有效部分筛选出来再设定参数、触发规则再做精细化的分类然后可以将它们逻辑化、公式化。 某仿真专家说“真实场景数据转化为标准格式化数据后可通过规则去进行赴泛化从而产生更有价值的仿真场景。”
总结两种路线相互渗透界限越来越模糊
仿真究竟难在哪
在跟很多仿真公司的专家及其下游用户交流的过程中我们了解到当下自动驾驶的仿真最难的环节之一是传感器的建模。 传感器建模可分为功能信息级建模、现象信息级/统计信息级建模及全物理级建模几个级别。 这几个概念的区别如下——
功能信息级建模简单地描述摄像头输出图像、毫米波雷达在某个范围内探测目标这些具体功能主要目的在于测试验证感知算法但对传感器本身的性能并不关注现象信息和统计信息级建模是混合的、中间层级的建模它包括一部分功能信息级建模也包括一部分物理级建模全物理级建模指对传感器工作的整个物理链路做仿真其目标在于测试传感器本身的物理性能比如毫米波雷达的滤波能力如何。
狭义上的的传感器建模拟特指全物理级的建模。这种建模很少有公司能做好具体原因如下
1.图像渲染的效率不够 从计算机图形成像原理看传感器模拟包括光线输入、输出模拟、几何形状、材质模拟、图像渲染等模拟而渲染能力和效率的差别则会影响到仿真的真实性。
2.传感器的类型太多模型精度、效率和通用性的“不可能三角” 仅有单个传感器的精度高还不够你还需要所有的传感器都能同时达到一个理想的状态这就要求建模有很广的覆盖度但在成本压力下仿真团队显然不可能对激光雷达做10个、20个版本的建模吧 另一方面又很难用一个通用的模型去将各种不同款式的传感器表达出来。 模型的精度、效率和通用性是一个“不可能三角”的关系你可以去提升其中的一面或者两个角两面但你很难去持续性地把三个维度同时提升。当效率足够高的时候模型精度一定是下降的。
“再复杂的数学模型也可能只能以99%的相似度模拟真实传感器而这剩下的1%可能就是会带来致命问题的因素。”3.传感器建模受制于目标物的参数 传感器仿真需要外部的数据即外部环境数据跟传感器有强耦合然而外部环境的建模其实也挺复杂的并且成本也不低。
数量多城市场景下建筑物的数量太多这会严重消耗用来做图像渲染的计算资源。遮挡物有的建筑物会遮挡路上的车流、行人及其他目标物体而有遮挡没遮挡计算量是完全不一样的。反射率和材质目标物的反射率、材质很难通过传感器建模搞清楚。比如可以说一个目标是个桶状的但它究竟是铁桶还是塑料桶这个很难通过建模来表达清楚即使能表达清楚要在仿真模型中把这些参数调好又是一个超级大的工程。 而目标物的材质等物理信息不清楚的话仿真的模拟器就难以选择。
4.传感器的噪声加多少很难确定 仿真工程师面临的主要挑战在于如何平衡仿真信号的逼真度与泛化能力。一方面仿真生成的传感器信号需要足够接近真实世界的数据以便深度学习模型能够准确识别出对应物体另一方面又不能过于依赖特定场景的细节而是要加入适当的噪声和复杂因素以提升模型在更广泛场景下的识别能力即泛化能力。
具体到传感器建模相机和激光雷达是两种常见的传感器类型它们的建模过程各具特色。
相机建模不仅涉及生成理想的图像模型还需要进行一系列后处理来模拟真实世界中的相机特性如模糊化、畸变、暗角、颜色转换和鱼眼效果等。这些处理旨在使仿真图像更加贴近实际拍摄效果。激光雷达的建模则更加复杂需要构建包括理想点云模型、功率衰减模型和考虑天气噪点的物理模型在内的多层次模型。理想点云模型关注于场景的基本几何信息而功率衰减模型则深入考虑了激光在传输过程中的各种衰减因素如反射、散射、大气和光学传输系数等。此外为了更全面地模拟真实环境还需要在模型中加入天气噪点等随机因素。
5.资源的限制
工程量巨大我们要对传感器做完全的物理级建模比如摄像头的光学物理参数等都要清楚还需要知道目标物感知对象的材质、反射率等数据在有足够人力的情况下一公里场景的建设周期需要差不多1个月。模型复杂度问题 物理机仿真难度即使真能建好模型的复杂度也极高很难在当前的物理机上跑起来云端仿真难度未来仿真都是要上云的虽然云端的算力‘无穷无尽’但具体分摊到某个单一节点的单一模型上云端的计算能力可能还不如物理机——并且在物理机上做仿真时如果一台机器的计算资源不够可以上三台一台负责传感器模型一台负责动力学一台负责规控但在云上跑仿真 能用在单一场景单一模型上的算力并不是无穷无尽的那么这个就限制了我们这个模型的复杂度。
6.仿真公司很难拿到传感器的底层数据 仿真公司不了解底层机制传感器内部的感知算法往往被视为黑盒子仿真公司难以了解其内部机制这增加了建模的难度。同时为了进行精确的全物理建模需要获取传感器元器件的底层参数和物理原理的深入理解这通常超出了仿真公司的能力范围因为这些参数和原理往往由传感器厂商掌握且不愿开放。 传感器厂商不愿透露传感器厂商出于技术保护和商业竞争的考虑通常不愿意向外界提供详细的底层数据包括材质物理参数等。这使得仿真公司在没有足够数据支持的情况下难以进行高精度的传感器建模。 物理级仿真技术有限目前能够进行传感器物理级仿真的主要是传感器厂商自身或上游供应商如TI、恩智浦等它们具备设计和生产传感器的技术实力和数据支持。对于国内许多传感器厂商来说由于更多地依赖外采芯片等零部件进行集成其进行物理级仿真的能力相对有限。 传感器的仿真难做也导致了传感器选型过程的复杂性。在实际应用中为了选择合适的传感器通常需要传感器公司提供样件并进行实车测试。如果传感器厂商和仿真公司能够合作提供精准的传感器建模将有助于降低选型成本并减少工作量。然而由于各种因素限制这种合作在实际操作中仍面临诸多挑战。
关于lidar和radar区别
使用技术
lidar激光雷达用激光束具有高分辨率和精度更贵radar雷达用电磁波远距离侦测和距离测量便宜一点
与什么结合
lidar通常与GPS和IMU惯性测量设备结合高准确度定位物体。radar虽然也可能与其他技术结合使用但并非其核心组成部分。
检测方面
lidar会存在人工无法标注远处300m过于稀疏点的问题radar只能拿到检测结果没有原始点云。
端到端评测和感知评测两者区别 企业更多还是依靠端到端测试感知评测占少部分。 个人理解端到端测试就是明确测试范围和具体界定指标。 感知评测是基于直觉认知和模糊数学计算进行的一种测评方式。
关于仿真数据量大上传出现的问题解决方案 主要的耗时不在上传而在压缩短数据的并行量可以上去。 优化 非必要不上传不需要图像信息的时候只上传时序信息本地校验一些名词解释
包括了一些我刚入门的一些问题和别人的回答。 台架是什么 答台架是一整套 包括服务器、设备智驾域控制器MAZU、传感器IO设备。单台架的成本是非常高的以M为级别。 硬件仿真平台和软件仿真平台有什么区别平台主要是在做什么 答硬件仿真具有物理性能软件具有数学模型目前主要是通过模拟信号。 自动驾驶仿真的框架和核心是什么 答框架车辆物理模拟 信号模拟 分析计算 核心渲染引擎 计算引擎 这几种传输给智能辅助驾驶域控制器的数据格式video、can、eth、mipi互相之间有什么联系 答实车是这些就是模拟实车 video就是接收到的图像而can主要是包括五大控制域的信息eth包括的是车载娱乐方面视频之类。 车载以太网采用星型或树型拓扑结构通过网关或交换机连接各个节点。这使得网络扩展和升级相对容易但也可能增加系统的复杂性和成本。CAN/CAN FD采用总线型拓扑结构所有节点都连接在同一条总线上。这种结构简单可靠但扩展性较差。同时CAN/CAN FD具有良好的兼容性能够与传统CAN网络无缝集成。 实现闭环和半闭环是什么意思 答大白话闭环指所有都测一遍从模型 算法 硬件 数据回溯。半闭环值的是但一某一模块的功能。 “所谓的‘没法实现闭环’也是相对的已经有供应商可以把采集到的场景里面的元素都完成参数化这样就可以闭环了但这种设备的价格是非常昂贵的。” 测试的应用场景有什么 答集成测试、功能测试、性能测试、故障注入测试 场景库是什么在仿真平台里起到camera的作用吗 答别的做的厉害的比如特斯拉可以起到camera的作用场景库就是可以当作一个静态地图在仿真平台上再加入动态元素车辆和人 数据脱敏是指什么 答把自动驾驶产生的数据其中的敏感元素进行抹除 替换 比如高精度地图转换比如摄像头拍摄的车牌号 脸 车控数据要打码或者数据替换 台架上的板卡是干什么的 答为了通信的实现信号采集、转换、处理。
大部分车企没有自己对于自动驾驶的平台方案平台方案指的就是一个综合性的系统架构旨在实现车辆的自主驾驶功能。可以大致分为软件、硬件、算法。这些部分协同工作以确保车辆能够安全、高效地行驶。目前自动驾驶领域存在多种主流平台方案如特斯拉的Autopilot、华为的ADS、百度的Apollo等。这些平台方案在感知系统、决策与规划系统、控制系统以及车载计算平台等方面各有特色但都致力于实现车辆的自主驾驶功能。
