做网站时会遇到什么问题,千年之恋网页制作代码,做设计不能不知道的网站,做贸易选哪家网站近年来#xff0c;随着移动端设备软硬件能力的进步#xff0c;移动端的算力有了很大提升#xff0c;同时面向移动端的机器学习框架和模型轻量化技术越来越成熟#xff0c;端上的AI能力逐渐进入大众视野#xff0c;端智能在电商领域也开始逐步走向规模化应用。通过持续探索… 近年来随着移动端设备软硬件能力的进步移动端的算力有了很大提升同时面向移动端的机器学习框架和模型轻量化技术越来越成熟端上的AI能力逐渐进入大众视野端智能在电商领域也开始逐步走向规模化应用。通过持续探索京东零售技数中心团队创新突破了端侧高性能推理引擎、端侧模型分发、异构环境及复杂任务兼容等技术卡点完成了多个业务应用和落地并获得信通院边缘计算产业全景图行业认证。目前京东众多业务已集成至端智能SDK流量分发、图像识别等算法场景运行情况良好日推理计算量已经达数亿次为用户带来了更好的购物体验。 1、什么是端智能
目前大多数的模型服务主要基于云服务端进行计算。模型的训练和推理都在云端使用时移动端用户通过向云服务器发送请求包含用户的原始数据。云服务器在接收到请求后进行数据预处理和推理计算等操作并将结果返回给移动端用户。云服务器承担了几乎所有的计算负载而移动端仅作为用户交互的界面。所以云端智能面临着一些瓶颈包括高延迟、高成本以及隐私安全风险。 为了打破云端智能的瓶颈端智能应运而生。端智能技术是将模型推理计算过程迁移至移动端供移动端直接调用。使用时用户在端上触发推理计算将原始数据给到模型进行特征加工和推理计算最后将结果返回给用户。相比云端智能端智能有三大优势
•实时性高端上实时响应用户请求为用户提供实时AI反馈提升用户体验
•隐私合规性强端上数据端上消费无需上传云端隐私合规性强
•具备离线服务能力推理服务无需请求云端在无网或者弱网环境下也可以使用
2、问题与挑战
受限于移动端设备的性能和多样性在移动端设备上部署端智能并非易事在端智能开发过程中遇到了各种挑战这些挑战会一直伴随着端智能开发过程需要一直去优化解决才能将端智能的体验做到极致。
计算性能
由于使用移动设备的计算资源有限要兼顾用户体验与计算效率的平衡需要针对移动端设备 的CPU/GPU使用率、内存使用率、耗电量、数据获取、任务调度等影响推理耗时的问题进行持续优化。
灵活性
业务算法模型确定后其输入输出就得遵循固定的格式。不同端智能应用场景需要的模型和特征数据处理格式存在着较大的差异如果想调整就需要改客户端逻辑功能验证和迭代效率受到极大的限制。如何在不发版的情况下解决不同业务场景需求也是需要优先解决的问题。
稳定性
端智能需要在客户端进行数据的收集、存储、处理推理任务的管理与调度推理引擎和操作系统的兼容等处理这些环节均可能引起APP的崩溃。作为一家客户为先的公司因为端智能的不稳定性导致影响用户体验这是不被允许的如何在复杂的端上环境做到零崩溃是非常大的挑战。
安全性
端上存在大量的数据端智能的数据处理逻辑和推理逻辑都是在端上进行防止数据泄露、数据篡改、保证数据的隐私合规是非常重要的。
3、京东端智能系统架构
京东零售端智能系统整体系统架构设计如下 京东端智能系统架构遵循通用性和可规模化应用的设计原则主要为云-边-端三层分别对应着算法模型的生产、部署和执行三个环节。
云对应的是由京东零售-技术研发与数据中心研发的九数算法中台负责模型训练、模型编译、模型调试。端智能模型生产和训练在云端进行在九数算法中台训练好模型后需要对模型进行裁剪和压缩实现模型的轻量化再对轻量化的模型进行编译转换以生成在端上可执行的模型文件。
边对应的是由京东零售-技术研发与数据中心研发的端智能平台负责模型的管理和模型部署分发。端智能管理平台提供了业务接入、模型管理、配置管理、模型部署、模型分发等一系列的框架能力。端智能平台模型支持A/B Test以验证算法策略的效果同时支持分级部署针对不同机型部署不同的算法模型。
端对应端智能SDK负责端上用户行为感知、数据加工以及推理任务的调度和计算。端智能SDK包含数据管道和基础容器两部分数据管道负责端上用户行为感知、数据加工、数据存储和数据上报为端智能推理提供原始数据和特征数据基础容器为端智能算法模型提供了端上的运行环境支持不同推理任务并行处理让端上推理计算高效地运转起来。
4、主要工作
4.1超实时端数据流处理
数据存储
端上的数据存储高性能移动端数据库支持数据加密支持并发数据读写满足端上数据的安全要求和高频数据读写。
端上数据的存储和获取作为推理计算的前置环节如果耗时偏高必然会增加整个端智能推理的耗时。为了最大提升数据库的性能前置了数据库路由根据数据类型需要加密的数据会存储到加密数据库不需要加密的数据会存储到非加密数据库数据库设计上采用单库单表的设计模型可以减少单个数据库文件的大小降低文件锁的竞争概率提高并发性能。同时引入了数据库的自管理机制长时间不被使用的旧数据会被删除降低数据库存储量提升数据库的读写性能。
数据处理
端上用户的原始行为通常不能直接作为模型输入进行计算京东搭建了一套数据流框架用来进行模型特征生产和特征计算。端侧模型用到的数据源大致可分为3类云端下发、端侧批量存储数据、端侧实时行为感知。云端下发是通过请求后端服务获取到的通常会在云端处理好APP内无需额外的处理可以直接使用。端侧批量存储数据指对不会实时发生变化的数据进行定期存储更新端侧实时行为感知指用户在使用APP过程中的实时行为经过加工处理后再进入模型计算。
端侧批量存储数据采用非实时批量处理模式使用数据库SQL能力进行粗粒度加工也可以在Python脚本中执行个性化处理逻辑。端侧实时行为感知采用实时计算的模式实时对用户行为进行过滤、规则匹配、关联聚合等操作生产为模型输入需要的特征数据。生产好的特征会再进一步经过特征计算包括离散特征编码、连续特征归一化等操作计算好的特征即可输入模型进行推理计算。
4.2高效端事件触发和调度
基础容器为端智能提供轻量化、高性能的执行环境同时支持模型频繁的实验和部署支持端智能在不同设备上高效运行。当算法模型下发到移动端设备后触发推理计算有两种方式API触发和事件触发。 API触发 算法工程师通过调用端智能提供的推理触发API进行触发调用方式如代码示例如下。API使用Router协议使用时传入systemCode和businessCode业务标识支持自定义输入数据在回调方法中获取推理计算结果。
JDRouter.to(JDEdgeAI, infer).putString(systemCode, xxx).putString(businessCode, xxx).extraObject(extData,HashMap).callBackListener(new CallBackWithReturnListener() {Overridepublic void onComplete(Object value) {android.util.Log.d(TAG, onCompleteWithValue value.toString());}Overridepublic void onComplete() {android.util.Log.d(TAG, onComplete);}Overridepublic void onError(int errorCode) {android.util.Log.d(TAG, onError errorCode errorCode);}}).jump(this.getContext());
事件触发 算法工程师可以在算法模型资源包中配置需要触发推理计算的埋点事件ID当基础容器监测到有对应的埋点事件时则会触发推理计算执行。基础容器中的功能均已任务化事件触发的方式不仅可以触发模型推理也可以触发特征数据计算、模型预加载等操作。触发配置如下所示taskName是任务类型events是任务触发的事件。
{triggers: [{taskName: InferTask,events: [{type: mta,pageId: JD_XXXX,needPv: false,clickIds: [JD_XXXX,]}]},{taskName: CalcTask,events: [{type: mta,pageId: JD_XXXX,needPv: false,clickIds: [JD_XXXX,JD_XXXX]}]}]
}
触发器每触发一次即创建一个任务基础容器内部的任务调度模块会对任务进行统一的编排与处理。一次推理过程会产生多个任务每个任务都包含唯一ID、前置依赖、任务优先级、后置依赖等属性。
为了高效执行任务降低推理计算耗时京东采用多任务队列按任务优先级并行执行的策略。基础容器内部预置了三个任务队列分别核心任务队列、常规任务队列、低优任务队列按照任务类型分别放入对应的任务队列中每个任务队列都有自己的执行线程执行线程会轮询执行任务队列中的任务直到产生推理计算结果本次推理任务链路结束。 为了使任务调度执行频率更高执行速度更快京东支持了多种能力
•高并发 支持多任务并发、多线程调度的任务管理模式
•优先调度 支持设置任务优先级保证高优任务优先执行
•熔断保护 对于连续 N 次运行失败或者崩溃会暂时阻止其运行
•防卡死 推理链路某环节超时会立即停止当前任务。
基础容器为每一个任务提供独立的运行环境并通过对外提供API来进行模型推理等。基础容器还对推理流程和任务链路进行了高度的抽象最大程度上的满足了不同算法场景的使用需求。
4.3高兼容性PythonVM端计算容器
为了在端侧APP满足算法模型快速迭代的需求同时降低算法工程师参与APP移动端开发的门槛我们上线了Python VM的计算容器。Python VM容器提供了一定的动态执行的能力在不依赖APP发版的情况下可以随时更新由Python编写的AI算法服务逻辑调整业务策略优化业务效果。
选用Python语言主要考量其与AI技术栈的契合Python是算法工程师最熟悉和熟练使用的语言。算法工程师在训练好模型以后将整个模型服务逻辑通过Python脚本部署在APP中无需使用JAVA、Object-C等APP开发语言显著提升算法开发效率。此外Python VM与原生APP开发环境解耦的方式使得我们可以在安卓、iOS双端使用同一套方案无需分别兼容和适配。将Python VM集成至APP中我们针对性地解决了以下3个问题
•包体积缩减只保留了Python核心执行器功能非核心的三方库也做了裁剪编译功能前置至云端完成移动端直接执行字节码
•字节码加密对动态下发的字节码采用自定义加密防止下发过程中被篡改保障安全
•线程级并行移除GIL锁的限制在APP单进程环境内使用多个线程并行执行多个任务。 4.4高性能端推理引擎
AI模型对计算和存储资源都有较高的要求因此高性能推理引擎是AI模型能在手机侧运行的核心要素。端侧推理引擎的架构与云侧推理框架整体类似包括计算图、算子的抽象等。但由于移动端资源受限一方面对引擎包体积有一定约束端侧推理引擎的算子种类需要尽量收敛实现原子算子通过原子算子组合出高阶功能算子。另一方面移动端设备硬件差异性较大CPU、GPU、NPU都包含多种型号推理引擎需要兼容各类设备。在这些通用能力之外为了保障复杂模型性能我们重点优化了以下2个维度
•算子内核针对热点算子及部分算子的低精度实现定向分析性能瓶颈利用向量化指令优化内核实现提升算子性能。
•多硬件混合调度将模型计算图拆分为多个子图不同子图可拆分至CPU、GPU、NPU多种硬件分别执行建模寻优最佳拆图方案充分挖掘利用所有硬件的算力 此外为了支持原生APP之外的场景例如H5页面、小程序等场景我们还拓展了JavaScript版本的推理引擎。JavaScript引擎提供与原生APP一致的计算接口在JS环境中自闭环使用是一套更为轻量和灵活的解决方案。
5、业务实践
端智能技术目前已经在京东流量分发、图像识别等多种算法业务场景落地。 流量分发通过用户实时浏览行为理解用户意图增强实时商品分发效果提升用户购物体验。
图像识别端上实时识别用户拍摄图片的合规性降低算法计算延时提升实时识别效果。
由于数据与模型的计算均发生在端上不依赖网络没有网络延迟。因此端智能相比云端智能的耗时有显著的降低推理效率有数十倍的提升。通过实践发现对于实时性要求高计算相对简单的场景适合端上执行。
6、总结与展望
端智能建设过程围绕计算性能、灵活性、稳定性、安全性展开动态预加载、任务调度、高性能数据存取提升了推理链路性能模型动态下发、策略配置、数据动态处理为端智能业务开发带来充足的灵活性异常监控、控制开关、兼容处理保证了端智能在线上运行的稳定性加密传输隐私合规为端智能提供了安全性保障。目前京东众多业务已集成至端智能SDK流量分发、图像识别等算法场景运行情况良好日推理计算量已经达数亿次为用户带来了更好的购物体验。
端智能的出现弥补了云端智能在网络延时、数据丰富、隐私安全、算力成本方面的不足但是端智能与云智能本身就不是割裂的技术体系而是相辅相成的未来端上模型可以作为云端模型的子模型进行前置推理端上运行小模型云端运行大模型更好地提升推理效果和速度。
端智能未来的建设方向
•平台能力建设 随着算法场景复杂性的增加开发效率将受到影响。端智能团队将通过平台能力建设提供开发、调试工具提升算法工程师的模型开发、上线效率。
•多端场景覆盖 京东中存在大量的H5、小程序等场景端智能后续将在多端进行落地算法能力将覆盖移动端全场景。
•算法场景扩展 端智能团队致力于在端上覆盖流量分发、CV、NLP等多算法场景将更多云端算法模型迁移至移动端前置计算。 作者京东零售技数中心 来源京东零售技术 转载请注明来源 更多年度盘点文章 亚洲唯一京东荣获2024年度Gartner供应链技术创新奖背后的创新探索 万字干货-京东零售数据资产能力升级与实践 2023京东零售技术年度盘点
