网站建设与管理需要哪些证书,推荐一个国外好的网站模板,推荐好的简历制作网站,怎样建一个自己的网站LF Edge eKuiper 是 Golang 实现的轻量级物联网边缘分析、流式处理开源软件#xff0c;可以运行在各类资源受限的边缘设备上。eKuiper 的主要目标是在边缘端提供一个流媒体软件框架#xff08;类似于 Apache Flink #xff09;。eKuiper 的规则引擎允许用户提供基于 SQL 或基… LF Edge eKuiper 是 Golang 实现的轻量级物联网边缘分析、流式处理开源软件可以运行在各类资源受限的边缘设备上。eKuiper 的主要目标是在边缘端提供一个流媒体软件框架类似于 Apache Flink 。eKuiper 的规则引擎允许用户提供基于 SQL 或基于图形类似于 Node-RED的规则在几分钟内创建物联网边缘分析应用。 近日eKuiper 发布了 1.8.0 版本。该版本的主要亮点有
零编码 AI 推理 通过通用 AI 函数用户无需编码即可针对流式数据或视频流实现实时 AI 算法推理。该函数可以推理任意的 Tensor Flow Lite 模型。用户模型训练完成后下发模型即可使用十分灵活快捷。可视化规则创建 管理控制台中集成了可视化规则编辑器 Flow Editor。用户使用免费的 eKuiper manager 管理控制台时可通过可视化拖拽 UI 进行规则的新建和编辑。更灵活的数据传输配置 重构了外部连接 source/sink 的格式和序列化实现解耦了格式和传输协议并支持更多的格式如 csv 和自定义格式。
完整功能列表请查看 Release Note。
同时产品团队也重构了文档结构更新了安装和应用场景文档方便用户快速找到有用的文档信息。
通用 AI 函数
之前的版本中eKuiper 支持通过扩展的方式在插件中调用 AI/ML 模型进行流式数据算法推理。这种方法方便用户进行算法的预处理和后处理但有较高的使用门槛运维更新也比较复杂。
新版本提供了 Tensor Flow Lite 函数插件用于在流式计算和视频流中进行实时 AI 推理。这个函数为通用的 AI 函数可用于处理大部分已预训练好的 Tensor Flow Lite 模型。使用中用户只需上传或提前部署好需要使用到的模型无需额外编码即可在规则中使用这些模型。
tfLite 函数接收两个参数其中第一个参数为模型扩展名须为 .tflite的名称第二个参数为模型的输入。假设用户预先训练好了文本分类模型 text_model 和智能回复模型 smart_reply_model需要对实时流入 eKuiper 的数据应用这两个模型分析。使用时仅需要两个步骤
下发模型到 eKuiper 部署的边缘端可通过 eKuiper 的 upload API 或者其他应用管理。配置规则使用 tfLite 函数指定模型名称即可使用如下示例
SELECT tfLite(\text_model\, data) as result FROM demoModel
SELECT tfLite(\smart_reply_model\, data) as result FROM demoModel函数会在 eKuiper 层面针对输入数据格式进行验证。用户可以通过更多的 SQL 语句对模型的输入和输出做预处理或者后处理。
图像/视频流推理
配合新版本提供的视频流源详情见下文eKuiper 提供了视频接入并定时获取图像帧的能力。图像帧可在规则中使用 tfLite 函数进行 AI 推理。Tensor Flow 模型通常是针对特定的图像大小进行训练的对图像进行推理时经常需要进行变更大小等预处理。eKuiper 也提供了 resize、thumnail 等预处理方法。函数会返回 output tensor 的数组表示供后续规则或应用处理。
在以下的规则 ruleTf 中我们调用了 label.tflite 模型对传入的图像先进行预处理大小调整为 224 * 224。
SELECT tfLite(\label\, resize(self, 224, 224, true) as result FROM tfdemo这个规则的执行示意图如下所示。 使用通用 AI 函数用户可以快速部署、验证和更新 AI 模型加快应用的迭代更新。
可视化编辑器 Flow Editor
eKuiper 从 1.6.0 版本开始提供适合面向可视化界面的图规则 API相比于 SQL 更适合于构建 UI 界面。在 1.8.0 版本中我们正式在免费的 eKuiper manager 管理控制台中提供了 Flow Editor 可视化编辑器。用户在创建和编辑规则时可选择使用原有的 SQL 规则编辑器或使用试用版本的 Flow Editor。
Flow Editor 的界面如下图所示。它的使用遵循主流可视化工作量编辑器的风格和使用逻辑。左侧是可用节点用户自定义插件和函数也会出现在列表中。中间是画布用户可拖拽节点并连线右侧是属性配置视图点击节点后可在此配置。欢迎大家试用并反馈宝贵意见。 除了集成原有功能到 Flow Editor 中新版本中还添加了两种节点
Switch node: 该节点允许消息被路由到不同的流程分支类似于编程语言中的 switch 语句。Script node: 该节点允许针对传递的信息运行 JavaScript 代码。
有了这两种节点Flow Editor 可以创建传统多分支工作流并且更加容易进行节点的扩展实现脚本编写。
连接格式优化和自定义序列化和 Schema
eKuiper 通过 source/sink 与外部系统进行连接、读入或写出数据。以 source 为例每种类型的 source 读取数据时都需要经过连接connect和序列化serialization两个步骤。例如MQTT source连接意味着遵循 MQTT 协议连接 broker而序列化则是将读取到的数据 payload 解析成 eKuiper 内部的 map 格式。
连接和序列化
此前连接和序列化通常在 source 内部实现因此当用户需要解析自定义格式时即使连接协议是 MQTT 等已支持协议仍然需要编写完整的 source 插件。新的版本中格式和 source 类型进一步分离用户可以自定义格式而各种格式可以与不同的连接类型结合使用。自定义格式的编写方法请参考格式扩展。
例如创建 MQTT 类型的数据流时可定义各种不同的 payload 格式。默认的 JSON 格式
CREATE STREAM demo1() WITH (FORMATjson, TYPEmqtt, DATASOURCEdemo)MQTT 类型的数据流使用自定义格式此时 MQTT 的 payload 中的数据应当使用自定义的格式
CREATE STREAM demo1() WITH (FORMATcustom, SCHEMAIDmyFormat.myMessage, TYPEmqtt, DATASOURCEdemo)Schema
此前 eKuiper 支持在 Create Stream 的时候指定数据结构类型等。但该方式存在一些不足
额外性能消耗。当前的 Schema 没有与数据原本的格式 Schema 关联因此在数据解码之后需要再额外进行一次验证/转换而且该过程基于反射动态完成性能较差。例如使用 Protobuf 等强Schema 时经 Protobuf 解码之后的数据应当已经符合格式不应再进行转换。Schema 定义繁琐。同样无法利用数据本身格式的 Schema而是需要额外配置。
新的版本中Stream 定义时支持逻辑 Schema 和格式中的物理 Schema 定义。SQL 解析时会自动合并物理 Schema 和逻辑 Schema用于指导 SQL 的验证和优化。同时我们也提供了 API用于外部系统获取数据流的实际推断 Schema。
GET /streams/{streamName}/schema格式列表
新版本中支持的格式扩展到如下几种。部分格式包含内置的序列化部分格式如 Protobuf既可以使用内置的动态序列化方式也可以由用户提供静态序列化插件以获得更好的性能。在 Schema 支持方面部分格式带有 Schema而自定义格式也可以提供 Schema 实现。 分析能力增强
新的版本继续加强了有状态分析函数的能力同时提供了统计函数提升了产品原生的分析能力。
有条件分析函数
分析函数添加了 WHEN 条件判断子句根据是否满足条件来确定当前事件是否为有效事件。 当为有效事件时根据分析函数语意计算结果并更新状态。当为无效事件时忽略事件值复用保存的状态值。完整的分析函数语法为
AnalyticFuncName(arguments...) OVER ([PARTITION BY partition key] [WHEN Expression])增加了 WHEN 子句之后分析函数可以实现更加复杂的有状态分析。例如计算状态的持续时间
SELECT lag(StatusDesc) as status, StartTime - lag(StartTime) OVER (WHEN had_changed(true, StatusCode)), EquipCode FROM demo WHERE had_changed(true, StatusCode)其中lag(StartTime) OVER (WHEN had_changed(true, StatusCode)) 将返回上次状态变化时的时间。因此使用当前时间减去该时间可实时计算出状态的持续时间。
统计函数
新的版本中我们提供了多个聚合统计函数例如标准差、方差和百分位的计算。
连接生态扩展
eKuiper 可以处理二进制图像数据但是此前的测试中图像都是经由 MQTT、HTTP 等偏向文本数据传输的协议来发送。新版本提供了视频流源增加了一种新的二进制数据源。另外我们大幅增强了文件 source 的能力支持更多文件类型并支持流式消费文件内容。
文件源
之前版本的文件源主要用于创建 Table对流式处理的支持不够完善。新的版本中文件源也支持作为用作流此时通常需要设置 interval 参数以定时拉取更新。同时增加了文件夹的支持多种文件格式的支持和更多的配置项。
新版本中支持的文件类型有
json标准的 JSON 数组格式文件。如果文件格式是行分隔的 JSON 字符串需要用 lines 格式定义。csv支持逗号分隔的 csv 文件以及自定义分隔符。lines以行分隔的文件。每行的解码方法可以通过流定义中的格式参数来定义。例如对于一个行分开的 JSON 字符串文件类型应设置为 lines格式应设置为 JSON。
创建读取 csv 文件的数据流语法如下
CREATE STREAM cscFileDemo () WITH (FORMATDELIMITED, DATASOURCEabc.csv, TYPEfile, DELIMITER,)视频流源
视频源用于接入视频流例如来自摄像头的视频或者直播视频流。视频流源定期采集视频流中的帧作为二进制流接入 eKuiper 中进行处理。
通过视频源接入的数据可以使用已有的 SQL 功能例如 AI 推理函数功能等转换成数据进行计算或输出为新的二进制图像等。
规则自动化运维
部署在边缘端的规则运维相对困难。而边缘端的部署数量通常较大手工重启规则或重启 eKuiper 也会成为较为繁琐的工作。新的版本中我们增强了规则的自治和自适应能力。
规则自动重启策略
规则因各种原因出现异常时可能会停止运行其中有些错误是可恢复的。eKuiper 1.8.0 提供了可配置的规则自动重启功能使得规则失败后可以自动重试从而从可恢复的错误中恢复运行。
用户可配置全局的规则重启策略也可以针对每个规则配置单独的重启策略。规则重启配置的选项包括
重试次数重试间隔重试间隔系数即重试失败后重试时间增加的倍数最大重试间隔随机重试延迟防止多个规则总是在同一个时间点重试造成拥塞
通过配置重试可以在出现偶发错误时自动恢复减少人工运维的需要。
数据导入导出
新版本中提供了 REST API 和 CLI 接口用于导入导出当前 eKuiper 实例中的所有配置流、表、规则、插件、源配置、动作配置、模式。这样可以快速地备份配置或者移植配置到新的 eKuiper 实例中。导入导出的规则集为文本的 JSON 格式可读性较强也可以手工编辑。
导出配置的 rest 接口为 GET /data/export通过此 API 可导出当前节点的所有配置导出配置的 rest 接口为 POST /data/import通过此 API 可导入已有配置至目标 eKuiper 实例中如果导入的配置中包含插件native、静态模式static schema的更新则需要调用接口POST /data/import?stop1导入配置的状态统计可用 GET /data/import/status 接口查看
Portable 插件热更新
相比原生插件Portable 插件更加容易打包和部署因此也有更多的更新需求。之前的版本中Portable 插件更新后无法立即生效需要手动重启使用插件的规则或者重启 eKuiper。eKuiper 1.8.0 中插件更新后使用插件的规则可无缝切换到新的插件实现中减少运维工作。 版权声明 本文为 EMQ 原创转载请注明出处。 原文链接https://www.emqx.com/zh/blog/ekuiper-v-1-8-0-release-notes
