2017网站建设报价单,自适应网站平台,门户app网站建设多少钱,正规的企业建站公司数据科学是一门利用统计学、机器学习、数据挖掘、数据可视化等技术和方法#xff0c;从数据中提取知识和信息的交叉学科。自上世纪60年代#xff0c;统计学家John W.Tukey首次提出“数据分析”#xff08;Data Analysis#xff09;的概念起#xff0c;数据科学已历经了几十… 数据科学是一门利用统计学、机器学习、数据挖掘、数据可视化等技术和方法从数据中提取知识和信息的交叉学科。自上世纪60年代统计学家John W.Tukey首次提出“数据分析”Data Analysis的概念起数据科学已历经了几十年的蓬勃发展渡过了统计分析、数据挖掘、大数据等几个不同的发展阶段直到今天的人工智能(AI)时代。 伴随着数据科学的不断发展用以辅助数据科学研究的数据科学工具也随之而生并在数据科学发展的各个阶段都给予了有力的支撑。如S语言、商业智能(BI)工具、R语言、Spark、Flink、Tensorflow等。但这些数据科学工具使用难度较大需要使用者具备一定水准的编程能力。这对于从事专业学科研究的人员而言门槛较高。因为其除了需要掌握本专业的知识外还需要具备相应的编程能力这样才有可能从事学科数据的科学研究难度可想而知。因此很多的科学研究工作都不得不采用团队协作的方式进行。团队由专业学科人员、程序员等组成大家各司其职相互配合。但这样的协作方式无疑会增加沟通成本、时间成本等各类成本。大约在2000年代初期以Pentaho现在为Hitachi Vantara的子公司为代表的一众公司推出了基于图形化界面的低代码数据科学工具。支持用户通过简单的拖放操作所见即所得的构建数据处理及数据分析的流程大大降低了数据科学研究的时间成本和入门门槛使得专业的学科人员有机会通过简单的学习就直面学科数据的科学研究工作。如Kettle(ETL工具)、RapidMiner、KNIME等。这类工具界面简单易用极大的提升了数据科学的研究效率。但与此同时简单的操控背后也隐藏着不小的缺憾就是编写流程时的流程排错相对困难且不友好。
进行数据的可视化流程构建时总不是那么一帆风顺的时常会遇到数据中存在一些意想不到的问题如值缺失、值类型不匹配、数据超长等。这些问题在最初的流程编写时往往会被忽视。因为我们一般不会为未知的数据质量问题提前做好各类处置。一是问题各式各样无法提前预知二是所有额外的处理都会降低流程的执行效率。所以流程基本都是在发现问题解决问题这样的过程中不断完善的。在基于编程的数据科学工具中这类问题可通过调试工具方便的予以定位并解决。流程编写者可通过打印输出或下断点的方式定位引发问题的数据并编写处理逻辑予以解决。而低代码数据科学工具由于未向流程编写者暴露底层接口所以一般都是采用日志输出的方式帮助使用者定位流程中问题的。但日志输出的方式在数据量特别大流程步骤较多的情况下非常不友好会严重拖累流程的执行速度也不容易定位到异常数据的位置和特征。因此断点技术仍是流程排错的不二选择。 早期的低代码数据科学工具基本都是单机类工具由于断点调试技术有一定难度因此只有少部分工具提供了类似功能如Kettle、RapidMiner等。而如今随着大数据的兴起数据科学研究呈现出更复杂的趋势且有更高的共享需求。因此能够支持多人协同共享的SAAS平台类工具成为了如今低代码数据科学工具的主流。而这类工具支持断点调试功能就更加困难了。本文将向大家呈现一款低代码的数据科学SAAS类工具—Sengee(神机)。该工具支持断点调试功能可以简单友好的辅助数据研究人员完成数据流程的编写。 Sengee是一款支持分布式计算引擎的低代码数据科学工具它支持多人并发使用。支持水平扩展计算引擎以满足使用者数量的扩展。其技术架构如下 (图1) 用户使用Sengee平台提供的Web界面通过拖拽完成流程定义。然后将流程发送给Sengee服务器。Sengee服务器通过任务调度管理将流程随机派发给一个可用的计算引擎完成流程的执行。流程定义界面如下图 (图2) 当需要对流程进行断点调试时点中算子端口会弹出断点设置的浮动按钮即“闪电”图标按钮(图3) (图3) (图4) (图5) 点击按钮为端口设置断点(图4)。表示当该端口有数据流过时触发断点。Sengee系统中的断点与一般调试工具和其它低代码科学工具都有所不同其断点是设置在端口上的。输入/输出端口都允许设置断点且允许设置多个断点。也允许对已设置断点的端口删除或禁用断点(图5)。 断点设置好后点击“调试”按钮调试流程。流程被派发到计算引擎后计算引擎解释执行流程。当触发断点后会反馈回界面如下图 (图6) 算子端口上会浮动出一个小窗口。点击眼睛的按钮可弹出一个窗口显示触发断点的数据。也可以通过点击界面的”断点”页查看触发断点时的数据的样子。如希望放过断点继续执行可点击下一断点的按钮跳过当前断点。可以点击界面最上方的“跳过所有断点”的按钮或“停止”按钮继续或终止流程的运行。 若数据量比较大希望在数据满足某种特征后才触发断点。可使用条件断点功能即为断点设置触发条件。断点的触发条件支持MOQL语句的Filter语法在此不做赘述。如下图所示可在“断点”页中为选中的断点输入断点出发条件。 (图7) 调试流程当数据满足触发条件时触发断点。需要注意的是在Sengee中数据是以集合为基本单元在算子间流动的若集合中有两条数据满足断点触发条件其也只会被触发一次。若希望达到每一条数据都能够触发断点的调试效果可将数据集合的大小设置为1则每个集合每次都只有一条数据这样就可达到每条数据都可触发条件断点的效果了。但这势必会使流程的运行效率大幅下降。这种技巧只建议在细粒度定位流程处理问题时使用。
关于Sengee调试功能更直观的介绍可参见以下两个视频
《技术控看这里一款支持断点调试的低代码科学计算工具》《技术控看这里一款支持断点调试的低代码科学计算工具-条件断点》 写在最后对于低代码数据科学工具而言易用性与可交互性是产品能否成功的重要指标我们还在路上欢迎有兴趣的朋友联系我们试用产品并给予我们您宝贵的意见和建议。
