一号网站建设,视频运营管理网站,wordpress文章价格产品价格,设计师网站 知乎文章目录 一、Logview简介1、概述2、标题与功能3、基础信息 二、作业详情1、Job Details2、Fuxi Sensor3、Result①当前作业运行成功#xff0c;显示的为运行结果。②当前作业运行失败#xff0c;显示的为失败原因。 4、SourceXML5、SQL Script6、History7、SubStatusHistory… 文章目录 一、Logview简介1、概述2、标题与功能3、基础信息 二、作业详情1、Job Details2、Fuxi Sensor3、Result①当前作业运行成功显示的为运行结果。②当前作业运行失败显示的为失败原因。 4、SourceXML5、SQL Script6、History7、SubStatusHistory 三、分析调优四、常见报错 一、Logview简介
1、概述
Logview是MaxCompute作业运行状态信息记录与展现的一个工具目前支持如下功能
1.支持以交互式DAG图展示作业处理逻辑架构 查看相应的Operation层级。2.支持回放作业运行过程。3.支持通过Fuxi Sensor查看内存及CPU使用情况。2、标题与功能 分别对应以下功能
MaxCompute作业时生成的唯一作业ID
打开本地保存的作业详情文件Logview_detail.txt。
返回Logview 1.0版界面。
将作业详情文件保存至本地设备。3、基础信息 参数描述MaxCompute Service作业使用的MaxCompute服务的Endpoint。Endpoint详情请参见Endpoint。Project作业所属的MaxCompute项目名称。Cloud account提交作业的阿里云账号信息。Type作业的类型。例如SQL、SQLRT、LOT、XLib、CUPID、AlgoTask和Graph。Status作业的状态。状态取值如下Success作业执行成功。Failed作业执行失败。Canceled作业执行取消。Waiting作业正在MaxCompute中处理并没有提交至Fuxi中运行Running作业正在Fuxi中处理。Terminated作业已执行结束。Start Time作业提交时间。End Time作业执行结束时间。Latency作业执行消耗的时长。Progress作业执行进度。Priority作业优先级。Queue作业在资源配额组内的排队位置。
二、作业详情 1、Job Details
主要介绍下Fuxi Task MaxCompute作业由一个或多个Fuxi Job组成。 每个Fuxi Job由一个或多个Fuxi Task组成。 每个Fuxi Task由一个或者多个Fuxi Instance组成 #mermaid-svg-O1XqdpQJhn2JMNJF {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-O1XqdpQJhn2JMNJF .error-icon{fill:#552222;}#mermaid-svg-O1XqdpQJhn2JMNJF .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-O1XqdpQJhn2JMNJF .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-O1XqdpQJhn2JMNJF .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-O1XqdpQJhn2JMNJF .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-O1XqdpQJhn2JMNJF .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-O1XqdpQJhn2JMNJF .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-O1XqdpQJhn2JMNJF .marker{fill:#333333;stroke:#333333;}#mermaid-svg-O1XqdpQJhn2JMNJF .marker.cross{stroke:#333333;}#mermaid-svg-O1XqdpQJhn2JMNJF svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-O1XqdpQJhn2JMNJF .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-O1XqdpQJhn2JMNJF .cluster-label text{fill:#333;}#mermaid-svg-O1XqdpQJhn2JMNJF .cluster-label span{color:#333;}#mermaid-svg-O1XqdpQJhn2JMNJF .label text,#mermaid-svg-O1XqdpQJhn2JMNJF span{fill:#333;color:#333;}#mermaid-svg-O1XqdpQJhn2JMNJF .node rect,#mermaid-svg-O1XqdpQJhn2JMNJF .node circle,#mermaid-svg-O1XqdpQJhn2JMNJF .node ellipse,#mermaid-svg-O1XqdpQJhn2JMNJF .node polygon,#mermaid-svg-O1XqdpQJhn2JMNJF .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-O1XqdpQJhn2JMNJF .node .label{text-align:center;}#mermaid-svg-O1XqdpQJhn2JMNJF .node.clickable{cursor:pointer;}#mermaid-svg-O1XqdpQJhn2JMNJF .arrowheadPath{fill:#333333;}#mermaid-svg-O1XqdpQJhn2JMNJF .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-O1XqdpQJhn2JMNJF .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-O1XqdpQJhn2JMNJF .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-O1XqdpQJhn2JMNJF .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-O1XqdpQJhn2JMNJF .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-O1XqdpQJhn2JMNJF .cluster text{fill:#333;}#mermaid-svg-O1XqdpQJhn2JMNJF .cluster span{color:#333;}#mermaid-svg-O1XqdpQJhn2JMNJF div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-O1XqdpQJhn2JMNJF :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 一个MaxCompute作业由一个或多个Fuxi Job组成 Fuxi Job由一个或多个Fuxi Task组成 Fuxi Task由一个或者多个Fuxi Instance组成 MaxCompute作业 Fuxi Job Fuxi Task Fuxi Instance 简单的MapReduce通常会产生两个Fuxi Task一个是Map一个是Reduce两个Fuxi Task的名称分别为M1和R2当SQL比较复杂时可能会产生多个Fuxi Task。
您可以在执行界面上看到每个Fuxi Task的名称。例如M1表示一个Map TaskR4_3_9的3、9表示它依赖M3、C9_3执行结束才能开始执行。同理M2_4_9_10_16表示M2要依赖R4_3_9、C9_3、R10_1_16、C16_1四个Task执行结束后才能开始执行。R/W表示Task读取和写的行数。
注意事项:
不支持回放Running状态的Fuxi Task。AlgoTask类型的作业例如PAI机器学习由于只有一个Fuxi Task故不提供作业执行图。非SQL类型作业仅能展示Fuxi Job和Fuxi Task层不支持展示Operation层。如果只有一个Fuxi Job作业执行图默认展示Fuxi Task层依赖关系否则默认展示Fuxi Job层依赖关系。2、Fuxi Sensor
AlgoTask和CUPID类型作业此区域会提供Sensor列您可以单击Fuxi Task对应的Sensor查看Fuxi Instance的CPU及内存信息。Fuxi Job分类如下
M数据扫描的作业。RR开头的是Reduce Job。J J开头的是Join Job。CC开头的作业是一个虚拟节点不涉及任何计算只做判断选择分支使用。Fuxi Sensor功能在西南1成都、华南1深圳、华东2上海、华东1杭州、华北3张家口和华北2北京区域已开放。 Fuxi Task会有可能因为interrupted状态而重试运行此时Progress只显示重试运行部分的进度所以会出现整个作业已经执行成功但是此Fuxi Task的Progress不是100%的现象此为正常显示。 3、Result
①当前作业运行成功显示的为运行结果。
如下面命令选择关闭显示运行结果。
setproject odps.forbid.fetch.result.by.bearertokentrue;如下Flag参数改变显示结果样式。
--CSV格式
set odps.sql.select.output.formatcsv;
--Text格式
set odps.sql.select.output.formatHumanReadable;②当前作业运行失败显示的为失败原因。
4、SourceXML
XML: 在该页签下以XML方式显示作业等级以及Task相关信息。
Settings: 在该页签下显示了当前Task的相关Setting信息。
Command: 在该页签下显示了当前Task的相关Flag设置情况。5、SQL Script
显示当前Task的SQL运行脚本。
6、History
显示了当前Task的运行历史记录。
7、SubStatusHistory
显示了当前SubTask的运行状态
状态解释Waiting for scheduling作业已提交等待MaxCompute框架调度通常时间很短。Waiting for cluster resourceMaxCompute框架发现Fuxi计算集群没资源等待中。Waiting for concurrent task slotProject级别流控Project可以设置并行提交SQL个数。Waiting for data replication等待数据复制。Waiting for execution slot系统级别流控。Waiting for cleaning up of previous task attempt等待清理执行历史完成。Waiting for execution从父进程队列拿出来分发给子进程执行过程通常很快。Preparing for execution明确知道交给子进程如果子进程出问题才会时间长。Task is executing作业在框架处理中。SQLTask is initializingSQL作业初始化中。SQLTask is compiling querySQL作业编译中。SQLTask is optimizing querySQL作业优化Query如果执行计划复杂优化时间会稍长但过长可能就是出问题了。SQLTask is splitting data sourcesSQL作业优化中切分Data Sources。SQLTask is generating execution planSQL作业生成执行计划中时间长可能是读取分区太多或者小文件太多。SQLTask is submitting execution planSQL作业提交执行计划。Job has been submitted作业提交计算集群。Offline Job Waiting for running作业提交计算集群后发现Fuxi集群Quota组无资源此状态表示作业在等待计算资源。作业提交计算集群前本来以为有计算资源实际提交后发现无计算资源就会等待。此状态只会出现一次后续就算没有计算资源也不会再显示。Offline Job is runningFuxi作业执行中 如果运行中无资源会一直保持该状态。例如高优先级作业抢占资源导致部分Fuxi Instance不能运行状态为ready。Offline Job is failedFuxi作业执行失败。Offline Job is succeedFuxi作业执行成功。SQLTask is updating meta informationSQL作业更新元数据信息状态生成动态分区时时间可能会稍长。SQLTask is finishingSQL作业执行结束。Online Job is cancelled by fuxiService Mode模式被取消。Task rerun作业重跑可能是Service Mode模式执行失败采用离线模式也可能是数据跨集群复制。Online Job Waiting for runningService Mode模式等待运行。Online Job is runningService Mode模式运行中。Online Job is failedService Mode模式执行失败。Online Job is succeedService Mode模式运行成功。Online Job is cancelled by fuxiService Mode模式作业被取消。Task key-path executing finished作业关键路径完成但是Detailstatus等尚未完成.Task key-path is finished作业关键路径完成。Instance key-path is finishedInstance关键路径完成。Task execution is finished作业处理完成生成DetailStatus。Instance execution is finished作业处理完成。Execution failed作业执行失败。
三、分析调优
四、常见报错
