代理网站在线,网站转wordpress,铁路建设监理协会官方网站,大型电子商务网站建设公司睿思BI从v5.3开始支持网络爬虫#xff0c;可以从指定URL抓取表格数据#xff0c;本示例实现从网络上抓取上市企业招商银行的利润表数据#xff0c;并在睿思BI中进行展现。
功能演示URL#xff1a;https://www.ruisitech.com/rsbi-ultimate/#/dashboard/ShareView?token31…睿思BI从v5.3开始支持网络爬虫可以从指定URL抓取表格数据本示例实现从网络上抓取上市企业招商银行的利润表数据并在睿思BI中进行展现。
功能演示URLhttps://www.ruisitech.com/rsbi-ultimate/#/dashboard/ShareView?token31f6159469ae4e7b8108f9d66eed5658
首先从搜狐财经抓取招商银行利润表数据操作过程如下
1.在睿思BI系统数据抽取页面点击加号按钮选择通过爬虫抽取数据菜单系统进入爬虫配置页面如下图 2.录入招商银行利润表的页面URL设置编码方式点击解析网页按钮结果如下图 3.选择需要解析的表格数据点击下一步进入爬虫数据映射配置页面如下图 4.根据数据预览界面中的数据结构新建数据表然后配置字段映射、设置任务节点名称、配置完成后点击执行按钮把数据抽取到睿思BI系统的表中此处建的表都是字符字段类型。
第二步对抽取的数据进行清洗
1.在数据转换模块点击加号按钮选择创建JS脚本菜单编写js代码把字段类型转换成数字类型代码如下图
var q12023 row.get(2023q1);
var q42022 row.get(2022q4);
var q32022 row.get(2022q3);
var q22022 row.get(2022q2);
if(q12023 --){q12023 null;
}else{q12023 Number(q12023);
}
if(q42022 --){q42022 null;
}else{q42022 Number(q42022);
}
if(q32022 --){q32022 null;
}else{q32022 Number(q32022);
}
if(q22022 --){q22022 null;
}else{q22022 Number(q22022);
}
row.put(2023q1, q12023);
row.put(2022q4, q42022);
row.put(2022q3, q32022);
row.put(2022q2, q22022);
return row;
2.再通过数据转换模块的 SQL脚本功能编写SQL语句把表的季度字段转换成维度SQL语句如下图
select zq, 2023q1 as kpi, 202303 as quarter, companyfrom dw_finance_lrb_changetypeunion allselect zq, 2022q4 as kpi, 202212 as quarter, companyfrom dw_finance_lrb_changetypeunion allselect zq, 2022q3 as kpi, 202209 as quarter, companyfrom dw_finance_lrb_changetypeunion allselect zq, 2022q2 as kpi,202206 as quarter, companyfrom dw_finance_lrb_changetype
3.通过数据填报功能创建利润表的科目信息并设置科目的IDPIDlevel等字段内容数据如下图 直接通过数据填报的批量导入功能把科目表数据导入系统中。
3.通过数据转换的SQL脚本功能把利润表和科目表进行关联sql如下
select a.kpi, a.company, a.quarter, b.name, b.id, b.pid, b.levelfrom dm_finance_lrb_kpi a, kemu bwhere a.zq b.name 第三步对清洗后的数据进行建模
1.主要配置维度和度量如下图所示 2.请注意其中季度是时间维度维度类型为季度科目是父子维度需要在维度中进行配置界面如下图 第四步在仪表盘中展现招商银行的利润表
1.创建交叉表组件选择刚才创建的立方体如下图 2.把科目的一级二级拖入交叉表的行标签中把季度放入列标签中把金额放入季度的下方如下图 3.在交叉表属性面板中勾选折叠父子维度再配置仪表盘的筛选上市企业的参数最终效果如下图
