电子商务的网站开发的工作内容,杭州平面设计公司,深圳社区网站开发公司,新网站怎么做推广大数据开发#xff08;日志离线分析项目#xff09; 一、项目需求1、使用jqueryecharts的方式调用程序后台提供的rest api接口#xff0c;获取json数据#xff0c;然后通过jquerycss的方式进行数据展示。工作流程如下#xff1a;2、七大角度1、用户基本信息分析模块2、浏览… 大数据开发日志离线分析项目 一、项目需求1、使用jqueryecharts的方式调用程序后台提供的rest api接口获取json数据然后通过jquerycss的方式进行数据展示。工作流程如下2、七大角度1、用户基本信息分析模块2、浏览器信息分析模块3、地域信息分析模块4、用户浏览深度分析模块5、外链数据分析模块6、订单分析模块7、事件分析模块 二、系统架构1、数据流程设计2、如何确定集群规模3、测试服务器规划 三、JS SDK1、概述2、执行工作流3、数据参数说明4、事件分析4.1 概述4.2 launch事件4.3 pageview事件4.4 chargeRequest事件4.5 event事件 四、JAVA SDK1、执行工作流2、程序后台事件分析2.1 chargesuccess事件2.2 chargerrefund事件 五、数据来源设计1、项目搭建2、配置tomcat3、代码分析3.1 js代码分析3.2 java代码分析 六、nginx和flume应用1、添加nginx服务与开机启动2、Nginx日志格式配置3、项目中flume的配置 七、ETL1、解析思路 八、新增用户数据处理1、数据库和表2、维度相关类3、Mapper和Reducer输出Value类4、添加写入MySQL表相关类5、Runner开发6、Mapper开发7、Reducer开发 九、活跃用户数据处理1、ActiveUserRunner开发提示2、Mapper开发提示3、Reducer开发提示 十、Sqoop十一、用户浏览深度分析1、hql编写2、Hive中创建表3、hql行转列4、完善hql5、编写UDF类6、Hive创建函数7、sqoop脚本编写 一、项目需求
1、使用jqueryecharts的方式调用程序后台提供的rest api接口获取json数据然后通过jquerycss的方式进行数据展示。工作流程如下 2、七大角度
1、用户基本信息分析模块
1、用户分析 分析新增用户、活跃用户以及总用户的相关信息。 2、会员分析 分析新增会员、活跃会员以及总会员的相关信息。 3、会话分析 分析会话个数、会话长度和平均会话长度相关的信息。 4、Hourly分析 分析每天每小时的用户、会话个数以及会话长度的相关信息。
2、浏览器信息分析模块
1、用户分析 2、会员分析 3、会话分析 4、浏览器pv分析 pv访问页面的数量pageview
3、地域信息分析模块
1、活跃访客地域分析 分析各个不同地域的活跃访客数量 2、跳出率分析 分析各个不同地域的跳出率情况。没有进行二次浏览行为直接退出网站
4、用户浏览深度分析模块
用户在一次会话中访问页面的数量。pv/uvuvcookie中的uuid数量
5、外链数据分析模块
1、外链偏好分析 分析各个外链带来的活跃访客数量 2、外链会话跳出率分析
6、订单分析模块
7、事件分析模块
二、系统架构
1、数据流程设计 2、如何确定集群规模
1、考虑自己单台服务器的配置 2、其次要考虑的是每日的数据规模每日活跃用户、用户平均每日数据量 3、副本策略一般2~3个副本 4、扩容周期半年不扩容 5、预留空间一般20%~30%
3、测试服务器规划 三、JS SDK
1、概述
不采用ip来标识用户的唯一性通过在cookie中填充一个uuid来标识用户的唯一性。 埋点在页面jsp或html中植入js代码。
2、执行工作流 3、数据参数说明
在各个不同事件中收集不同的数据发送到nginx服务器。
4、事件分析
4.1 概述
用户基本信息pageview事件launch事件 浏览器信息分析在用户基本信息分析的基础上添加浏览器这个维度信息pageview事件 地域信息通过nginx服务器来收集用户的ip地址来进行分析pageview事件 外链数据分析、用户浏览深度分析在pageview事件中添加访问页面的当前url和前一个页面的urlpageview事件 订单信息分析chargeRequest 自定义事件分析需要一个pc端发送一个新的事件数据定义为event。还需要设置一个launch事件来记录新用户的访问。event事件launch事件
4.2 launch事件
用户第一次访问网站的时候触发该事件
4.3 pageview事件
当用户访问页面/刷新页面的时候触发该事件
4.4 chargeRequest事件
用户下订单的时候触发该事件 4.5 event事件
当访客/用户触发业务定义的事件后前端程序调用该方法。 四、JAVA SDK
发送支付成功/退款成功的信息给nginx服务器。
1、执行工作流 2、程序后台事件分析
发送订单支付成功的信息给nginx服务器。
2.1 chargesuccess事件
支付成功
2.2 chargerrefund事件
订单退款
五、数据来源设计
埋点的使用js相关方法以及java的相关方法
1、项目搭建
2、配置tomcat
3、代码分析
3.1 js代码分析
3.2 java代码分析
1、订单支付成功事件 AnalyticsEngineSDK.onChargeSuccess(…方法 触发订单支付成功事件发送事件数据到Nginx服务器 param orderId 订单支付id param memberId 订单支付会员id 如果发送数据成功(加入到发送队列中)那么返回true否则返回false(参数异常添加到发送队列失败)。 2、订单退款成功事件 触发订单退款事件发送退款数据到服务器 param orderId 退款订单id param memberId 退款会员id 如果发送数据成功返回true。否则返回false。
六、nginx和flume应用
1、添加nginx服务与开机启动
2、Nginx日志格式配置
3、项目中flume的配置
项目当中如何收集Nginx产生的日志 监控日志文件/opt/data/access.log将采集到的日志存放到hdfs文件系统的/log/目录下并以yyyyMMdd为子目录分别存放每天的数据。
七、ETL
1、解析思路
1、通过^A进行拆分不足四部分的数据不符合要求过滤掉。 2、?后面的内容按照 进行拆分 3、在按照进行拆分 4、判断参数en的值如果不是6种事件类型的过滤掉。 5、192.168.20.1 换算成地域 6、1642391346.792 时间 7、浏览器相关信息提取处理
八、新增用户数据处理
1、数据库和表
2、维度相关类
1、维度类图 浏览器维度、时间维度、KPI维度、平台维度 通过以上四个维度的各种组合计算它的新增用户指标 2、BaseDimension类 3、BrowserDimension类 唯一标识id、名称、版本 4、PlatformDimension类 id、platformName 5、KpiDimension类 id、kpiName 6、DateDimension类 id、year、season、month、week、day、type、calendar 7、StatsDimesion类 8、StatsCommonDimesion类 9、 StatsUserDimesion类 10、KpiType类
3、Mapper和Reducer输出Value类
1、BaseStatsValueWritable类 获取当前value对应的kpi值 2、TimeOutputValue类 Mapper类输出的Value对应类型的类 id、time 3、MapWritableValue类 Reducer输出要写入mysql的表中那么就存在以下两个问题 1.把数据写入到哪个表中比如new_install_user-query-mapping.xml中找namenew_install_user插入sql语句 2.对应表中一行记录的数据内容
4、添加写入MySQL表相关类
5、Runner开发
Job流程 1、从hbase的eventlog表中读取数据 2、Mapper中对数据列表进行纬度的组合 3、Reducer聚合操作 4、数据放到MySQL对应的表中 hbase表查询 en,s_time,pl,u_ud,browser,browser_v,kpi 条件 lanuch ene_l 条件和 时间范围 注意kpi 模块 new_install_user,browser_new_install_user 通过List来完成如下操作 1、scan添加过滤器,startKey stopKey 2、指定ene_l的查询条件 3、指定要获取的列名MultipleColumnPrefixFilter 4、指定表名
6、Mapper开发
四个纬度时间、浏览器、平台、模块 组合四个纬度向输出外键值对信息。 维度组合有多少种 各个维度的种类相乘得到结果 修改EventLogConstants类添加两个常量new_install_user、browser_new_install_user
7、Reducer开发
由于统计的是用户的数量需要对log进行uuid的过滤因为同一个人有可能点击了多次。
九、活跃用户数据处理
只要在指定的日期中出现过一次PageView的用户便被称为活跃用户。 查询哪些列 en,s_time,browser_name,browser_version,platform,uuid 查询的过滤条件 事件类型ene_pv 指定日期yyyy-MM-dd 00:00:0 并且 yyyy-MM-dd1 00:00:00
1、ActiveUserRunner开发提示
1、创建日志记录对象 2、声明配置文件对象 3、设置Reducer相关参数、设置OutputFormat类、提交作业 4、处理日期参数 从传入的参数中获取日期如果日期不合法或没有则使用当前系统时间的昨天将日期添加配置文件对象设置相关参数加载三个配置文件配置文件处理
2、Mapper开发提示
声明并实例化输出的key和value对象 声明并实例化Kpi维度对象 声明日期维度对象 声明平台维度集合对象 声明浏览器维度集合对象 从value获取服务器时间 从value获取用户id 从value获取平台 从value获取浏览器名称 从value获取浏览器版本 构建单一维度对象或集合对象 日期、平台、浏览器 构建组合维度对象 循环遍历输出
3、Reducer开发提示
声明并实例化输出的value对象 去重定义Set集合 清空集合排除上一组数据的干扰 遍历values将获取出的uuid添加到Set集合对象中 声明并实例MapWritable对象 mapw 将获取用户的数量添加到mapw中 并将mapw封装到Reduce输出的value对象中 kpi维度处理
十、Sqoop
将关系数据库oracle、mysql、sqlserver等数据与hadoop、hive、hbase等数据进行转换的工具。同类产品DataX阿里顶级数据交换工具 MR中通过InputFormat和OutputFormat配置MR的输入和输出
十一、用户浏览深度分析
通过hive和hbase的整合编写hql分析语句将分析后的结果 放入到hive的结果表中然后通过sqoop导出到mysql的结果表中。
1、hql编写
2、Hive中创建表
3、hql行转列
4、完善hql
5、编写UDF类
6、Hive创建函数
7、sqoop脚本编写
