宁波手机网站开发公司,多少钱网站设计,会员管理系统怎么做,老师教学生做网站吗作业1 1 了解行业名词 ERP CRM OA MES WMS RPA SAAS 了解每个系统的功能和应用 ERP 系统#xff0c;#xff08;Enterprise Resource Planning#xff0c;企业资源计划系统#xff09;#xff1a;ERP 系统 是一种用于管理企业各类资源的软件系统#xff0c;包括生产管理…
作业1 1 了解行业名词 ERP CRM OA MES WMS RPA SAAS 了解每个系统的功能和应用 ERP 系统Enterprise Resource Planning企业资源计划系统ERP 系统 是一种用于管理企业各类资源的软件系统包括生产管理、采购管理、库存管理、 财务管理等功能模块帮助企业实现资源的优化配置和管理。 CRM 系统Customer Relationship Management客户关系管理系统CRM 系统是一种用于管理客户关系的软件系统包括客户信息管理、销售管理、客户 服务管理等功能模块帮助企业提高客户满意度和市场竞争力。 OA 系统Office Automation System办公自动化系统OA 系统是一种用 于协调、管理和优化办公流程的软件系统包括电子邮件、日程安排、文档管理、 工作流程管理等功能模块帮助企业提高工作效率和管理水平。 MES 系统Manufacturing Execution System制造执行系统MES 系统是一 种用于管理制造过程的软件系统包括生产计划管理、生产调度管理、工艺管理、 质量管理等功能模块帮助企业提高生产效率和质量水平。 WMS 系统Warehouse Management System仓库管理系统WMS 系统是一种用 于管理仓库的软件系统包括入库管理、出库管理、库存管理、配送管理等功能 模块帮助企业提高仓库管理效率和准确性。 SaaSSoftware as a service软件即服务即通过网络提供软件服务SaaS 平台供应商将应用软件统一部署在自己的服务器上客户可以根据工作实际需 求通过互联网向厂商定购所需的应用软件服务按定购的服务多少和时间长短 向厂商支付费用并通过互联网获得 Saas 平台供应商提供的服务。 2 模型设计 雪花模型 星型模型 ER 图 逻辑模型图... 星座模型 雪花模型 ER 图 逻辑模型图 3 检查自己的 Hadoop 集群正常标准 444 进程。 myhadoop status 作业2 1 Hive 有哪些文件格式为什么不用 textfile 格式 TextFile 这是 Hadoop 的默认文件格式它将数据以行的形式存储。每行由换 行符\n分隔。 SequenceFile 这是 Hadoop 自带的一种二进制文件格式它可以存储键值对 序列化后存储。它支持压缩而且有同步标记容易分块便于并行处理。 RCFileRecord Columnar File 这是一种列存储格式它将数据首先按列存 储然后在每一列中再按行存储。这种格式适用于读操作多于写操作的场景可 以有效提高查询性能。 ORCOptimized Row Columnar 这是 Hive 中支持的另一种列存储格式相比 于 RCFileORC 文件格式具有更高的压缩比和查询效率。它支持 Zlib、Snappy 和 LZ4 压缩方式并且提供了更高级别的向量化读取、投影和过滤优化。 Parquet这是另一种列存储格式它旨在提供跨平台的文件格式可以很好地 与 Hadoop 生态系统中的其他组件如 Impala、Presto 等协同工作。Parquet 支持嵌套数据结构并且可以与多种语言的客户端库一起使用。 不使用 TextFile 格式的原因主要有以下几点 性能问题 TextFile 格式数据没有压缩导致占用更多的存储空间这会增加 存储成本和网络传输的负担。 读写效率低 TextFile 格式的数据不支持列存储这对于列式存储优化的 Hive 查询引擎来说效率较低因为它不能有效地跳过不需要的列从而增加了查询 时的 I/O 开销。 数据组织效率 由于是按行存储对于执行大量列筛选和聚合操作的查询性能 不够优化。列存储格式如 ORC 和 Parquet 可以更有效地利用列索引、压缩和编码 技术从而加快数据处理速度。 压缩支持 Hive 中的其他文件格式如 ORC 和 Parquet 提供了对数据压缩的支持 可以有效减少存储空间并提高处理速度而 TextFile 格式不支持压缩。 2 完成环境的部署 Python 安装 hadoop100,hadoop101,hadoop102 都要安装 阿里云下载 python 安装包 wget https://mirrors.aliyun.com/python-release/source/Python-3.9.10.tgz 在 hadoop100 下载完成后通过 scp 传输到另外两个虚拟机 scp /root/Python-3.9.10.tgz root192.168.200.101:/root scp /root/Python-3.9.10.tgz root192.168.200.102:/root 我的 hadoop100 的 python 在上个阶段就装好了直接在 hadoop101 和 hadoop102 再安装一次 tar -zxvf Python-3.9.10.tgz cd Python-3.9.10 安装依赖包 yum install -y gcc patch libffi-devel python-devel zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel 配置环境 ./configure --prefix/usr/include/openssl make make install 建立安装快捷指令 ln -s /usr/include/openssl/bin/python3 /usr/bin/python3 ln -s /usr/include/openssl/bin/pip3 /usr/bin/pip3 python3 -m pip install --upgrade pip pip3 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple pip3 install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple pymysql pyspark requests bs4 hdfs pandas numpy openpyxl pip3 install urllib31.26.15 安装完成验证 部署 Hive 同步 Hive: xsync /opt/module/apache-hive-3.1.2-bin 同步环境变量 xsync /etc/profile.d/my_env.sh 部署调度平台 cd /opt mkdir xxljob 将‘Z:\班级\09_医药项目\xxl-job-student-20221220’中的所有文件上传到 xxljob 中 同步到其它虚拟机 xsync xxljob 确保 mysql 账号密码均为 root mysql 中执行 xxljob 建表文件 source /opt/xxljob/tables_xxl_job.sql; 编写启停脚本 mkdir /root/bin vim /root/bin/xxl 内容 #!/bin/bash
act$1
start()
{
echo starting xxl-job
ssh roothadoop100 cd /opt/xxljob; nohup java -jar
xxl-job-admin-2.3.0.jar xxl-job.log 21
ssh roothadoop100 cd /opt/xxljob; nohup java -jar
xxl-job-executor-sample-springboot-2.3.0.jar
xxl-job-executor.log 21
ssh roothadoop101 cd /opt/xxljob; nohup java -jar
xxl-job-executor-sample-springboot-2.3.0.jar
xxl-job-executor.log 21
ssh roothadoop102 cd /opt/xxljob; nohup java -jar
xxl-job-executor-sample-springboot-2.3.0.jar
xxl-job-executor.log 21
}
stop(){
echo stopping xxl-job
ssh roothadoop100 ps -aux | grep xxl-job-admin | grep-v grep | awk {print \$2} | xargs kill -9
ssh
roothadoop100
ps
-aux
|
grep
xxl-job-executor-sample | grep -v grep | awk {print \$2} |
xargs kill -9
ssh
roothadoop101
ps
-aux
|
grep
xxl-job-executor-sample | grep -v grep | awk {print \$2} |
xargs kill -9
ssh
roothadoop102
ps
-aux
|
grep
xxl-job-executor-sample | grep -v grep | awk {print \$2} |
xargs kill -9
}
status(){
echo hadoop102
ssh
roothadoop102
ps
-aux
|
grep
xxl-job-executor-sample | grep -v grep
echo hadoop101
ssh
roothadoop101
ps
-aux
|
grep
xxl-job-executor-sample | grep -v grep
echo hadoop100
ssh roothadoop100 ps -aux | grep xxl-job | grep -v
grep
}
case $act in
start)
start
status
;;
stop)
stop
status
;;
restart)
stop
start
;;
status)
status
;;
esac 增加执行权限 chmod x /root/bin/xxl 验证 xxl start netstat -nltp | grep 8080 安装 DataX: wget https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202308/datax.tar.gz tar -zxvf datax.tar.gz 同步到其它节点 xsync /opt/datax 3 完成第一个接入任务 客户提供的连接信息 需求使用 DataX 每天凌晨 1 点定时抽取 c_org_busi 门店信息表 编写配置文件 打开 VScode: mkdir -p /zhiyun/shihaihong cd /zhiyun/shihaihong mkdir data jobs shell sql python 读取 mysql https://github.com/alibaba/DataX/blob/master/mysqlreader/doc /mysqlreader.md 写入 hive https://github.com/alibaba/DataX/blob/master/hdfswriter/doc/hdf swriter.md job 目录中的 c_org_busi.json 文件下 {
job: {
setting: {
speed: {
channel: 3
},
errorLimit: {
record: 0,
percentage: 0.02
}
},
content: [
{
reader: {
name: mysqlreader,
parameter: {
username: zhiyun,
password: zhiyun,
column: [
*
],
connection: [
{
table: [
c_org_busi
],
jdbcUrl: [jdbc:mysql://zhiyun.pub:233
06/erp
]
}
]
}
},
writer: {
name: streamwriter,
parameter: {
print:true
}
}
}
]
}
} 运行抽取 python /opt/datax/bin/datax.py /zhiyun/shihaihong/jobs/c_org_busi.json 写入到 Hive json 文件改为 {
job: {setting: {
speed: {
channel: 3
},
errorLimit: {
record: 0,
percentage: 0.02
}
},
content: [
{
reader: {
name: mysqlreader,
parameter: {
username: zhiyun,
password: zhiyun,
column: [
*
],
connection: [
{
table: [
c_org_busi
],
jdbcUrl: [
jdbc:mysql://zhiyun.pub:233
06/erp
]
}
]
}
},
writer: {
name: hdfswriter,
parameter: {
defaultFS: hdfs://hadoop100:8020,
fileType: orc,
path:
/zhiyun/shihaihong/ods/c_org_busi,
fileName: c_org_busi.data,
column: [
{name:id,type: int},
{name:busno,type: string},{name:orgname,type: string},
{name:orgsubno,type:
string},
{name:orgtype,type: string},
{name:salegroup,type:
string},
{name:org_tran_code,type:
string},
{name:accno,type: string},
{name:sendtype,type:
string},
{name:sendday,type: string},
{name:maxday,type: string},
{name:minday,type: string},
{name:notes,type: string},
{name:stamp,type: string},
{name:status,type: string},
{name:customid,type:
string},
{name:whl_vendorno,type:
string},
{name:whlgroup,type:
string},
{name:rate,type: string},
{name:creditamt,type:
string},
{name:creditday,type:
string},
{name:peoples,type: string},
{name:area,type: string},
{name:abc,type: string},
{name:address,type: string},
{name:tel,type: string},
{name:principal,type:
string},
{name:identity_card,type:
string},
{name:mobil,type: string},
{name:corporation,type:
string},
{name:saler,type: string},
{name:createtime,type:
string},{name:bank,type: string},
{name:bankno,type: string},
{name:bak1,type: string},
{name:bak2,type: string},
{name:a_bak1,type: string},
{name:aa_bak1,type: string},
{name:b_bak1,type: string},
{name:bb_bak1,type: string},
{name:y_bak1,type: string},
{name:t_bak1,type: string},
{name:ym_bak1,type: string},
{name:tm_bak1,type: string},
{name:supervise_code,type:
string},
{name:monthrent,type:
string},
{name:wms_warehid,type:
string},
{name:settlement_cycle,type:
string},
{name:apply_cycle,type:
string},
{name:applydate,type:
string},
{name:accounttype,type:
string},
{name:applydate_last,type:
string},
{name:paymode,type: string},
{name:yaolian_flag,type:
string},
{name:org_longitude,type:
string},
{name:org_latitude,type:
string},
{name:org_province,type:
string},
{name:org_city,type:
string},
{name:org_area,type:
string},
{name:business_time,type:
string},{name:yaolian_group,type:
string},
{name:pacard_storeid,type:
string},
{name:opening_time,type:
string},
{name:ret_ent_id,type:
string},
{name:ent_id,type: string}
],
writeMode: truncate,
fieldDelimiter: \t
}
}
}
]
}
} 打开 myhadoop 集群和 hive 创建 hdfs 文件 hadoop fs -mkdir -p /zhiyun/shihaihong/ods/c_org_busi 运行抽取 python /opt/datax/bin/datax.py /zhiyun/shihaihong/jobs/c_org_busi.json Hive 建表 -- 创建数据库
create database if not exists ods_shihaihong location
/zhiyun/shihaihong/ods;
-- 创建对应的数据表
-- ODS 表都应该是外部表 防止建错表然后删表的情况create external table if not exists ods_shihaihong.c_org_busi(
id int,
busno string,
orgname string,
orgsubno string,
orgtype string,
salegroup string,
org_tran_code string,
accno string,
sendtype string,
sendday string,
maxday string,
minday string,
notes string,
stamp string,
status string,
customid string,
whl_vendorno string,
whlgroup string,
rate string,
creditamt string,
creditday string,
peoples string,
area string,
abc string,
address string,
tel string,
principal string,
identity_card string,
mobil string,
corporation string,
saler string,
createtime string,
bank string,
bankno string,
bak1 string,
bak2 string,
a_bak1 string,
aa_bak1 string,
b_bak1 string,
bb_bak1 string,
y_bak1 string,
t_bak1 string,ym_bak1 string,
tm_bak1 string,
supervise_code string,
monthrent string,
wms_warehid string,
settlement_cycle string,
apply_cycle string,
applydate string,
accounttype string,
applydate_last string,
paymode string,
yaolian_flag string,
org_longitude string,
org_latitude string,
org_province string,
org_city string,
org_area string,
business_time string,
yaolian_group string,
pacard_storeid string,
opening_time string,
ret_ent_id string,
ent_id string
) row format delimited fields terminated by \t
lines terminated by \n
stored as orc
location /zhiyun/shihaihong/ods/c_org_busi; 验证数据 调度脚本 自动运行自动更新 c_org_busi.sh: #!/bin/bash
# 作用: 完成从编写配置文件到验证数据的整个过程
# 需要在任何节点都可以执行
echo 开始抽取 c_org_busi 门店信息表
echo 生成配置文件mkdir -p /zhiyun/shihaihong/jobs
echo
{
job: {
setting: {
speed: {
channel: 3
},
errorLimit: {
record: 0,
percentage: 0.02
}
},
content: [
{
reader: {
name: mysqlreader,
parameter: {
username: zhiyun,
password: zhiyun,
column: [
*
],
connection: [
{
table: [
c_org_busi
],
jdbcUrl: [
jdbc:mysql://zhiyun.pub:233
06/erp
]
}
]
}
},
writer: {
name: hdfswriter,
parameter: {
defaultFS: hdfs://hadoop100:8020,
fileType: orc,path:
/zhiyun/shihaihong/ods/c_org_busi,
fileName: c_org_busi.data,
column: [
...
],
writeMode: truncate,
fieldDelimiter: \t
}
}
}
]
}
} /zhiyun/shihaihong/jobs/c_org_busi.json
echo 生成 HDFS 路径
hadoop fs -mkdir -p /zhiyun/shihaihong/ods/c_org_busi
echo 抽取数据
python /opt/datax/bin/datax.py
/zhiyun/shihaihong/jobs/c_org_busi.json
echo hive 建表
hive -e
-- 创建数据库
create database if not exists ods_shihaihong location
/zhiyun/shihaihong/ods;
-- 创建对应的数据表
-- ODS 表都应该是外部表 防止建错表然后删表的情况
create external table if not exists ods_shihaihong.c_org_busi(
id int,
busno string,
orgname string,
orgsubno string,
orgtype string,
salegroup string,
org_tran_code string,
accno string,
sendtype string,
sendday string,
maxday string,
minday string,
notes string,stamp string,
status string,
customid string,
whl_vendorno string,
whlgroup string,
rate string,
creditamt string,
creditday string,
peoples string,
area string,
abc string,
address string,
tel string,
principal string,
identity_card string,
mobil string,
corporation string,
saler string,
createtime string,
bank string,
bankno string,
bak1 string,
bak2 string,
a_bak1 string,
aa_bak1 string,
b_bak1 string,
bb_bak1 string,
y_bak1 string,
t_bak1 string,
ym_bak1 string,
tm_bak1 string,
supervise_code string,
monthrent string,
wms_warehid string,
settlement_cycle string,
apply_cycle string,
applydate string,
accounttype string,
applydate_last string,
paymode string,
yaolian_flag string,
org_longitude string,
org_latitude string,org_province string,
org_city string,
org_area string,
business_time string,
yaolian_group string,
pacard_storeid string,
opening_time string,
ret_ent_id string,
ent_id string
) row format delimited fields terminated by \t
lines terminated by \n
stored as orc
location /zhiyun/shihaihong/ods/c_org_busi;echo 验证数据
hive -e
select count(1) from ods_shihaihong.c_org_busi;
select * from ods_shihaihong.c_org_busi limit 2;echo 抽取完成! 赋权 chmod urwx c_org_busi.sh ./c_org_busi.sh 设置定时 执行一次查看执行日志 执行一次 4 作业标准 4.1 所有截图必须全屏截图 4.2 把调度平台的日志复制到作业中
