奉化区城乡建设局网站,h5自适应网站建设,江门网站优化,国外域名注册商哪家好妙趣横生大数据 Day1[妙趣横生大数据 Juicy Big Data](https://datawhalechina.github.io/juicy-bigdata/#/?id妙趣横生大数据-juicy-big-data)一、大数据概述大数据——第三次信息化浪潮大数据概念大数据应用大数据关键技术二、Hadoop背景介绍特性项目架构实验1. 准备工作2. …
妙趣横生大数据 Day1[妙趣横生大数据 Juicy Big Data](https://datawhalechina.github.io/juicy-bigdata/#/?id妙趣横生大数据-juicy-big-data)一、大数据概述大数据——第三次信息化浪潮大数据概念大数据应用大数据关键技术二、Hadoop背景介绍特性项目架构实验1. 准备工作2. 安装jdk3. 安装 openssh4. 安装 hadoop一、伪分布式安装1. 修改core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml这4个文件2. 格式化分布式文件系统3. 测试二、集群模式安装1. 修改、core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml这4个文件2. hadoop workers文件配置编辑/etc/hosts文件创建公钥并拷贝公钥3. 格式化分布式文件系统4. 测试妙趣横生大数据 Juicy Big Data
Datawhale大数据技术相关内容的导论课程妙趣横生大数据 Juicy Big Data Day1 一、大数据概述
大数据——第三次信息化浪潮
信息化浪潮时间标志解决的问题第一次浪潮1980个人计算机信息处理第二次浪潮1995互联网信息传输第三次浪潮2010物联网、云计算和大数据信息爆炸大数据的价值不在于数据本身而在于数据所反映问题的真实性和科学性。 数据的采集存储只是大数据运用的第一阶段更关键的是对数据的分析、利用达到发现新知识、创造新价值的效果。
大数据概念
4V
数据量大(Volume) 物联网普及传感器、摄像头产生的海量数据数据类型多(Variety)生物大数据、交通大数据、医疗大数据、电信大数据、电力大数据、金融大数据等结构化数据(10%)和非结构化数据(90%)处理速度快(Velocity)为快速分析海量数据新兴的大数据分析技术通常采用集群处理和独特的内部设计价值密度低(Value)价值密度却远远低于传统关系数据库中已经有的数据
大数据应用
领域大数据的应用金融行业大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重要作用互联网行业借助于大数据技术可以分析客户行为进行商品推荐和有针对性的广告投放餐饮行业利用大数据实现餐饮O2O模式彻底改变传统餐饮的经营方式生物医学大数据可以帮助我们实现流行病预测、智慧医疗、健康管理同时还可以帮助我们解读DNA了解更多的生命奥秘……
大数据关键技术 大数据是数据和大数据技术这二者的综合。 大数据技术是指伴随着大数据的采集、传输、处理和应用的相关技术是一系列使用非传统的工具来对大量的结构化、半结构化和非结构化数据进行处理从而获得分析和预测结果的一系列数据处理和分析技术。 从数据分析全流程的角度大数据技术主要包括数据采集、数据存储和管理、数据处理与分析、数据安全和隐私保护等几个层面的内容。 二、Hadoop
背景
搜索 Lucene工具包在目标系统中实现全文检索的功能 Nutch建立在Lucene核心之上的网页搜索应用程序开箱即用。站内检索–全球网络搜索
搜索对象“体积”不断增大 分布式文件存储系统NDFSNutch Distributed File System为了存储海量搜索数据而设计的专用文件系统基于google的GFS MapReduce编程模型大规模数据集大于1TB的并行分析运算
介绍
HadoopHDFS(Hadoop Distributed File System) MapReduce
Hadoop是Apache软件基金会旗下的一个开源分布式计算平台为用户提供了系统底层细节透明的分布式基础架构。Hadoop是基于Java语言开发的具有很好的跨平台特性并且可以部署在廉价的计算机集群中。
特性
高可靠性、高容错性冗余数据存储方式高效性分布式存储和分布式处理两大核心技术高效地处理PB级数据高可扩展性成本低廉价的计算机集群运行在Linux平台上支持多种编程语言
项目架构
Common为其他子项目提供支持的常用工具它主要包括FileSystem、RPC和串行化库Avro用于数据库序列化的系统HDFS分布式文件系统HBase列式数据库一般采用HDFS作为其底层数据存储Pig一种数据流语言和运行环境Sqoop改进数据的互操作性主要用来在Hadoop和关系数据库之间交换数据Chukwa数据收集系统Zookeeper一个为分布式应用所涉及的开源协调服务 实验
1. 准备工作
# 创建容器
docker run --namehadoop ubuntu /bin/bash# 添加用户赋予权限
useradd zym -m -d /home/zym -s /bin/bash
passwd zym
usermod -aG sudo zym2. 安装jdk
wget --no-check-certificate --no-cookies --header Cookie: oraclelicenseaccept-securebackup-cookie http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gzsudo tar -xzvf /data/hadoop/jdk-8u131-linux-x64.tar.gz -C /optsudo mv /opt/jdk1.8.0_131/ /opt/java
sudo chown -R zym:zym /opt/java修改系统环境变量
sudo vim /etc/profile
# 1. 添加java环境变量
# 2. 激活使环境变量生效
source /etc/profile
# 3. 查看版本
java -version3. 安装 openssh
# 更新apt并安装文本编辑器、SSH服务和screen服务
apt-get update apt-get install -y vim openssh-server screen rm -rf /var/lib/apt/lists/*查看是否安装成功
service ssh start# 设置 ssh 服务开机自启
echo service ssh start~/.bashrcSSH登录权限设置
解决方法将容器内22端口和宿主机内端口完成映射即可。
教你如何修改运行中的docker容器的端口映射的三种方式_docker修改端口映射_是阿俏同学吖的博客-CSDN博客
4. 安装 hadoop
hadoop国内镜像站点Index of /apache/hadoop/common/hadoop-3.3.1 (tsinghua.edu.cn)
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gzsudo tar -xzvf hadoop-3.3.1.tar.gz -C /opt/
sudo mv /opt/hadoop-3.3.1/ /opt/hadoop
sudo chown -R zym:zym /opt/hadoopsudo vim /etc/profile
1. 添加以下内容
#hadoop
export HADOOP_HOME/opt/hadoop
export PATH$HADOOP_HOME/bin:$PATH
2. 激活查看版本
source /etc/profile
hadoop version修改hadoop-env.sh文件配置
vim etc/hadoop/hadoop-env.sh
# 追加
export JAVA_HOME/opt/java/测试
mkdir input
cp etc/hadoop/*.xml input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar grep input output dfs[a-z.]
cat output/*一、伪分布式安装
1. 修改core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml这4个文件
详细见 [第二章Hadoop (datawhalechina.github.io)](https://datawhalechina.github.io/juicy-bigdata/#/ch2 Hadoop?id_2335-hadoop伪分布式安装)
2. 格式化分布式文件系统
hdfs namenode -format/opt/hadoop/sbin/start-all.sh3. 测试
输入jps命令可以查看Java进程 执行wordcount程序, 测试 二、集群模式安装
此处我将实验一伪分布式安装的docker容器commit为了镜像用来构建子节点。 还可以直接search有Hadoop的镜像或者直接编写dockerfile Task01 详读第1、2章Hadoop内容 (plutos.org.cn)
1. 修改、core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml这4个文件
详细见 [第二章Hadoop (datawhalechina.github.io)](https://datawhalechina.github.io/juicy-bigdata/#/ch2 Hadoop?id_2335-hadoop伪分布式安装)
2. hadoop workers文件配置编辑/etc/hosts文件创建公钥并拷贝公钥
# 1. 修改hadoop workers文件配置
vim /opt/hadoop/etc/hadoop/workers
# 2. 编辑/etc/hosts文件
sudo vim /etc/hosts
# 3. 创建公钥并拷贝公钥
ssh-keygen -t rsa
ssh-copy-id master
# 4. 修改文件权限
chmod 700 /home/zym/.ssh
chmod 700 /home/datawhale/.ssh/*3. 格式化分布式文件系统
hdfs namenode -format/opt/hadoop/sbin/start-all.sh4. 测试
输入jps命令可以查看主节点和两个从节点的Java进程 执行wordcount程序, 测试 遇到的问题汇总 Docker内22端口无法访问 解决方法将容器内22端口和宿主机内端口完成映射即可。 教你如何修改运行中的docker容器的端口映射的三种方式_docker修改端口映射_是阿俏同学吖的博客-CSDN博客 安装 hadoop 太慢 hadoop国内镜像站点Index of /apache/hadoop/common/hadoop-3.3.1 (tsinghua.edu.cn) DataNode 不显示 Hadoop中DataNode没有启动 log目录/opt/hadoop/logs/hadoop-zym-datanode-df735624a7d9.log VERSION参考查询目录/tmp/hadoop-datawhale/dfs/data/current/VERSION Datawhale大数据技术相关内容的导论课程妙趣横生大数据 Juicy Big Data
