手机怎样做网站,网站建设费用 做个网站要多少钱,海南住房建设厅定额网站,什么平台打广告比较好免费的一、ELK基本介绍#xff1a;
1.ELK 简介:
ELK平台是一套完整的日志集中处理解决方案(日志系统)。
将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用#xff0c; 完成更强大的用户对日志的查询、排序、统计需求。
ELK -- ELFK -- ELFKMQ2.ELK组件介绍…一、ELK基本介绍
1.ELK 简介:
ELK平台是一套完整的日志集中处理解决方案(日志系统)。
将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用 完成更强大的用户对日志的查询、排序、统计需求。
ELK -- ELFK -- ELFKMQ2.ELK组件介绍
2.1 ElasticSearch 是基于Lucene一个全文检索引擎的架构开发的分布式存储检索引擎用来存储各类日志。用Java开发的可通过RESTful Web接口让用户可以通过浏览器与Elasticsearch通信。是一个实时的、分布式的可扩展的搜索引擎允许进行全文、结构化搜索它通常用于索引和搜索大容量的日志数据也可用于搜索许多不同类型的文档。
分片的主要原因
水平分割扩展增大存储量 分布式并跨越分片操作提高性能和吞吐量 分布式分片机制和搜索请求的文档如何火鬃完全是由Elasticsearch控制的这些对用户是完全透明的。 为了健壮性建议有一个故障切换机制为此Elasticsearch让我们将索引分片复制一份或多份称之为分片副本
分片副本的原因
高可用性以应对分片或者节点故障。处于这个原因分片副本要在不同的节点上 增大吞吐量搜索可以并行在所有副本上执行
2.2 Logstash 作为数据收集引擎。它支持动态的从各种数据源搜集数据并对数据进行过滤、分析、丰富、统一格式等操作然后存储到用户指定的位置。一般会发送给Elasticsearch。由Ruby 语言编写运行在Java虚拟机JVM上是一款强大的数据处理工具可以实现数据传输、格式处理、格式化输出。Logstash具有强大的插件功能常用于日志处理。
常用插件
input收集源数据访问日志、错误日志等Filter Plugin用于过滤日志和格式处理Output输出日志
主要组件
Shipper(日志收集)负责监控本地日志文件的变化及时把日志文件的最新内容收集起来。通常远程代理端agent只需要运行这个组件即可Indexer(日志存储)负责接收日志并写入到本地文件Broker(日志连接)负责连接多个Shipper和多个IndexerSearch and Storage(搜索和引擎)允许对事件进行搜索和存储Web Interface(用来展示)基于Web的展示界面 Logstash主机分类
代理主机agent host作为事件的传递者Shipper将各种日志数据发送至中心主机只需运行Logstash代理程序中心主机central host可运行包括中间转发器Broker、索引器Indexer、搜索和存储器Search and Storage、Web界面端Web Interface在内的各个组件以实现对日志数据的接收、处理和存储
2.3 Kiabana Kibana 通常与ElasticSearch一起部署Kibana是Elasticsearch的一个功能强大的数据可视化 DashboardKibana提供图形化的web界面来浏览Elasticsearch日志数据可以用来汇总、分析和搜索重要数据。
3.其他组件
3.1 Filebeat
是一款轻量级的开源日志文件数据搜索器。通常在需要采集数据的客户端安装 Filebeat并指定目录与日志格式能快速收集数据并发送给 Logstash 进行解析或是直接发给 ES 存储性能上相比运行于 JVM 上的 Logstash 优势明显是对它的替代。
filebeat 结合 logstash 带来好处
通过 Logstash 具有基于磁盘的自适应缓冲系统该系统将吸收传入的吞吐量从而减轻 Elasticsearch 持续写入数据的压力从其他数据源例如数据库S3对象存储或消息传递队列中提取将数据发送到多个目的地例如S3HDFSHadoop分布式文件系统或写入文件使用条件数据流逻辑组成更复杂的处理管道
日志的集中化管理 beats 包括四种工具
Packetbeat搜索网络流量数据Topbeat搜索系统、进程和文件系统级别的 CPU 和内存使用情况等数据Filebeat搜集文件数据Winlogbeat搜集 Windows 时间日志数据
3.2 缓存/消息队列redis、kafka、RabbitMQ等
可以对高并发日志数据进行流量削峰和缓冲这样的缓冲可以一定程度的保护数据不丢失还可以对整个架构进行应用解耦。
3.3 Fluentd
是一个流行的开源数据收集器。由于 logstash 太重量级的缺点Logstash 性能低、资源消耗比较多等问题随后就有 Fluentd 的出现。相比较 logstashFluentd 更易用、资源消耗更少、性能更高在数据处理上更高效可靠受到企业欢迎成为 logstash 的一种替代方案常应用于 EFK 架构当中。在 Kubernetes 集群中也常使用 EFK 作为日志数据收集的方案。 在 Kubernetes 集群中一般是通过 DaemonSet 来运行 Fluentd以便它在每个 Kubernetes 工作节点上都可以运行一个 Pod。 它通过获取容器日志文件、过滤和转换日志数据然后将数据传递到 Elasticsearch 集群在该集群中对其进行索引和存储。
4.使用ELK的原因
日志主要包括系统日志、应用程序日志和安全日志。 系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷 性能安全性 从而及时采取措施纠正错误。
往往单台机器的日志我们使用grep、awk等工具就能基本实现简单分析但是当日志被分散的储存不同的设备上。 如果你管理数十上百台服务器你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。 当务之急我们使用集中化的日志管理 例如∶ 开源的syslog将所有服务器上的日志收集汇总。集中化管理日志后 日志的统计和检索又成为一件比较麻烦的事情一般我们使用grep、awk和wc等Linux命令能实现检索和统计但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
一般大型系统是一个分布式部署的架构不同的服务模块部署在不同的服务器上问题出现时 大部分情况需要根据问题暴露的关键信息定位到具体的服务器和服务模块构建一套集中式日志系统 可以提高定位问题的效率。
5.完整日志系统基本特征
收集能够采集多种来源的日志数据传输能够稳定的把日志数据解析过滤并传输到存储系统存储存储日志数据分析支持 UI 分析警告能够提供错误报告监控机制
6.ELK 的工作原理 logstash---》es---》Kibana 在所有需要收集日志的服务器上部署Logstash或者先将日志进行集中化管理在日志服务器上在日志服务器上部署 Logstash。Logstash 收集日志将日志格式化并输出到 Elasticsearch 群集中。Elasticsearch 对格式化后的数据进行索引和存储。Kibana 从 ES 群集中查询数据生成图表并进行前端数据的展示。
端口
es默认端口9200kibana默认端口5601
状态
绿色健康数据和副本全都没有问题红色数据都不完整黄色数据完整但副本有问题
总结
logstash作为日志搜集器从数据源采集数据并对数据进行过滤格式化处理然后交由Elasticsearch存储kibana对日志进行可视化处理。
二、部署ELK
1.环境配置
服务器类型系统和IP地址需要安装的组件硬件方面Node1节点CentOS7.4(64 位) 192.168.91.3Elasticsearch 、 Kibana2核4GNode2节点CentOS7.4(64 位) 192.168.91.4Elasticsearch2核4GApache节点CentOS7.4(64 位) 192.168.91.7Logstash Apache2核4G
systemctl stop firewalld
setenforce 0
2.更改主机名、配置域名解析
Node1节点192.168.91.3
hostnamectl set-hostname node1
bash
echo 192.168.91.3 node1 /etc/hosts
echo 192.168.91.4 node2 /etc/hosts
Node2节点192.168.91.4
hostnamectl set-hostname node2
bash
echo 192.168.91.3 node1 /etc/hosts
echo 192.168.91.4 node2 /etc/hosts
Apache节点192.168.91.5
hostnamectl set-hostname apache
bash
3.布置Java 环境在Node1、Node2节点上操作
# rpm 安装 jdk 方法一
cd /opt
rz -E #将软件包传至该目录下
rpm -ivh jdk-8u201-linux-x64.rpmvim /etc/profile.d/java.sh
export JAVA_HOME/usr/java/jdk1.8.0_201-amd64
export CLASSPATH.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH$JAVA_HOME/bin:$PATH#注释
1.输出定义java的工作目录
2.输出指定java所需的类文件
3.输出重新定义环境变量$PATH一定要放在$JAVA_HOME的后面让系统先读取到工作目录中的版本信息source /etc/profile.d/java.sh
java -version 4.部署 ElasticSearch 软件在Node1、Node2节点上操作
4.1安装 elasticsearch-rpm 包
#上传elasticsearch-5.5.0.rpm到/opt目录下
cd /opt
rz -E
rpm -ivh elasticsearch-5.5.0.rpm 4.2加载系统服务
systemctl daemon-reload systemctl enable elasticsearch.service 4.3修改 Elasticsearch 主配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
vim /etc/elasticsearch/elasticsearch.yml
-------------------------------------------
--17--取消注释指定集群名字
cluster.name: my-elk-cluster
--23--取消注释指定节点名字Node1节点为node1Node2节点为node2
node.name: node1
--33--取消注释指定数据存放路径
path.data: /data/elk_data
--37--取消注释指定日志存放路径
path.logs: /var/log/elasticsearch/
--43--取消注释改为在启动的时候不锁定内存
bootstrap.memory_lock: false
--55--取消注释设置监听地址0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释ES 服务的默认监听端口为9200
http.port: 9200
--68--取消注释集群发现通过单播实现指定要发现的节点 node1、node2
discovery.zen.ping.unicast.hosts: [node1, node2]
-----------------------------------------------------------
grep -v ^# /etc/elasticsearch/elasticsearch.yml#####此处我是两个节点同时操作的也可以只在node1节点操作然后将配置好的文件用 scp 传至 node2后续只用去改个节点名字即可######
scp /etc/elasticsearch/elasticsearch.yml root192.168.79.27:/etc/elasticsearch/elasticsearch.yml 4.4 创建数据存放路径并授权、启动服务并查看端口是否开启
mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/
systemctl start elasticsearch.service #启动较慢需等待
ss -antp | grep 9200 4.5查看节点信息 5.安装 Elasticsearch-head 插件在Node1、Node2节点上操作
ES 在 5.0 版本后插件需要作为独立服务进行安装需要使用 npm 工具NodeJS 的包管理工具安装。安装 Elasticsarch-head 需要提前安装好依赖软件 node 和 phantomjs。
node是一个基于 Chrome V8 引擎的 JavaScript 运行环境。phantomjs是一个基于 webkit 的 JavaScriptAPI可以理解为一个隐形的浏览器任何基于 webkit 浏览器做的事情它都可以做到
5.1编译安装 node
#上传软件包 node-v8.2.1.tar.gz 到/opt
yum install gcc gcc-c make -y
cd /opt
rz -E
tar zxvf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure
make -j4 make install 5.2安装 phantomjs前端的框架
#上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到
cd /opt
rz -E
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin
5.3安装 Elasticsearch-head 数据可视化工具
#上传软件包 elasticsearch-head.tar.gz 到/opt
cd /opt
rz -E
tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/
cd /usr/local/src/elasticsearch-head/
npm install 5.4修改 Elasticsearch 主配置文件
vim /etc/elasticsearch/elasticsearch.yml
-----------------------------------------------
--末尾添加以下内容--
http.cors.enabled: true #开启跨域访问支持默认为 false
http.cors.allow-origin: * #指定跨域访问允许的域名地址为所有
---------------------------------------------------
systemctl restart elasticsearch
5.5启动 Elasticsearch-head 服务
#必须在解压后的 elasticsearch-head 目录下启动服务进程会读取该目录下的 gruntfile.js 文件否则可能启动失败。
cd /usr/local/src/elasticsearch-head/
npm run start elasticsearch-head0.0.0 start /usr/local/src/elasticsearch-headgrunt serverRunning connect:server (connect) task
Waiting forever...
Started connect web server on http://localhost:9100#elasticsearch-head 监听的端口是 9100
ss -natp |grep 9100 5.6通过 Elasticsearch-head 查看 Elasticsearch 信息
通过浏览器访问 http://192.168.91.3:9100/ 地址并连接群集。
如果看到群集健康值为 green 绿色代表群集很健康。
注意有的时候显示未连接这时将 localhost 改成 IP 地址即可 6.插入索引 #通过命令插入一个测试索引索引为 index-demo类型为 test。
curl -X PUT localhost:9200/index-demo/test/1?prettypretty -H content-Type: application/json -d {user:gangan,mesg:hello world} 7.浏览器查看索引信息
浏览器访问 http://192.168.91.3:9100/ 查看索引信息
可以看见索引默认被分片5个并且有一个副本。
点击“数据浏览”会发现在node1上创建的索引为 index-demo类型为 test 的相关信息。 8.部署 Logstash在 Apache 节点上操作
Logstash 一般部署在需要监控其日志的服务器。在本案例中Logstash 部署在 Apache 服务器上用于收集 Apache 的日志信息并发送到 Elasticsearch。
8.1安装 Apache 服务httpd
yum install httpd -y
systemctl start httpd systemctl enable httpd
8.2安装 Java 环境
yum -y install java
java -version
8.3安装 Logstash
#上传软件包 logstash-5.5.1.rpm 到/opt目录下
cd /opt
rz -E
rpm -ivh logstash-5.5.1.rpm
systemctl start logstash.service
systemctl enable logstash.serviceln -s /usr/share/logstash/bin/logstash /usr/local/bin/ 8.4测试 Logstash、
定义输入和输出流
#输入采用标准输入输出采用标准输出类似管道
logstash -e input { stdin{} } output { stdout{} } rubydebug 输出
#使用 rubydebug 输出详细格式显示codec 为一种编解码器
logstash -e input { stdin{} } output { stdout{ codecrubydebug } } 输出到 ES
#使用 Logstash 将信息写入 Elasticsearch 中
logstash -e input { stdin{} } output { elasticsearch { hosts[192.168.79.26:9200] } } 8.5定义 Logstash 配置文件
Logstash 配置文件基本由三部分组成input、output 以及 filter可选根据需要选择使用。
input表示从数据源采集数据常见的数据源如Kafka、日志文件等
filter表示数据处理层包括对数据进行格式化处理、数据类型转换、数据过滤等支持正则表达式
output表示将Logstash收集的数据经由过滤器处理之后输出到Elasticsearch。#在每个部分中也可以指定多个访问方式。例如若要指定两个日志来源文件则格式如下
input {file { path /var/log/messages type syslog}file { path /var/log/httpd/access.log type apache}
}#修改 Logstash 配置文件让其收集系统日志/var/log/messages并将其输出到 elasticsearch 中。
chmod r /var/log/messages #让 Logstash 可以读取日志vim /etc/logstash/conf.d/system.conf #该文件需自行创建文件名可自定义
input {file{path /var/log/messages #指定要收集的日志的位置type system #自定义日志类型标识start_position beginning #表示从开始处收集}
}
output {elasticsearch { #输出到 elasticsearchhosts [192.168.91.3:9200,192.168.91.4] #指定 elasticsearch 服务器的地址和端口index system-%{YYYY.MM.dd} #指定输出到 elasticsearch 的索引格式}
}systemctl restart logstash 8.6访问测试
查看索引信息 9.部署 Kibana(在 node1 节点上操作)
9.1安装 Kibana
#上传软件包 kibana-5.5.1-x86_64.rpm 到/opt目录
cd /opt
rz -E
rpm -ivh kibana-5.5.1-x86_64.rpm
9.2设置 Kibana 的主配置文件
#备份配置文件
cp /etc/kibana/kibana.yml /etc/kibana/kibana.yml.bak#修改配置文件
vim /etc/kibana/kibana.yml
-------------------------------
--2--取消注释Kiabana 服务的默认监听端口为5601
server.port: 5601
--7--取消注释设置 Kiabana 的监听地址0.0.0.0代表所有地址
server.host: 0.0.0.0
--21--取消注释设置和 Elasticsearch 建立连接的地址和端口
elasticsearch.url: http://192.168.91.3:9200
--30--取消注释设置在 elasticsearch 中添加.kibana索引
kibana.index: .kibana
9.3 启动 Kibana 服务
systemctl start kibana.service
systemctl enable kibana.service
nohup ./kibana #放入后台启动
ss -natp | grep 5601
9.4 验证 Kibana 浏览器访问 http://192.168.91.3:5601 第一次登录需要添加一个 Elasticsearch 索引 Index name or pattern //输入system-* #在索引名中输入之前配置的 Output 前缀“system” 单击 “create” 按钮创建单击 “Discover” 按钮可查看图表信息及日志信息。 数据展示可以分类显示在“Available Fields”中的“host”然后单击 “add”按钮可以看到按照“host”筛选后的结 9.5将 Apache 服务器日志访问的、错误的添加到 ES 并通过 Kibana 显示
vim /etc/logstash/conf.d/apache_log.conf
---------------------------------------------------
input {file{path /etc/httpd/logs/access_logtype accessstart_position beginning}file{path /etc/httpd/logs/error_logtype errorstart_position beginning}
}
output {if [type] access {elasticsearch {hosts [192.168.91.10:9200,192.168.91.20:9200]index apache_access-%{YYYY.MM.dd}}}if [type] error {elasticsearch {hosts [192.168.91.10:9200,192.168.91.20:9200]index apache_error-%{YYYY.MM.dd}}}
}
-------------------------------------------------------------
cd /etc/logstash/conf.d/
/usr/share/logstash/bin/logstash -f apache_log.conf
9.6 浏览器访问:
浏览器访问 http://192.168.91.10:9100 查看索引是否创建 只能看到apache-error 是因为access需要访问httpd页面才能生成打开网页去访问Apache服务器192.168.91.30 浏览器访问 http://192.168.91.10:5601 登录 Kibana单击“Create Index Pattern”按钮添加索引 在索引名中输入之前配置的 Output 前缀 apache_access-*并单击“Create”按钮。在用相同的方法添加 apache_error-*索引。 三、ELFKFilebeat ELK基本介绍 1.Filebeat的作用
由于 logstash 会大量占用系统的内存资源一般我们会使用 filebeat 替换 logstash 收集日志的功能组成 ELFK 架构或用 fluentd 替代 logstash 组成 EFKelasticsearch/fluentd/kibana由于 fluentd 是由 Go 语言开发的一般在 K8s 环境中使用较多
2.ELFK的工作流程
filebeat 将日志收集后交由 logstash 处理logstash 进行过滤、格式化等操作满足过滤条件的数据将发送给 ESES 对数据进行分片存储并提供索引功能Kibana 对数据进行图形化的 web 展示并提供索引接口
四、部署FilebeatELK(ELFK):
1.环境准备
在 ELK 的服务配置的基础上增加一台 Filebeat 服务器其余不变
服务器类型系统和IP地址需要安装的组件硬件方面Node1节点CentOS7.4(64 位) 192.168.91.10Elasticsearch 、 Kibana2核4GNode1节点CentOS7.4(64 位) 192.168.91.20Elasticsearch2核4GApache节点CentOS7.4(64 位) 192.168.91.30Logstash Apache2核4GFilebeat节点在 Node1 节点192.168.91.10上操作Filebeat2核4G
2.安装 Filebeat
#上传软件包 filebeat-6.2.4-linux-x86_64.tar.gz 到/opt目录
cd /opt
rz -E
tar zxvf filebeat-6.6.0-linux-x86_64.tar.gz
mv filebeat-6.6.0-linux-x86_64 /usr/local/filebeat 3.设置 Kibana 的主配置文件
cd /usr/local/filebeat
cp filebeat.yml filebeat.yml.bak #备份
vim filebeat.yml
-------------------------------------
filebeat.prospectors:
##21行指定log类型从日志文件中读取消息
- type: log
##24行开启日志收集功能默认为falseenabled: true
##28行指定监控的日志文件- /var/log/*.log
##29行添加收集/var/log/messages- /var/log/messages
##31行添加以下内容注意格式fields: service_name: filebeatlog_type: logservice_id: 192.168.91.10
#----------------------- 151行左右Elasticsearch output -----------------------
该区域内容全部注释
#-------------------------- 164行左右Logstash output -------------------------
##165行取消注释
output.logstash:
##167行取消注释指定logstash的IP和端口号hosts: [192.168.91.30:5044]#启动 filebeat-e记录到stderr并禁用syslog /文件输出-c指定配置文件
./filebeat -e -c filebeat.yml 4.在 Logstash 组件所在节点新建一个 Logstash 配置文件
Logstash 组件所在节点Apache节点192.168.91.30
cd /etc/logstash/conf.dvim logstash.conf
-------------------------------
input {beats {port 5044}
}
output {elasticsearch {hosts [192.168.91.10:9200]index %{[fields][service_name]}-%{YYYY.MM.dd}}stdout {codec rubydebug}
}
---------------------------------------
#启动 logstash
logstash -f logstash.conf 5.浏览器访问登录 Kibana 测试:
浏览器访问 http://192.168.91.10:5601 登录 Kibana
单击“Create Index Pattern”按钮添加索引“filebeat-*”
单击 “create” 按钮创建单击 “Discover” 按钮可查看图表信息及日志信息。
创建 查看
