优秀的移动网站,一键生成广告图,国际域名注册网站,中国站免费推广入口前言
ELK 项目是一个由三个开源工具组成的日志处理和分析解决方案#xff0c;ELK 是 Elasticsearch、Logstash 和 Kibana 的首字母缩写。这个项目的目标是帮助用户采集、存储、搜索和可视化大量的日志和事件数据#xff0c;尤其是在分布式系统中。下面是每个组件的概述…前言
ELK 项目是一个由三个开源工具组成的日志处理和分析解决方案ELK 是 Elasticsearch、Logstash 和 Kibana 的首字母缩写。这个项目的目标是帮助用户采集、存储、搜索和可视化大量的日志和事件数据尤其是在分布式系统中。下面是每个组件的概述
1. Elasticsearch 功能Elasticsearch 是一个基于 Apache Lucene 的开源搜索和分析引擎主要用于存储和搜索大量的结构化和非结构化数据。它是 ELK 堆栈的核心负责存储日志数据并提供强大的查询和分析功能。 特点 分布式支持跨多台机器的数据存储与处理。 高性能优化的索引和搜索算法能够快速处理海量数据。 实时搜索数据一旦被索引就可以立即进行搜索和分析。 2. Logstash 功能Logstash 是一个强大的日志收集、处理和转发工具用于从不同的数据源收集数据进行过滤、转换和增强然后将处理后的数据发送到 Elasticsearch 或其他存储系统中。 特点 多种输入源支持从文件、数据库、消息队列、网络等多种来源收集数据。 丰富的过滤器提供多种内置的过滤插件可以对日志数据进行清洗、格式化和结构化处理。 输出插件支持将数据输出到多种目标如 Elasticsearch、Kafka、文件等。 3. Kibana 功能Kibana 是用于数据可视化的前端工具提供了一个易于使用的界面让用户能够在 Elasticsearch 中存储的数据上执行分析、创建图表、仪表盘等可视化效果。 特点 数据可视化支持生成各种类型的图表、仪表盘和报告帮助用户快速理解数据的趋势和模式。 查询和分析用户可以通过 Kibana 进行简单的查询和复杂的分析快速发现数据中的问题或规律。 交互式仪表盘创建动态和交互式的仪表盘实时监控和展示重要的指标。 ELK 堆栈的工作流程 数据收集Logstash 从不同的数据源收集原始日志数据。 数据处理Logstash 对数据进行格式化、解析和增强等处理。 数据存储经过处理的数据被存储在 Elasticsearch 中。 数据可视化用户通过 Kibana 查询 Elasticsearch 中的数据并通过图表、仪表盘等方式进行可视化分析。 ELK 的优势 高效处理大规模日志数据ELK 能够处理和分析来自多个来源的大规模日志数据。 实时分析能够实时进行日志查询和分析帮助运维和开发人员及时发现问题。 可视化Kibana 提供了强大的数据可视化功能帮助用户从海量日志数据中提取有价值的信息。 开放源代码ELK 项目是开源的用户可以自由地定制和扩展功能。 应用场景 日志管理和分析对服务器、应用程序、网络设备等产生的日志进行集中存储、处理和分析。 安全事件监控监控网络安全事件、异常行为、入侵检测等。 性能监控监控应用程序和系统的性能指标帮助发现瓶颈或故障。 故障排除通过分析日志数据帮助快速定位和解决问题。 总结来说ELK 项目现在也叫 Elastic Stack是一个强大的日志收集、存储、分析和可视化工具集广泛应用于日志管理、性能监控、安全分析等领域。 安装部署 Elasticsearch
更新系统非必要
sudo dnf update -y
步骤 一
安装jdk 保证版本兼容Elasticsearch 所需要的 Java 运行环境。
sudo dnf install java-21-openjdk-devel
配置系统使用哪个 Java 版本作为默认版本。
sudo alternatives --config java 查看当前系统中安装的 Java 版本。
java -version
步骤二
导入 Elasticsearch 的 GPG 公钥
sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
配置 Elasticsearch 的 YUM 仓库
sudo tee /etc/yum.repos.d/elasticsearch.repo EOF
[elasticsearch-8.x]
nameElasticsearch repository for 8.x packages
baseurlhttps://artifacts.elastic.co/packages/8.x/yum
gpgcheck1
gpgkeyhttps://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled1
EOF
安装 Elasticsearch
sudo dnf install -y elasticsearch
查询 Elasticsearch 包的详细信息
rpm -qi elasticsearch 步骤三
编辑 Elasticsearch 的配置文件 elasticsearch.yml
sudo vim /etc/elasticsearch/elasticsearch.yml
#设置集群名称
cluster.name: my-cluster
#设置节点名称
node.name: node-1
#设置网络绑定地址默认是绑定到本地环回地址生产环境中可能需要改为 0.0.0.0 或具体的 IP 地址
network.host: 0.0.0.0
#如果要设置 HTTP 端口
http.port: 9200 :wq 保存退出。
步骤四
启动 Elasticsearch 服务
sudo systemctl start elasticsearch
设置 Elasticsearch 服务在系统启动时自动启动
sudo systemctl enable elasticsearch
检查 Elasticsearch 服务的状态
sudo systemctl status elasticsearch 步骤五
创建自定义用户并设置密码用户my_user 密码123456
/usr/share/elasticsearch/bin/elasticsearch-users useradd my_user -p 123456 -r superuser
步骤 六:
配置防火墙
sudo firewall-cmd --zonepublic --add-port9200/tcp --permanent
sudo firewall-cmd --reload
步骤七
浏览器访问 https://localhost:9200 登录账户和密码 之前步骤五设置的 用户my_user 密码123456 输入以下内容表示成功 补充内容 1、配置 Elasticsearch 的 Java 堆内存 sudo vim /etc/elasticsearch/jvm.options -Xms4g -Xmx4g 上述设置会将 Elasticsearch 的最小和最大堆内存大小都设置为 4GB。您可以根据您的硬件配置来调整这些值。
2、启动和监控 Elasticsearch 集群 运行健康检查 curl -X GET localhost:9200/_cluster/health?pretty 查看节点信息 curl -X GET localhost:9200/_nodes?pretty
安装部署Logstash
1、导入 Logstash 的 GPG 公钥
sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
2、配置 Logstash 的 YUM 仓库
sudo tee /etc/yum.repos.d/logstash.repo EOF
[logstash-8.x]
nameElastic Logstash repository for 8.x packages
baseurlhttps://artifacts.elastic.co/packages/8.x/yum
gpgcheck1
gpgkeyhttps://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled1
EOF
3、安装 Logstash
sudo dnf install -y logstash
4、查询 Logstash 包的详细信息
rpm -qi logstash
5、编辑 Logstash 的配置文件 logstash.yml
sudo vim /etc/logstash/logstash.yml
添加以下内容
http.host: 0.0.0.0
xpack.monitoring.elasticsearch.hosts: [http://localhost:9200]
6、启动 Logstash 服务
sudo systemctl start logstash
设置 Logstash 服务在系统启动时自动启动
sudo systemctl enable logstash
检查 Logstash 服务的状态
sudo systemctl status logstash
安装部署Kibana
1、导入 Kibana 的 GPG 公钥
sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch 2、配置 Kibana 的 YUM 仓库
sudo tee /etc/yum.repos.d/kibana.repo EOF
[kibana-8.x]
nameElastic Kibana repository for 8.x packages
baseurlhttps://artifacts.elastic.co/packages/8.x/yum
gpgcheck1
gpgkeyhttps://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled1
EOF
3、安装 Kibana
sudo dnf install -y kibana
4、查询 Kibana 包的详细信息
rpm -qi kibana
5、编辑 Kibana 的配置文件 kibana.yml
sudo vim /etc/kibana/kibana.yml
6、添加以下内容
server.port: 5601
server.host: 0.0.0.0
elasticsearch.hosts: [http://localhost:9200]
7、启动 Kibana 服务
sudo systemctl start kibana
设置 Kibana 服务在系统启动时自动启动
sudo systemctl enable kibana
检查 Kibana 服务的状态
sudo systemctl status kibana
8、配置防火墙
sudo firewall-cmd --list-ports
sudo firewall-cmd --add-port5601/tcp --permanent
sudo firewall-cmd --reload
9、浏览器访问 Kibana 打开浏览器访问http://localhost:5601。如果看到 Kibana 的 Web 界面则表示安装成功。 补充说明
安装目录和配置文件目录 Elasticsearch安装目录cd /usr/share/elasticsearch/ 编辑 Elasticsearch 的配置文件目录sudo vim /etc/elasticsearch/elasticsearch.yml
安装 Logstash目录cd /usr/share/logstash/ 编辑 Logstash 的配置文件sudo vim /etc/logstash/logstash.yml
安装 Kibana目录cd /usr/share/kibana/ 编辑 Kibana 的配置文件 kibana.ymlsudo vim /etc/kibana/kibana.yml
