余干网站建设制作,网站产品页模板,深圳vi设计深圳vi设计公司,wordpress 侧边悬浮块#x1f449; 点击关注不迷路 #x1f449; 点击关注不迷路 #x1f449; 点击关注不迷路 文章大纲 5.1.1 Filebeat Logstash ES Kibana 全链路配置实1. 架构设计与组件选型1.1 技术栈对比分析1.2 硬件配置推荐 2. Filebeat 高级配置2.1 多输入源配置2.2 性能优化参数 3.… 点击关注不迷路 点击关注不迷路 点击关注不迷路 文章大纲 5.1.1 Filebeat Logstash ES Kibana 全链路配置实1. 架构设计与组件选型1.1 技术栈对比分析1.2 硬件配置推荐 2. Filebeat 高级配置2.1 多输入源配置2.2 性能优化参数 3. Logstash 数据处理管道3.1 多阶段处理流程3.2 Grok性能优化表 4. Elasticsearch 索引设计4.1 ILM生命周期策略4.2 索引模板配置 5. Kibana 可视化实战5.1 仪表板配置要点5.2 关键可视化类型对比 6. 全链路监控与调优6.1 性能监控指标6.2 典型瓶颈解决方案 7. 安全加固方案7.1 传输层加密配置7.2 权限控制矩阵 8. 实战案例电商大促日志监控8.1 场景参数8.2 性能测试结果 5.1.1 Filebeat Logstash ES Kibana 全链路配置实
日志处理全链路架构与数据流向示意图 数据采集FilebeatFilebeat 作为轻量级的日志采集器通过安装在各个数据源所在的主机上的 Filebeat 代理来工作。它会监控指定的日志文件或目录一旦有新的日志数据产生就会将其收集起来并发送给 Logstash 进行进一步处理。数据处理LogstashLogstash 接收来自 Filebeat 的日志数据通过配置的过滤器Filter对数据进行清洗、解析和转换等操作。例如过滤器可以提取日志中的关键信息如时间戳、日志级别、消息内容等并将其转换为结构化的数据格式。数据存储ElasticsearchElasticsearch 是一个分布式的搜索引擎和数据存储系统它接收来自 Logstash 的结构化日志数据并将其存储在索引中。数据可视化KibanaKibana 是 Elastic 生态系统中的数据可视化工具它连接到 Elasticsearch 集群从存储的日志数据中提取信息并以各种可视化的方式展示出来如柱状图、折线图、饼图、仪表盘等。用户可以通过 Kibana 对日志数据进行交互式分析快速发现问题、趋势和模式。 #mermaid-svg-pwTFhW0O8D13nzau {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-pwTFhW0O8D13nzau .error-icon{fill:#552222;}#mermaid-svg-pwTFhW0O8D13nzau .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-pwTFhW0O8D13nzau .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-pwTFhW0O8D13nzau .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-pwTFhW0O8D13nzau .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-pwTFhW0O8D13nzau .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-pwTFhW0O8D13nzau .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-pwTFhW0O8D13nzau .marker{fill:#333333;stroke:#333333;}#mermaid-svg-pwTFhW0O8D13nzau .marker.cross{stroke:#333333;}#mermaid-svg-pwTFhW0O8D13nzau svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-pwTFhW0O8D13nzau .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-pwTFhW0O8D13nzau .cluster-label text{fill:#333;}#mermaid-svg-pwTFhW0O8D13nzau .cluster-label span{color:#333;}#mermaid-svg-pwTFhW0O8D13nzau .label text,#mermaid-svg-pwTFhW0O8D13nzau span{fill:#333;color:#333;}#mermaid-svg-pwTFhW0O8D13nzau .node rect,#mermaid-svg-pwTFhW0O8D13nzau .node circle,#mermaid-svg-pwTFhW0O8D13nzau .node ellipse,#mermaid-svg-pwTFhW0O8D13nzau .node polygon,#mermaid-svg-pwTFhW0O8D13nzau .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-pwTFhW0O8D13nzau .node .label{text-align:center;}#mermaid-svg-pwTFhW0O8D13nzau .node.clickable{cursor:pointer;}#mermaid-svg-pwTFhW0O8D13nzau .arrowheadPath{fill:#333333;}#mermaid-svg-pwTFhW0O8D13nzau .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-pwTFhW0O8D13nzau .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-pwTFhW0O8D13nzau .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-pwTFhW0O8D13nzau .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-pwTFhW0O8D13nzau .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-pwTFhW0O8D13nzau .cluster text{fill:#333;}#mermaid-svg-pwTFhW0O8D13nzau .cluster span{color:#333;}#mermaid-svg-pwTFhW0O8D13nzau div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-pwTFhW0O8D13nzau :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 数据可视化 数据存储 数据处理 数据采集 数据源 Kibana 仪表盘 Kibana Elasticsearch 集群 Elasticsearch Logstash 过滤器 Logstash 转换器 Logstash Filebeat 代理 Filebeat 系统日志文件 应用程序日志 网络设备日志 数据源 1. 架构设计与组件选型
1.1 技术栈对比分析
EPS代表着 Elasticsearch 集群每秒能够处理的事件数量。20000 EPS 意味着系统具有强大的并发处理能力能够在每秒内接收、解析、索引和存储大量的事件数据展示了系统应对高流量数据输入的潜力。QPS每秒查询率Queries Per Second。
组件推荐版本核心功能性能基准单节点Filebeat8.12.2轻量级日志采集20,000 EPS事件/秒Logstash8.12.1数据清洗与富化15,000 EPS含复杂处理Elasticsearch8.12.0分布式存储与检索50,000 写入QPSKibana8.12.0可视化与分析支持100并发查询
1.2 硬件配置推荐
节点类型CPU内存存储网络数量Filebeat4核8GB100GB SSD1Gbps按需Logstash16核32GB500GB NVMe临时存储10Gbps3Elasticsearch32核128GB4TB NVMe x3RAID025Gbps5Kibana8核16GB200GB SSD1Gbps2
2. Filebeat 高级配置
2.1 多输入源配置
# 定义 Filebeat 的输入配置可包含多个不同类型的输入源
filebeat.inputs:# 第一个输入配置类型为 filestream用于收集文件流数据- type: filestream# 为该输入配置指定一个唯一的 ID方便后续管理和识别id: nginx-access# 指定要收集的文件路径可以使用通配符# 这里表示收集 /var/log/nginx/ 目录下所有以 access.log 开头的文件paths:- /var/log/nginx/access.log*# 为收集到的日志数据添加自定义字段# 这里添加了 log_type 字段值为 nginx_access方便后续分析和过滤fields:log_type: nginx_access# 定义解析器用于解析收集到的数据# 这里使用 ndjson 解析器~ 表示使用默认配置parsers:- ndjson: ~# 第二个输入配置类型为 container用于收集容器日志- type: container# 为该输入配置指定一个唯一的 IDid: docker-logs# 指定要收集的容器日志文件路径# 这里表示收集 /var/lib/docker/containers/ 目录下所有容器的日志文件paths:- /var/lib/docker/containers/*/*.log# 定义处理器用于对收集到的数据进行预处理# 这里使用 add_docker_metadata 处理器~ 表示使用默认配置# 该处理器会为日志数据添加 Docker 容器的元数据如容器 ID、名称等processors:- add_docker_metadata: ~# 第三个输入配置类型为 syslog用于通过 UDP 协议收集 Syslog 数据- type: syslog# 配置 Syslog 的 UDP 协议相关参数protocol.udp:# 指定监听的主机和端口# 0.0.0.0 表示监听所有可用的网络接口端口为 5140host: 0.0.0.0:5140# 为收集到的日志数据添加标签# 这里添加了 syslog 标签方便后续筛选和分类tags: [syslog]2.2 性能优化参数
# 配置 Filebeat 的内存队列相关参数
queue.mem:# 定义内存队列中可以存储的最大事件数量# 这里设置为 4096表示内存队列最多能容纳 4096 个事件# 当队列中的事件数量达到此上限时新的事件可能会被阻塞或丢弃取决于具体策略events: 4096# 触发内存队列刷新的最小事件数量# 当队列中的事件数量达到 1024 个时Filebeat 会尝试将这些事件刷新到输出端flush.min_events: 1024# 内存队列刷新的超时时间# 即使队列中的事件数量未达到 flush.min_events 的设定值每经过 5 秒Filebeat 也会将队列中的事件刷新到输出端flush.timeout: 5s# 配置 Filebeat 的输出将收集到的事件发送到 Logstash
output.logstash:# 指定 Logstash 服务的主机和端口信息# logstash-prod:5044 表示 Logstash 服务所在的主机名为 logstash-prod端口为 5044hosts: [logstash-prod:5044]# 设置并行工作线程的数量# 这里设置为 8表示 Filebeat 会使用 8 个并行线程将事件发送到 Logstash以提高发送效率worker: 8# 设置数据传输时的压缩级别# 取值范围通常是 0 - 90 表示不压缩9 表示最高压缩比# 这里设置为 3是一个在压缩率和性能之间的平衡选择能在一定程度上减少网络传输的数据量compression_level: 3# 启用负载均衡功能# 当 hosts 配置中有多个 Logstash 实例时Filebeat 会自动在这些实例之间进行负载均衡避免某个实例负载过高loadbalance: true# 配置 Filebeat 的日志记录级别
# 设置为 warning 表示 Filebeat 只会记录警告级别及以上的日志信息
# 这样可以减少日志文件的大小只关注可能影响系统正常运行的重要信息
logging.level: warning3. Logstash 数据处理管道
3.1 多阶段处理流程
ruby代码实现
# 定义 Logstash 的输入部分用于接收数据
input {# 使用 beats 输入插件用于接收来自 Filebeat 等 Beats 系列工具发送的数据beats {# 指定监听的端口Filebeat 会将数据发送到这个端口port 5044# 启用 SSL 加密确保数据在传输过程中的安全性ssl true# 指定 SSL 证书的路径用于 SSL 加密通信ssl_certificate /etc/pki/tls/certs/logstash.crt# 指定 SSL 私钥的路径与证书配合完成 SSL 加密ssl_key /etc/pki/tls/private/logstash.key}
}# 定义 Logstash 的过滤部分用于对输入的数据进行处理和转换
filter {# 针对 NGINX 访问日志进行解析# 检查数据中的 [fields][log_type] 字段是否为 nginx_accessif [fields][log_type] nginx_access {# 使用 grok 过滤器它可以根据正则表达式模式从日志消息中提取字段grok {# 定义匹配模式用于解析 NGINX 访问日志的每一行# 将不同的部分提取到对应的字段中如客户端 IP、请求方法、响应状态码等match { message %{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] %{WORD:verb} %{DATA:request} HTTP/%{NUMBER:httpversion} %{NUMBER:response} %{NUMBER:bytes} %{DATA:referrer} %{DATA:useragent} }}# 使用 date 过滤器将时间戳字符串转换为 Logstash 内部的日期对象date {# 指定时间戳字段和对应的日期格式用于解析时间match [ timestamp, dd/MMM/yyyy:HH:mm:ss Z ]}# 使用 useragent 过滤器解析用户代理字符串# 提取浏览器、操作系统等信息到新的 ua 字段中useragent {source useragenttarget ua}}# 通用字段处理部分对所有接收到的数据都进行操作mutate {# 将 response 和 bytes 字段的数据类型转换为整数类型convert {response integerbytes integer}# 从数据中移除 message 字段因为它的信息可能已经被解析到其他字段中remove_field [message]}
}# 定义 Logstash 的输出部分用于将处理后的数据发送到目标位置
output {# 使用 elasticsearch 输出插件将数据发送到 Elasticsearch 集群elasticsearch {# 指定 Elasticsearch 集群的节点地址hosts [es - node1:9200,es - node2:9200]# 定义索引名称采用动态索引的方式根据日期每天创建一个新的索引index %{[metadata][beat]}-%{YYYY.MM.dd}# 指定索引模板的路径用于在 Elasticsearch 中创建索引时的初始配置template /etc/logstash/templates/nginx - template.json# 指定索引模板的名称template_name nginx - access# 启用索引生命周期管理ILM可以自动管理索引的生命周期如滚动、删除等ilm_enabled true}# 调试输出部分在生产环境中建议关闭# 将处理后的数据以易读的 Ruby 调试格式输出到标准输出stdout {codec rubydebug { metadata true }}
}3.2 Grok性能优化表
Grok是一个非常实用的工具通常结合 Logstash 一起使用用于解析非结构化的日志数据并将其转换为结构化的数据以便于在 Elasticsearch 中进行索引、搜索和分析。 是一种基于正则表达式的模式匹配语言。常用预定义模式 %{IPORHOST}用于匹配 IP 地址或主机名。%{USER}匹配用户名。%{HTTPDATE}匹配 HTTP 日期格式如 01/Jan/2024:12:00:00 0800。%{WORD}匹配一个单词。%{NUMBER}匹配一个数字。
模式复杂度原始性能事件/秒优化策略优化后性能提升幅度简单模式12,000预编译正则表达式15,00025%↑中等模式8,500使用Oniguruma引擎11,20032%↑复杂模式3,200模式分解条件判断5,80081%↑
4. Elasticsearch 索引设计
4.1 ILM生命周期策略
PUT _ilm/policy/logs-policy
{policy: {phases: {hot: {actions: {rollover: {max_size: 50gb,max_age: 7d},set_priority: {priority: 100}}},warm: {min_age: 7d,actions: {forcemerge: {max_num_segments: 1},shrink: {number_of_shards: 1}}},delete: {min_age: 30d,actions: {delete: {}}}}}
}4.2 索引模板配置
// 创建一个名为 logs-template 的索引模板
PUT _index_template/logs-template
{// 定义索引模板匹配的索引名称模式// 这里表示该模板将应用于所有以 logs- 开头的索引index_patterns: [logs-*],// 定义当创建匹配此模板的索引时所使用的设置和映射template: {// 索引的设置部分包含一些与索引性能、存储、生命周期等相关的参数settings: {// 指定索引的主分片数量为 3// 主分片用于存储索引数据多个主分片可以实现数据的分布式存储和并行处理number_of_shards: 3,// 指定每个主分片的副本分片数量为 1// 副本分片是主分片的复制用于提高数据的可用性和容错性number_of_replicas: 1,// 指定该索引将使用名为 logs-policy 的索引生命周期管理策略// 索引生命周期管理可以自动管理索引的各个阶段如热、温、冷、删除等index.lifecycle.name: logs-policy,// 指定索引使用的压缩编解码器为 best_compression// 该编解码器会以较高的压缩率对索引数据进行压缩以节省磁盘空间但可能会增加一定的 CPU 开销index.codec: best_compression},// 索引的映射部分定义了索引中字段的类型和结构mappings: {// 设置动态映射规则为 strict// 这意味着只有在映射中显式定义的字段才能被索引新字段不会自动添加到映射中dynamic: strict,// 定义索引中各个字段的具体属性properties: {// 定义 timestamp 字段的类型为日期类型// 该字段通常用于存储日志事件的时间戳方便进行时间范围的查询和分析timestamp: { type: date },// 定义 message 字段的类型为文本类型// 文本类型适用于存储较长的文本内容支持全文搜索message: { type: text },// 定义 response 字段的类型为整数类型// 该字段可能用于存储响应状态码等整数值response: { type: integer },// 定义 geoip 字段为对象类型// 对象类型可以包含多个子字段用于组织相关的信息geoip: {type: object,// 定义 geoip 对象中的子字段properties: {// 定义 location 字段的类型为地理点类型// 地理点类型用于存储地理位置信息如经纬度方便进行地理空间查询location: { type: geo_point }}}}}}
}5. Kibana 可视化实战
5.1 仪表板配置要点
// 向 Kibana 的 API 发起 POST 请求用于创建一个新的仪表盘dashboard对象
POST /api/saved_objects/dashboard
{// 定义仪表盘对象的属性attributes: {// 仪表盘的标题这里设置为 Nginx访问监控title: Nginx访问监控,// 仪表盘的描述信息说明该仪表盘用于实时流量分析description: 实时流量分析仪表板,// 仪表盘上的面板配置包含多个可视化面板panelsJSON: [{// 第一个面板的类型为时间序列图timeseriestype: timeseries,// 该面板的标题为 请求量趋势title: 请求量趋势,// 该面板的参数配置params: {// 指定要查询的索引模式这里表示查询所有以 logs-nginx- 开头的索引index: logs-nginx-*,// 指定时间字段用于按照时间进行数据聚合和展示这里使用 timestamp 字段time_field: timestamp,// 指定时间间隔为 1 小时即按每小时进行数据聚合interval: 1h,// 时间序列图的系列配置series: [{// 系列的名称为 总请求量name: 总请求量,// 聚合方式为计数即统计每个时间间隔内的请求数量aggregation: count}]}},{// 第二个面板的类型为饼图pietype: pie,// 该面板的标题为 HTTP状态码分布title: HTTP状态码分布,// 该面板的参数配置params: {// 指定要查询的索引模式同样查询所有以 logs-nginx- 开头的索引index: logs-nginx-*,// 分割模式为按词项terms分割即根据某个字段的值进行分组split_mode: terms,// 指定用于分组的字段为 response通常这个字段存储的是 HTTP 状态码terms_field: response,// 显示前 5 个分组的结果即只展示出现次数最多的 5 个 HTTP 状态码的分布情况size: 5}}]}
}5.2 关键可视化类型对比
图表类型适用场景性能影响数据精度交互性时间序列图流量趋势分析低高强热力图异常检测中中中地理地图IP分布分析高高弱数据表原始日志查看低最高弱
6. 全链路监控与调优
6.1 性能监控指标
组件关键指标健康阈值告警阈值监控工具FilebeatHarvester活跃数 1000 2000MetricbeatLogstashPipeline延迟 500ms 2sPrometheusElasticsearch索引延迟 1s 5sElastic监控Kibana查询响应时间 3s 10sAPM
Harvester 是 Filebeat 中负责实际读取文件内容的核心组件 Harvester 是 Filebeat 里的一个文件读取器当 Filebeat 监测到有符合采集规则的文件时会为每个文件启动一个 Harvester 实例。它的主要任务是逐行读取文件内容将读取到的行封装成事件然后发送给 Filebeat 的 spooler 进行后续处理。 APMApplication Performance Monitoring 用于对应用程序的性能进行监控和分析。功能特点 性能指标监控、分布式追踪、错误分析、用户体验监控。
6.2 典型瓶颈解决方案 场景日志处理延迟突增 问题定位 # 查看Logstash节点状态
GET _nodes/stats/pipelines?filter_pathnodes.*.pipelines# 检查热点线程
GET _nodes/hot_threads优化策略 # 管道配置用于控制 Logstash 处理事件的方式和效率pipeline:# 批处理相关配置影响 Logstash 一次处理的事件数量和处理时间间隔batch:# 每次批处理的事件数量# 原值为 250现调整为 125# 减小批量大小可能会降低每次处理的数据量使处理更加灵活适用于事件产生速度不均匀或者对实时性要求较高的场景size: 125# 批处理的延迟时间单位毫秒# 原值为 100现调整为 50# 缩短延迟时间可以让 Logstash 更快地处理事件提高数据处理的实时性delay: 50# 工作线程数量# 原值为 4现调整为 8# 增加工作线程数量可以提高 Logstash 的并发处理能力加快事件处理速度但同时也会增加系统资源的消耗workers: 8# 是否按顺序处理事件# 设置为 false 表示不按顺序处理这样可以提高处理效率但可能会导致事件处理的顺序与输入顺序不一致# 对于对事件顺序要求不高的场景关闭顺序处理可以提升性能ordered: false# 以下是对 Logstash 运行时所使用的 Java 虚拟机JVM堆内存进行配置# LS_JAVA_OPTS 是一个环境变量用于设置 JVM 的启动参数LS_JAVA_OPTS: -Xms8g -Xmx8g# -Xms8g 表示 JVM 堆内存的初始大小为 8GB# -Xmx8g 表示 JVM 堆内存的最大大小为 8GB# 增加堆内存可以让 Logstash 有更多的内存空间来处理大量的数据减少因内存不足导致的性能问题和错误# 但同时也需要确保系统有足够的物理内存支持否则可能会导致系统性能下降或出现内存溢出错误LS_JAVA_OPTS 通常是指与 LogstashLS 可能是 Logstash 的缩写相关的 Java 虚拟机JVM选项配置变量。Logstash 是基于 Java 开发的开源数据处理引擎用于采集、处理和转发数据。通过合理配置 LS_JAVA_OPTS可以优化 Logstash 的性能、提高稳定性并满足不同的运行需求和场景。 优化效果 指标优化前优化后提升比例处理延迟4.2s0.8s81%↓CPU使用率95%68%28%↓吞吐量8K EPS14K EPS75%↑
7. 安全加固方案
7.1 传输层加密配置
# Filebeat配置部分用于设置 Filebeat 输出数据的目标及相关安全配置
output.logstash:# 指定 Logstash 服务的主机和端口这里表示将数据发送到名为 logstash 的主机的 5044 端口hosts: [logstash:5044]# SSL 相关配置用于启用和配置 Filebeat 与 Logstash 之间的 SSL 加密通信ssl:# 启用 SSL 加密设置为 true 表示开启enabled: true# 证书颁发机构CA证书路径用于验证 Logstash 服务器证书的合法性# Filebeat 使用该 CA 证书来确认它连接的 Logstash 服务器是受信任的certificate_authorities: [/etc/pki/ca.crt]# Filebeat 客户端证书路径用于向 Logstash 服务器进行身份验证# Logstash 可以使用该证书来确认连接的客户端是合法的certificate: /etc/pki/client.crt# Filebeat 客户端私钥路径与客户端证书配合使用用于加密和解密通信数据key: /etc/pki/client.key# Elasticsearch配置部分主要涉及 X-Pack 安全模块中传输层的 SSL 配置
xpack.security.transport.ssl:# 启用传输层的 SSL 加密设置为 true 表示开启enabled: true# 证书验证模式这里设置为 certificate 表示进行证书验证# 这意味着 Elasticsearch 会验证连接的对等方如其他节点或客户端的证书verification_mode: certificate# 密钥库路径密钥库包含了 Elasticsearch 用于 SSL 通信的私钥和证书# certs/elastic-certificates.p12 是存储密钥和证书的文件路径keystore.path: certs/elastic-certificates.p12# 信任库路径信任库包含了 Elasticsearch 信任的证书颁发机构的证书# 这里信任库路径与密钥库路径相同表明使用相同的证书文件来验证对等方的证书truststore.path: certs/elastic-certificates.p127.2 权限控制矩阵
角色数据访问范围操作权限适用场景log_viewerlogs-*read, view_index_metadata普通运维人员log_adminlogs-*manage, create_index系统管理员alert_manager.kibana-event-log-*read, index监控告警系统report_user特定索引模式read审计与报表生成
8. 实战案例电商大促日志监控
8.1 场景参数
{业务场景: 双11大促监控,日志规模: {峰值QPS: 120,000 EPS,单日数据量: 8TB,保留周期: 30天},架构特性: [自动扩缩容,多级缓存,实时异常检测]
}8.2 性能测试结果
测试阶段写入延迟p95查询响应时间系统可用性预热阶段23ms280ms100%峰值压力89ms1.2s99.98%故障恢复自动切换5.8s-99.95%
p95 P95 指的是第 95 百分位数。它是一种统计指标将一组数据从小到大排序后处于第 95% 位置的值就是 P95。例如有 100 个数据将它们按从小到大排列第 95 个数据的值就是 P95。在性能测试和数据分析中P95 常用于衡量数据的分布和性能表现。 附录常用诊断命令速查表
功能Filebeat命令ES API端点查看采集状态filebeat test outputGET _cat/indices?v检查管道状态journalctl -u filebeatGET _nodes/stats/ingest监控队列积压filebeat -e -d *GET _cat/thread_pool?v验证配置语法filebeat test configGET _cluster/pending_tasks 最佳实践建议 建议采用「先索引模板后数据写入」的流程日志类数据优先使用时间序列索引模式定期执行_forcemerge优化存储空间重要操作需通过变更管理系统审批
