功能概述

ELK 是 Elasticsearch、Logstash 和 Kibana 集合的简称,被广泛应用于实时日志处理、全文搜索和数据分析等领域。

  • Elasticsearch 是一个实时分布式搜索和分析引擎。

  • Logstash 为用户提供数据采集、转换、优化和输出的能力。

  • Kibana 是一种数据可视化工具,为 Elasticsearch 提供了强大的可视化界面。

ELK 集群服务具备以下功能特点:

集成中文分词插件

集成了 IK Analysis 中文分词插件,并为该插件提供了 结巴分词 的词库和 IK 自带的搜狗词库,同时还支持用户上传自定义词典,为 Elasticsearch 提供了更强大的分词功能支持。

集成对象存储插件

  • Elasticsearch 与对象存储集成

    Elasticsearch 集成了官方 S3 Repository 插件,使其可通过标准 S3 接口与对象存储集成,以便生成 Snapshot 并将其存储到到桶中,并可以在必要时从中恢复。

  • Logstash 与对象存储集成

    用户可以很方便地从对象存储,通过内置的 官方插件 logstash-input-s3 输入数据到 Elasticsearch 或者通过 logstash-output-s3 插件将输入到 Logstash 的数据导出到对象存储。

  • Logstash 自定义插件

    集成 elasticsearch-analysis-pinyin 插件。

故障转移

Kibana 节点集成 ES 反向代理和负载均衡,并提供 Elasticsearch 节点失效时的故障转移能力。

可视化管理工具

Kibana 节点提供 Cerebro、ES Head、ElasticHD、Elasticsearch-HQ、ES SQL 等可视化管理工具,方便用户通过浏览器使用 Elasticsearch。

日志管理

所有节点内置日志查看工具,用户可通过浏览器直接访问日志文件,方便定位问题。

监控管理

  • AppCenter 支持关键指标监控。

  • 支持三方告警对接,集成 Prometheus Node 和 Elasticsearch Exporter。

集群管理

  • 一键安装部署。

  • 支持节点横向和纵向扩容。

  • 支持企业级分布式 SAN(NeonSAN)存储,单节点最大 50T 容量。

  • 支持 ES 专有主节点(Dedicated Master)。

  • 支持热温冷(Hot-Warm-Cold)架构。

  • 支持 ES 节点滚动升级和重启,最小化对业务的影响。

组件说明

ELK 为用户提供了以下组件,用以服务集群其他组件或直接为用户提供服务。

ES Head

ES Head 提供一个 Elasticsearch Cluster 的 Web 控制台,用户可以在这个控制台里很方便的查看集群拓扑架构、监控集群状态,进行节点和索引级别的各种操作,以及进行数据的浏览、查询、分析等。

在 Web 浏览器输入网址 http://<Kibana 节点 IP>:9100 即可使用该插件提供的集群控制台。进入后请输入 http://<任意 Elasticsearch 节点 IP>:9200 后,点击连接即可查看 Elasticsearch 集群状态。

elasticsearch-sql

elasticsearch-sql 使用户可以使用 SQL 来进行 Elasticsearch 查询,并且可以在 SQL 中使用 Elasticsearch 的函数。

在 Web 浏览器输入网址 http://<Kibana 节点 IP>:8080 即可使用该插件提供的查询页面。

Cerebro

Cerebro 的前身是 Kopf,是一个开源的 Elasticsearch Web 管理工具,提供了查看集群节点资源使用状态、查看集群分片状态、创建索引、修改集群设置、创建仓库及快照等功能,为用户提供了极大的便利。

在 Web 浏览器输入网址 http://<Kibana 节点 IP>:9000 即可使用该插件提供的集群控制台。进入后请输入 http://<任意 Elasticsearch 节点 IP>:9200 后,点击 Connect 即可查看 Elasticsearch 集群状态。

ElasticHD

ElasticHD 是一个 Elasticsearch 可视化管理工具,支持 ES 监控、实时搜索,Index Template 快捷替换修改,索引列表信息查看,SQL Converts to DSL 等功能。

在 Web 浏览器输入网址 http://<Kibana 节点 IP>:9800 即可使用该插件提供的集群控制台。

Elasticsearch-HQ

Elasticsearch-HQ 是一个 ES 可视化监控和管理工具。

在 Web 浏览器打开 http://<Kibana 节点 IP>:5000 使用。

Caddy

Caddy 是一个支持 HTTP/2 的跨平台 Web 服务器,除了日志查看功能,还为 Logstash 节点提供上传分词和停止词词典功能,为 Elasticsearch 节点提供上传同义词词典功能。

Caddy 运行在集群节点的 80 端口,用户可通过 http://<节点 IP>/logs 查看日志。

HAProxy

HAProxy 是一个高性能的负载均衡软件,部署在 Kibana 节点上,为我们提供 Elasticsearch 的负载均衡和故障转移功能。

建议用户通过集群的 VIP,VIP 绑定在 Kibana 节点上,访问 Elasticsearch 服务 http://<集群 VIP>:9200

Keepalived

Keepalived 为 HAProxy 提供故障转移能力,防止 HAProxy 单点失败,确保 HAProxy 的高可用。

确保 http://<集群 VIP>:9200 的高可用。

版本说明

当前支持的组件及版本如下:

ELK 服务 Elasticsearch Logstash Kibana

ELK 7.10.2 - QingCloud 3.0.3

7.10.2

7.10.2

7.10.2

ELK 7.5.1 - QingCloud 3.0.0

7.5.1

7.5.1

7.5.1