功能概述

一个 ELK 集群即一个独立运行的数据库计算资源组合，包含数据库、服务器、存储磁盘、私有网络等云资源。ELK 集群目前包括 Elasticsearch 、Logstash、Kibana 三类节点服务。

集群节点
节点类型 节点说明

Elasticsearch 热节点

  • Elasticsearch 热数据管理节点。用于保存近期的索引，承担最频繁的写入和查询操作。

  • 该节点通常配置高性能资源，例如超高性能主机及硬盘。

Elasticsearch 冷/温节点

  • Elasticsearch 冷/温数据管理节点。用于保存只读索引，可接收少量的查询请求。

  • 该节点对计算和存储资源性能要求不高，可配置一般性能的资源。

Elasticsearch 专有主节点

  • Elasticsearch 集群高可用节点，用于提高集群的稳定性。

  • 该节点不保存数据，也就不参与索引和查询操作，不会被长 GC 干扰，负载可以保持在较低水平。

Logstash

提供数据收集及实时数据转换处理的能力。

Kibana

提供 Elasticsearch 可视化管理平台，可绑定高可用 IP 确保 Elasticsearch 服务的高可用。

通过 AppCenter 集群管理控制台，用户可以快速创建 ELK 集群。本小节主要介绍如何快速创建 ELK 集群。

操作步骤

  1. 通过 Web 浏览器登录企业云平台的 Console。

  2. 在顶部菜单栏中选择产品与服务 > 大数据服务 > ELK 服务，进入 ELK 管理页面。

    • 如果是首次部署，进入 ELK 应用简介页面，点击立即部署进入部署页面。

    • 如果已创建过 ELK 集群，则进入 ELK 集群管理页面，点击 + 创建进入部署页面。

      elk_cluster_list

  3. 在顶部区域下拉框中，根据就近原则，选择实例所在区域后，再根据页面提示信息，填写各参数。页面参数说明如下。

    • 基本设置

      参数 说明

      UUID

      系统默认分配的全局唯一标识码，不可修改。

      名称

      集群的名称，默认为 ELK，用户可根据需求进行修改。

      描述

      对集群的简要描述。

      版本

      选择待部署的应用版本。

      快速配置

      系统内置了某些应用场景的配置，用户可根据需求进行选用。也可选择 自定义，自行定义各节点配置。

      部署方式

      • 多可用区部署 表示将节点分散部署在当前区域的不同可用区，可用性高。

      • 单可用区部署 表示将节点部署在当前区域同一个可用区，网络延迟最低。企业云平台推荐该模式。

      可用区

      选择区域内可用区。

    • Elasticsearch 热节点设置（可选）

      当 快速配置 选择 自定义 时，需填写以下参数，设置集群 Elasticsearch 热节点的资源配置，包括云服务器规格、磁盘大小等。

      参数 说明

      CPU

      设置集群节点云服务器 CPU 规格。

      内存

      设置集群节点云服务器内存规格。

      节点数量

      设置集群 Elasticsearch 热节点的数量。

      • 默认值 3，取值范围 0～200。

      • 建议创建的 Elasticsearch 节点数量，不少于分片副本数的个数，从而确保副本都能正常分配。

      • 建议配合专有主节点，保障集群服务的高可用。

      主机类型

      设置集群节点云服务器类型。

      存储类型

      选择集群数据和日志存储磁盘类型。

      存储容量

      设置集群数据和日志存储磁盘大小。

      • 磁盘大小决定了最大容量以及 IOPS 能力，请根据业务量，滑动设置或输入数字配置集群磁盘大小。

      • 根据页面提示信息进行填写。

    • Elasticsearch 专用主节点设置（可选）

      当 快速配置 选择 自定义 时，需填写以下参数，设置集群 Elasticsearch 专有主节点的资源配置，包括云服务器规格、磁盘大小等。

      参数 说明

      CPU

      设置集群节点云服务器 CPU 规格。

      内存

      设置集群节点云服务器内存规格。

      节点数量

      设置集群专有主节点数量，单节点仅供测试使用，生产环境请选择至少三节点。

      • 默认值 3。

      • 取值范围 0、1、3、5。

      主机类型

      设置集群节点云服务器类型。

      存储类型

      选择集群数据和日志存储磁盘类型。

      存储容量

      设置集群数据和日志存储磁盘大小。

      • 磁盘大小决定了最大容量以及 IOPS 能力，请根据业务量，滑动设置或输入数字配置集群磁盘大小。

      • 根据页面提示信息进行填写。

    • Elasticsearch 温和冷节点设置（可选）

      当 快速配置 选择 自定义 时，需填写以下参数，设置集群 Elasticsearch 温节点和冷节点的资源配置，包括云服务器规格、磁盘大小等。

      参数 说明

      CPU

      设置集群节点云服务器 CPU 规格。

      内存

      设置集群节点云服务器内存规格。

      节点数量

      设置集群节点数量。建议不少于分片副本数的个数，从而确保副本都能正常分配。

      • 默认值 0。

      • 取值范围 0～200。

      • 建议配合专有主节点，保障集群服务的高可用。

      主机类型

      设置集群节点云服务器类型。

      存储类型

      选择集群数据和日志存储磁盘类型。

      存储容量

      设置集群数据和日志存储磁盘大小。

      • 磁盘大小决定了最大容量以及 IOPS 能力，请根据业务量，滑动设置或输入数字配置集群磁盘大小。

      • 根据页面提示信息进行填写。

    • Logstash 节点设置（可选）

      当 快速配置 选择 自定义 时，需填写以下参数，设置集群 Logstash 节点的资源配置，包括云服务器规格、磁盘大小等。

      参数 说明

      CPU

      设置集群节点云服务器 CPU 规格。

      内存

      设置集群节点云服务器内存规格。

      节点数量

      设置集群节点数量。

      • 默认值 1。

      • 取值范围 0～50。

      主机类型

      设置集群节点云服务器类型。

      存储类型

      选择集群数据和日志存储磁盘类型。

      存储容量

      设置集群数据和日志存储磁盘大小。

      • 磁盘大小决定了最大容量以及 IOPS 能力，请根据业务量，滑动设置或输入数字配置集群磁盘大小。

      • 根据页面提示信息进行填写。

    • Kibana 节点设置（可选）

      当 快速配置 选择 自定义 时，需填写以下参数，设置集群 Kibana 节点的资源配置，包括云服务器规格、磁盘大小等。

      参数 说明

      CPU

      设置集群节点云服务器 CPU 规格。

      内存

      设置集群节点云服务器内存规格。

      节点数量

      设置集群节点数量。

      • 默认值 1。

      • 取值范围 0、1、2。

      主机类型

      设置集群节点云服务器类型。

    • 网络设置

      参数 说明

      VPC 网络

      选择集群所在的 VPC 网络。

      • 默认适配同区域已有 VPC 私有网络，用户可在下拉框内选择目标网络。

      • 若无目标网络，可点击新建 VPC 网络。

      • 免费型 VPC 网络不支持用于集群网络环境。

      私有网络

      选择 VPC 网络下的私有网络。若无目标网络，可点击创建私有网络。

      节点 IP

      配置节点 IP 地址。

      • 默认为 自动分配，无需手动填写，系统将根据所选择的网络段分配 IP 地址。

      • 选择 手动配置，则用户需为各节点配置所属网络段内的 IP 地址。

      预留 IP

      配置节点的高可用 IP 地址。

      • 默认为 自动分配，无需手动填写，系统将根据所选择的网络段分配 IP 地址。

      • 选择 手动配置，则用户需为各节点配置所属网络段内的 IP 地址。

    • 服务环境参数设置

      参数 说明

      更多参数设置

      均有默认值，用户可在创建集群后，对其进行修改，详细说明请参见配置参数管理。

  4. 确认上述配置信息无误，勾选用户协议后，点击提交，创建集群。

  5. 集群创建成功后，可在 ELK 集群管理页面，查看和管理 ELK 集群。