集群配置参数 - 企业云产品文档

功能概述

在 AppCenter 集群管理控制台，用户可修改 ELK 集群的配置参数。各参数的值设置需根据云服务器、存储磁盘配置情况，以及数据库其他参数情况进行调整。

修改配置参数

通过 Web 浏览器登录企业云平台的 Console。
在顶部菜单栏中选择产品与服务 > 大数据服务 > ELK 服务，进入 ELK 管理页面。
在 ELK 管理页面，点击目标集群 ID，进入集群详情页面。
在右侧配置参数标签页，查看 ELK 集群当前版本所支持的参数配置项、参数描述及参数当前值。
点击修改属性，各参数值即进入可编辑状态，用户参考配置参数取值范围和描述，修改参数值。
确认参数信息无误后，点击保存，返回参数列表页面。

说明

当配置参数值发生变化时，将会重启对应的 ELK 服务。

说明
当配置参数值发生变化时，将会重启对应的 ELK 服务。

配置参数说明

在 AppCenter 集群管理控制台，用户可对 ELK 常用配置参数进行管理。本小节主要介绍 AppCenter 中各 ELK 配置参数的含义。

Elasticsearch 节点（热）

参数说明

参数	说明
prometheus.node .exporter	表示是否开启 Prometheus 导出器用于由 NIX 内核公开的硬件和操作系统指标，带有可插入的指标收集器。默认值 `true`。 true false
thread_pool.write .queue_size	表示 queue_size 允许控制没有线程执行它们的待处理请求队列的大小。 * 取值范围 `200~10240`。 * 默认值 `1024`。
thread_pool.search.queue_size	表示 queue_size 允许控制没有线程来执行它们的待处理请求队列的初始大小。 * 取值范围 `1000~10240`。 * 默认值 `1024`。
action.destructive _requires_name	表示是否允许在删除索引时使用通配符或 `_all`。默认值 `true`，表示允许使删除只限于特定名称指向的数据。取值 `false`，表示允许在删除索引时使用通配符或 `_all`，推荐配置。
discovery.zen.no_master_block	表示控制当节点没有活跃的主节点时哪些操作应该被拒绝。全部写
gateway.recover_after_time	表示如果未达到期望的节点数，recovery 过程将在配置的时间后开始 recover 操作。默认值 5 分钟。
http.cors.enabled	表示是否支持跨区域资源共享，例如另一区域的服务器向 Elasticsearch 执行请求。 true false
http.cors.allow-origin	表示允许跨域资源共享的域。详细配置说明，请参见官方文档。
indices.fielddata.cache.size	表示 field 缓存数据所能使用的堆内存的最大值。默认值 `90%`。
indices.memory.index _buffer_size	表示总堆用于索引缓存被所有分片共享的内存大小。可配置百分比值或字节值。默认值 10%，表示总堆内存的 10% 将被用于索引缓存被所有分片共享。
indices.queries.cache.size	表示控制 filter 缓存的内存大小。默认值 10%。可配置百分比值或字节值。
indices.requests.cache.size	表示分片级的请求缓存对每一个分片做本地缓存，这个缓存在节点级进行管理。默认堆内存的 1%。
node.attr.data（热）	表示 Elasticsearch 节点自定义标签（node.attr.data），可用作热-温-冷架构配置。可取值 `hot`。
script.allowed_types	表示在 `elasticsearch.yml` 文件中指定允许的脚本类型。
script.allowed_contexts	表示在 `elasticsearch.yml` 文件中指定允许的文本类型。
reindex.remote.whitelist	表示允许 Reindex 的远程集群白名单。
remote_ext_dict	表示扩展字典的远程位置。
remote_ext_stopwords	表示允扩展停止词字典的远程位置。
path.repo	表示共享文件系统仓库的路径。
repositories.url.allowed_urls	表示只读 URL 仓库的路径。
es_additional_line1	表示在 `elasticsearch.yml` 文件中附加配置。
es_additional_line2	表示在 `elasticsearch.yml` 文件中附加配置。
es_additional_line3	表示在 `elasticsearch.yml` 文件中附加配置。
logger.action.level	表示日志配置文件 `log4j2.properties` 中的 `logger.action.level` 配置项。默认值 `info`。 info trace debug warn error
rootLogger.level	表示日志配置文件 `log4j2.properties` 中的 `rootLogger.level` 配置项。默认值 `info`。 info trace debug warn error
logger.deprecation.level	表示日志配置文件 `log4j2.properties` 中的 `logger.deprecation.level` 配置项。默认值 `warn`。 info trace debug warn error
logger.index_search_slowlog_rolling.level	表示日志配置文件 log4j2.properties 中的 logger.index_search_slowlog_rolling.level 配置项。默认值 `trace`。 info trace debug warn error
logger.index_indexing _slowlog.level	表示日志配置文件 log4j2.properties 中的 logger.index_indexing_slowlog.level 配置项。默认值 `trace`。 info trace debug warn error
enable_heap_dump	表示是否允许启用自动 Heap Dump。默认值 `false`。 true false
heap_dump_path	表示 Heap Dump 文件的存储路径。默认值 `/data/elasticsearch/dump`。
clean_logs_older _than_n_days	表示 Elasticsearch 节点日志保留天数。默认值 7 天。
tcp_keepalive_intvl	表示 TCP keepalive 探活的时间间隔。默认值 75。
tcp_keepalive_probes	表示在通知应用层连接断开之前，允许尝试发送未应答的（unacknowledged）探活请求的数量。默认值 9。
tcp_keepalive_time	表示最后一次发送数据包之后，到发送第一个 keepalive 保活请求之间的时间间隔。默认值 7200 秒。

prometheus.node .exporter

表示是否开启 Prometheus 导出器用于由 NIX 内核公开的硬件和操作系统指标，带有可插入的指标收集器。默认值 true。

true
false

thread_pool.write .queue_size

表示 queue_size 允许控制没有线程执行它们的待处理请求队列的大小。

* 取值范围 200~10240。 * 默认值 1024。

thread_pool.search.queue_size

表示 queue_size 允许控制没有线程来执行它们的待处理请求队列的初始大小。

* 取值范围 1000~10240。 * 默认值 1024。

action.destructive _requires_name

表示是否允许在删除索引时使用通配符或 _all。

默认值 true，表示允许使删除只限于特定名称指向的数据。
取值 false，表示允许在删除索引时使用通配符或 _all，推荐配置。

discovery.zen.no_master_block

表示控制当节点没有活跃的主节点时哪些操作应该被拒绝。

全部
写

gateway.recover_after_time

表示如果未达到期望的节点数，recovery 过程将在配置的时间后开始 recover 操作。

默认值 5 分钟。

http.cors.enabled

表示是否支持跨区域资源共享，例如另一区域的服务器向 Elasticsearch 执行请求。

true
false

http.cors.allow-origin

表示允许跨域资源共享的域。详细配置说明，请参见官方文档。

indices.fielddata.cache.size

表示 field 缓存数据所能使用的堆内存的最大值。默认值 90%。

indices.memory.index _buffer_size

表示总堆用于索引缓存被所有分片共享的内存大小。

可配置百分比值或字节值。
默认值 10%，表示总堆内存的 10% 将被用于索引缓存被所有分片共享。

indices.queries.cache.size

表示控制 filter 缓存的内存大小。

默认值 10%。
可配置百分比值或字节值。

indices.requests.cache.size

表示分片级的请求缓存对每一个分片做本地缓存，这个缓存在节点级进行管理。默认堆内存的 1%。

node.attr.data（热）

表示 Elasticsearch 节点自定义标签（node.attr.data），可用作热-温-冷架构配置。可取值 hot。

script.allowed_types

表示在 elasticsearch.yml 文件中指定允许的脚本类型。

script.allowed_contexts

表示在 elasticsearch.yml 文件中指定允许的文本类型。

reindex.remote.whitelist

表示允许 Reindex 的远程集群白名单。

remote_ext_dict

表示扩展字典的远程位置。

remote_ext_stopwords

表示允扩展停止词字典的远程位置。

path.repo

表示共享文件系统仓库的路径。

repositories.url.allowed_urls

表示只读 URL 仓库的路径。

es_additional_line1

表示在 elasticsearch.yml 文件中附加配置。

es_additional_line2

表示在 elasticsearch.yml 文件中附加配置。

es_additional_line3

表示在 elasticsearch.yml 文件中附加配置。

logger.action.level

表示日志配置文件 log4j2.properties 中的 logger.action.level 配置项。默认值 info。

info
trace
debug
warn
error

rootLogger.level

表示日志配置文件 log4j2.properties 中的 rootLogger.level 配置项。默认值 info。

info
trace
debug
warn
error

logger.deprecation.level

表示日志配置文件 log4j2.properties 中的 logger.deprecation.level 配置项。默认值 warn。

info
trace
debug
warn
error

logger.index_search_slowlog_rolling.level

表示日志配置文件 log4j2.properties 中的 logger.index_search_slowlog_rolling.level 配置项。默认值 trace。

info
trace
debug
warn
error

logger.index_indexing _slowlog.level

表示日志配置文件 log4j2.properties 中的 logger.index_indexing_slowlog.level 配置项。默认值 trace。

info
trace
debug
warn
error

enable_heap_dump

表示是否允许启用自动 Heap Dump。默认值 false。

true
false

heap_dump_path

表示 Heap Dump 文件的存储路径。默认值 /data/elasticsearch/dump。

clean_logs_older _than_n_days

表示 Elasticsearch 节点日志保留天数。默认值 7 天。

tcp_keepalive_intvl

表示 TCP keepalive 探活的时间间隔。默认值 75。

tcp_keepalive_probes

表示在通知应用层连接断开之前，允许尝试发送未应答的（unacknowledged）探活请求的数量。默认值 9。

tcp_keepalive_time

表示最后一次发送数据包之后，到发送第一个 keepalive 保活请求之间的时间间隔。默认值 7200 秒。

Elasticsearch 节点（温）

参数说明

参数	说明
node.attr.data（温）	表示 Elasticsearch 节点自定义标签（node.attr.data），可用作热-温-冷架构配置。取值为 `warm`。

node.attr.data（温）

表示 Elasticsearch 节点自定义标签（node.attr.data），可用作热-温-冷架构配置。取值为 warm。

Elasticsearch 节点（冷）

参数说明

参数	说明
node.attr.data（冷）	表示 Elasticsearch 节点自定义标签（node.attr.data），可用作热-温-冷架构配置。取值为 `cold`。

node.attr.data（冷）

表示 Elasticsearch 节点自定义标签（node.attr.data），可用作热-温-冷架构配置。取值为 cold。

Kibana 节点

参数说明

参数	说明
prometheus.elasticsearch.exporter	表示是否开启 ElasticSearch 的各种指标的 Prometheus 导出器。 `true` 表示启用。 `false` 表示不启用。
enable_elasticsearch_head	表示是否启用 elasticsearch-head。 `true`，表示启用，启用前请先设置 Elasticsearch 节点的 `http.cors.enabled` 为 `true`，并设置合适的 `http.cors.allow-origin`。 `false` 表示不启用。
enable_elastichd	表示是否启用 ElasticHD。 `true` 表示启用。 `false` 表示不启用。
enable_cerebro	表示是否启用 Cerebro。 `true` 表示启用。 `false` 表示不启用。
enable_elasticsearch_hq	表示是否启用 Elasticsearch-HQ。 `true` 表示启用。 `false` 表示不启用。
enable_elasticsearch_sql	表示是否启用 elasticsearch-sql。 `true` 表示启用。启用前请先设置 Elasticsearch 节点的 `http.cors.enabled` 为 `true`，并设置合适的 `http.cors.allow-origin`。 `false` 表示不启用。
ES 代理负载均衡策略	表示 Dashboard 节点代理负载均衡策略类型。详细策略类型说明，请参见官方文档。轮询 static-rr 最少连接 first 源地址
ES 代理连接超时时间	表示 HAProxy 连接后端 Elasticsearch 服务的超时时间。单位可设置 ms（毫秒）、s（秒）、m（分）或者 h（小时）。默认值 5秒。
ES 代理超时时间	表示 HAProxy 等待后端 Elasticsearch 服务返回响应的超时时间。单位可设置 ms（毫秒）、s（秒）、m（分）或者 h（小时）。默认值 60秒。
ES 代理最大连接数	表示 Dashboard 节点代理最大并发连接数，超出的客户端连接请求将排队等待。详细连接数说明，请参见HAProxy Configuration。默认值 2000。取值范围为 `0~65535`。
ES 代理最大请求体	表示 Elasticsearch 代理的客户端请求体的最大允许值。默认值 20 MB。单位为 MB，设置以 m 表示。
server.basePath	表示 Kibana 代理。不能以斜线 `/` 结尾。详细配置说明，请参见Configure Kibana。
server.rewriteBasePath	表示是否重写 bashPath。详细配置说明，请参见Configure Kibana。 true false

prometheus.elasticsearch.exporter

表示是否开启 ElasticSearch 的各种指标的 Prometheus 导出器。

true 表示启用。
false 表示不启用。

enable_elasticsearch_head

表示是否启用 elasticsearch-head。

true，表示启用，启用前请先设置 Elasticsearch 节点的 http.cors.enabled 为 true，并设置合适的 http.cors.allow-origin。
false 表示不启用。

enable_elastichd

表示是否启用 ElasticHD。

true 表示启用。
false 表示不启用。

enable_cerebro

表示是否启用 Cerebro。

true 表示启用。
false 表示不启用。

enable_elasticsearch_hq

表示是否启用 Elasticsearch-HQ。

true 表示启用。
false 表示不启用。

enable_elasticsearch_sql

表示是否启用 elasticsearch-sql。

true 表示启用。启用前请先设置 Elasticsearch 节点的 http.cors.enabled 为 true，并设置合适的 http.cors.allow-origin。
false 表示不启用。

ES 代理负载均衡策略

表示 Dashboard 节点代理负载均衡策略类型。详细策略类型说明，请参见官方文档。

轮询
static-rr
最少连接
first
源地址

ES 代理连接超时时间

表示 HAProxy 连接后端 Elasticsearch 服务的超时时间。

单位可设置 ms（毫秒）、s（秒）、m（分）或者 h（小时）。
默认值 5秒。

ES 代理超时时间

表示 HAProxy 等待后端 Elasticsearch 服务返回响应的超时时间。

单位可设置 ms（毫秒）、s（秒）、m（分）或者 h（小时）。
默认值 60秒。

ES 代理最大连接数

表示 Dashboard 节点代理最大并发连接数，超出的客户端连接请求将排队等待。详细连接数说明，请参见HAProxy Configuration。

默认值 2000。
取值范围为 0~65535。

ES 代理最大请求体

表示 Elasticsearch 代理的客户端请求体的最大允许值。

默认值 20 MB。
单位为 MB，设置以 m 表示。

server.basePath

表示 Kibana 代理。

不能以斜线 / 结尾。
详细配置说明，请参见Configure Kibana。

server.rewriteBasePath

表示是否重写 bashPath。

详细配置说明，请参见Configure Kibana。
true
false

Logstash 节点

参数说明

参数	说明
config.reload.automatic	表示是否定期检查配置文件并自动加载更改过的 pipeline 配置。 true false
config.reload.interval	表示定期检查配置文件的频率。单位为秒。默认值 3 秒。
input_conf_content	表示执行 Logstash 时，用 `-f` 指定配置文件，配置文件的 `input` 段的内容将由此设置项决定。不支持换行，请把所有以 `#` 开头的注释行去掉，以免引起语法错误。
filter_conf_content	表示执行 Logstash 时，用 `-f` 指定配置文件，配置文件的 `filter` 段的内容将由此设置项决定。不支持换行，请把所有以 `#` 开头的注释行去掉，以免引起语法错误。
output_conf_content	表示执行 Logstash 时，用 `-f` 指定配置文件，配置文件的 `output` 段的内容将由此设置项决定。不支持换行，请把所有以 `#` 开头的注释行去掉，以免引起语法错误。
output_os_content	表示执行 Logstash 时，用 `-f` 指定配置文件，配置文件的 `output` 段中的 `elasticsearch` 段的内容将由此设置项决定。不支持换行，请把所有以 `#` 开头的注释行去掉，以免引起语法错误。
gemfile_append_content	表示 Logstash 的 Gemfile 文件增加内容。

config.reload.automatic

表示是否定期检查配置文件并自动加载更改过的 pipeline 配置。

true
false

config.reload.interval

表示定期检查配置文件的频率。

单位为秒。
默认值 3 秒。

input_conf_content

表示执行 Logstash 时，用 -f 指定配置文件，配置文件的 input 段的内容将由此设置项决定。
不支持换行，请把所有以 # 开头的注释行去掉，以免引起语法错误。

filter_conf_content

表示执行 Logstash 时，用 -f 指定配置文件，配置文件的 filter 段的内容将由此设置项决定。
不支持换行，请把所有以 # 开头的注释行去掉，以免引起语法错误。

output_conf_content

表示执行 Logstash 时，用 -f 指定配置文件，配置文件的 output 段的内容将由此设置项决定。
不支持换行，请把所有以 # 开头的注释行去掉，以免引起语法错误。

output_os_content

表示执行 Logstash 时，用 -f 指定配置文件，配置文件的 output 段中的 elasticsearch 段的内容将由此设置项决定。
不支持换行，请把所有以 # 开头的注释行去掉，以免引起语法错误。

gemfile_append_content

表示 Logstash 的 Gemfile 文件增加内容。