功能概述

logstash-input-s3 是一款开源插件，当对象存储桶中文件有更新后，触发变更事件，系统通知 Logstash 从对象存储拉取最新数据。通过安装 logstash-input-s3 插件，并在对象存储开启日志功能，可及时从支持 S3 对象存储协议桶同步日志信息到 Logstash。更多信息可参考官方文档。

本小节主要介绍部分 Logstash 插件 logstash-input-s3 的 安装、配置和验证方法。

前提条件

已创建可用对象存储桶和 API 密钥，并分别获取到 endpoint、bucket、access_key、secret_key 信息。

操作步骤

步骤一：通过 VNC 登录 Logstash 节点

详情可参考前文内容。

步骤二：安装插件

在 Logstash 节点中，运行如下命令安装插件。

说明

如有多个 Logstash 节点，请在所有 Logstash 节点上安装插件，确保所有 Logstash 节点成功安装插件。否则状态会显示不正常。

 
cd /data/logstash/plugins
/usr/share/logstash/bin/logstash-plugin install logstash-input-s3

步骤三：修改配置参数

参考修改配置参数，修改 Logstash 节点 的以下参数。并重启 Logstash 节点，启动插件服务。

  • gemfile_append_content

    gem "logstash-input-s3", :path => "/data/logstash/plugins/logstash-input-s3"

  • output_conf_content

    index => "hello-%{+YYYY.MM.dd}"

  • input_conf_content

    s3 {
    access_key_id => "<YourAccessKey>"
    secret_access_key => "<YourSecretKey>"
    endpoint => "http://s3.pek3b.qingstor.com"
    bucket => "<bucket_name>"
}

步骤四：安装验证

  1. 上传一个日志文件至对象存储的目标 Bucket 中，触发变更事件。详情可参考上传文件至 Bucket。

  2. 登录 Dashboard 平台，在 Discover 页面，查看近期接收到的日志，验证插件配置是否生效。详情参考如何登录 Dashboard。