功能概述

logstash-output-s3 是一款开源插件，能够从多个来源采集数据、转换数据，再将数据发送到对象存储中。通过安装 logstash-output-s3 插件，并在对象存储开启日志功能，可将 Logstash 的日志事件批量上传到支持 S3 对象存储协议桶存储。更多信息可参考官方文档。

本小节主要介绍 logstash-output-s3 的安装、配置和验证方法。

前提条件

已创建可用对象存储桶和 API 密钥，并分别获取到 endpoint、bucket、access_key、secret_key 信息。

操作步骤

步骤一：通过 VNC 登录 Logstash 节点

  1. 通过 Web 浏览器登录企业云平台的 Console。

  2. 在顶部菜单栏中选择产品与服务 > 大数据服务 > OpenSearch 服务，进入 OpenSearch 管理页面。

  3. 在 OpenSearch 管理页面，点击目标集群 ID，进入集群详情页面。

    opensearch_cluster_info

  4. 在右侧节点标签页，点击 Logstash 节点 ID 末尾的图标，打开 Web 终端。默认用户名密码如下。

    默认用户名 `ubuntu`
密码 `p12cHANgepwD`

  5. 打开终端，输入如下命令，切换到 root 用户。

    sudo su

步骤二：安装插件

在 Logstash 节点中，运行如下命令安装插件。

说明

如有多个 Logstash 节点，请在所有 Logstash 节点上安装插件，确保所有 Logstash 节点成功安装插件。否则状态会显示不正常。

 
cd /data/logstash/plugins
/usr/share/logstash/bin/logstash-plugin install logstash-output-s3

步骤三：修改配置参数

参考修改配置参数，修改 Logstash 节点 的以下参数。并重启 Logstash 节点，启动插件服务。

  • gemfile_append_content

    gem "logstash-output-s3", :path => "/data/logstash/plugins/logstash-output-s3"

  • output_conf_content

    s3 {
    access_key_id => "<YourAccessKey>"
    secret_access_key => "<YourSecretKey>"
    endpoint => "http://s3.pek3b.qingstor.com"
    bucket => "<bucket_name>"
}

  • input_conf_content

    file {
    path => "/data/logstash/logs/logstash-plain.log"
}

步骤四：安装验证

  1. 执行以下命令行，向 Logstash 发送一条数据。其中，<Logstash_IP> 为 Logstash 节点 IP 地址，需根据实际情况进行修改。

    curl -d "test" <Logstash_IP>:9700

  2. 在对象存储的 Bucket 桶中，查看是否生成 text/plain 日志文件。详情可参考查看 Bucket 文件列表。