功能概述

Kafka 是一种高吞吐量、低延迟、高可靠的分布式发布订阅消息系统。被广泛应用于网站活动追踪、日志监控、流式计算、事件采集、数据存储等应用场景。更多内容可参考官方文档。

企业云平台将 Kafka 通过云应用的形式在 AppCenter 部署，具有如下特性：

  • 开箱即用，支持横向与纵向在线伸缩

  • 系统自动健康检查，系统自动运维，降低企业使用成本

  • 提供了监控告警功能，可以更好地管理集群

  • 节点上安装了 Kafka Manager，可以管理和监控多个 Kafka 集群

  • 提供文件查看器方便排查问题（Kafka 1.1.1 - v1.5.0 起）

  • 提供第三方监控 Zabbix 平台接口（kafka 2.3.0 - v2.0.0 起）

  • 在线查看日志（Kafka 2.3.1 - v2.0.1 起）

  • 多节点公网访问（Kafka 3.1.0 - v3.0.0 起）

  • SSL 加密认证（Kafka 3.1.0 - v3.0.0 起）

注意事项

  • 提供 Kafka 在 ZooKeeper 上注册路径格式如下：zk1:2181,zk2:2181,zk3:2181/kafka/cluster_id，cluster_id 是创建 Kafka 集群时候生成的集群 ID。

  • 请尽量合理选择和预留存储资源，合理配置数据存储周期和大小，尽量避免因为磁盘写满而造成的线上故障。

  • 开发时客户端尽量选择与服务端对应的版本。