Advanced v2.0

Advanced v2.0
Advanced v1.0
Express v1.0
  1. Release Notes
  1. 产品介绍
  1. 安装指南
  1. 快速入门
  1. 管理员指南
    1. 多租户管理
    1. 平台管理
    1. 基础设施
    1. 监控中心
    1. 平台设置
    1. 工具箱
    1. 通用配置
    1. FAQ
  1. 用户指南
    1. 应用
    1. 工作负载
    1. 存储
    1. 网络与服务
    1. 监控告警
    1. 配置中心
    1. 项目设置
    1. DevOps 工程
  1. 常见问题
  1. 附录
KubeSphere®️ 2019 All Rights Reserved.

添加 Kafka 作为日志收集

KubeSphere 目前支持添加的日志接收者包括 Elasticsearch、Kafka 和 Fluentd,本文档演示如何添加 Kafka 为日志收集者。我们可以通过 Kafka Consumer 相关命令,验证添加日志收集者的流程是否成功。

前提条件

已创建的 Zookeeper + Kafka 集群。

第一步:创建 Zookeeper + Kafka 集群

用户可以自行搭建一个 Kafka 集群,或参考 QingCloud 的 Kafka 服务,创建一个如下三节点 Kafka 集群:

(1)Zookeeper 集群

Zookeeper 集群

(2)Kafka 集群

Kafka 集群

打开防火墙 19092、29092、39092 三个端口,分别端口转发到 192.168.2.8、192.168.2.9、192.168.2.14 的 9092 端口。这样我们便可以通过公网 IP 访问这三个节点。

第二步:添加 Kafka 作为日志搜集者

1、点击「平台管理」 → 「平台设置」,选择「日志收集」,点击「添加日志收集者」。

2、在弹窗中选择 Kafka,参考如下填写信息,点击确定保存信息。

说明:若需要对 Fluent Bit 转发 Kafka 做个性化配置,可在日志收集者页面下进入 「Kafka」 → 「更多操作」,点击 「编辑配置文件」 然后修改 parameters,可参看 Fluent Bit 官方文档 kafka 插件支持的参数项。

第三步:验证日志输出

登录 Kafka 集群客户端节点(默认用户名 ubuntu,密码 kafka),输入以下消息消费命令观察日志输出:

kafka-console-consumer.sh --bootstrap-server 192.168.2.8:9092,192.168.2.9:9092,192.168.2.14:9092 --topic test

添加 Kafka 作为日志收集
前提条件
第一步:创建 Zookeeper + Kafka 集群
第二步:添加 Kafka 作为日志搜集者
第三步:验证日志输出