标签归档:开源Kafka集群管理器

安装配置 Kafka Manager 分布式管理工具

Kafka Manager 特性,它支持以下内容(官方译解):

管理多个群集
容易检查集群状态(主题,消费者,偏移量,经纪人,副本分发,分区分配)
运行首选副本选举
使用选项生成分区分配,以选择要使用的代理
运行分区的重新分配(基于生成的分配)
创建可选主题配置的主题(0.8.1.1具有不同于0.8.2+的配置)
删除主题(仅支持0.8.2+,并记住在代理配​​置中设置delete.topic.enable = true)
主题列表现在表示标记为删除的主题(仅支持0.8.2+)
批量生成多个主题的分区分配,并选择要使用的代理
批量运行多个主题的分区重新分配
将分区添加到现有主题
更新现有主题的配置
可选地,启用JMX轮询代理级和主题级度量。
可选地筛选出在zookeeper中没有ids / owner /&offset /目录的消费者。

要求:

Kafka 0.8.. or 0.9.. or 0.10..
Java 8+

Kafka Server 的安装:

在Centos 7上安装配置 Apche Kafka 分布式消息系统集群

1.安装sbt工具:

# curl //bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo
# mv bintray-sbt-rpm.repo /etc/yum.repos.d/
# yum install sbt -y

2.构建kafka-manager包

生成的包会在 kafka-manager/target/universal 下面。kafka-manager只需要Java环境就可以运行,在部署的机器上不需要安装sbt。

# cd /usr/local
# git clone //github.com/yahoo/kafka-manager
# cd kafka-manager
# ./sbt clean dist #时间较久,大约30-60分钟左右

注: kafka manager 1.3.3.22  点此 下载。

移动:

# mv target/universal/kafka-manager-1.3.3.13.zip /usr/local/

解压&创建软连接:

# unzip kafka-manager-1.3.3.13.zip
# ln -s kafka-manager-1.3.3.13 kafka-manager

修改配置:

# vim kafka-manager/conf/application.conf
kafka-manager.zkhosts="10.10.204.63:2181,10.10.204.64:2181,10.10.204.65:2181"

3.启动kafka-manager

执行命令后窗口会出现启动日志,当前会话会静止,需要重开终端。结束当前会话(Ctrl+c,同时会自动退出kafka-manager)。

# kafka-manager/bin/kafka-manager

启动后,你可以使用 IP:9000 访问。

4.为了能使用systemctl便于管理,下面创建系统单元文件(开机自启动):

# vim /usr/lib/systemd/system/kafka-manager.service

[Unit]
 Description=Redis persistent key-value database
 After=network.target

[Service]
 User=kafka
 Group=kafka
 ExecStart=/usr/local/kafka-manager/bin/kafka-manager -Dconfig.file=/usr/local/kafka-manager/conf/application.conf
 ExecStop=/usr/local/kafka-manager/bin/kafka-manager stop
 Restart=always

[Install]
 WantedBy=multi-user.target

重载systemctl配置并加入开机自启动:

# systemctl daemon-reload
# systemctl enable kafka-manager
# systemctl start kafka-manager

加入防火墙:

# firewall-cmd --permanent --add-port=9000/tcp
# firewall-cmd --reload

大功告成。