本文共 1287 字，大约阅读时间需要 4 分钟。

CentOS7 下搭建 Kafka 集群

环境准备

服务器 IP 映射

以下是三台 CentOS7 服务器的主机名与 IP 映射信息：

• kafka1: 10.177.33.45
• kafka2: 10.177.33.46
• kafka3: 10.177.33.47

JDK 11 环境搭建

配置 Java 环境变量

在 CentOS7 上配置 JDK 11 环境变量，执行以下命令：

export JAVA_HOME=/moudle/jdk
export PATH=$JAVA_HOME/bin:$PATH

Kafka 集群部署

1. 安装前准备

• 网络配置：确保各节点间网络正常通信。
• 用户权限：创建一个具有sudo权限的用户，用于操作 Kafka 集群。
• 存储空间：为每个节点分配足够的存储空间，建议预留 1GB 至 2GB 用于 Kafka 数据。

2. 安装 Kafka

从官方网站下载 Kafka 去除地址部分，安装并配置。

# 解压并安装
tar -xzf kafka_1.2.2.tar.gz
mv kafka_1.2.2 /usr/local/kafka

3. 集群配置

编辑 config/server.properties，配置集群节点信息。

broker.id=1
listeners=Plaintext://kafka1:9092
# 其他节点配置类似

4. 启动服务

在每个节点上启动 Kafka 服务。

# 启动服务
./kafka-server-start.sh --daemon

5. 创建主题

使用 kafka-topics.sh 创建主题。

# 创建主题
./kafka-topics.sh --create --topic my-topic --partition 3

6. 验证集群

检查各节点的日志，确保服务正常运行。

# 查看日志
journalctl -u kafka-server -b

7. 生产消费测试

使用生产者和消费者验证集群功能。

# 发送消息
./kafka-console-producer.sh --topic my-topic --broker-list kafka1:9092,kafka2:9092,kafka3:9092 --message-format string
# 消息消费
./kafka-console-consumer.sh --topic my-topic --broker-list kafka1:9092,kafka2:9092,kafka3:9092 --new-consumer-check

集群管理

• 扩展节点：添加新节点时，更新 server.properties 和 listeners。
• 性能优化：调整 num.io.log buffers 和 log.flush.interval.messages。
• 高可用性：部署 Apache Zookeeper 进行集群管理，防止节点故障。

通过以上步骤，您可以在 CentOS7 上成功搭建 Kafka 集群，实现高效数据传输与处理。

转载地址：http://hlqfk.baihongyu.com/