可以在docker中配置kafka集群的yml文件

新人发帖，表述有问题部分请大家指出

双Broker的Kafka集群配置文件

网上关于kafka的教程好少，我想在linux服务器上配置kafka集群来学习springboot整合kafka。因此找到了这个教程:https://github.com/qiuChengleiy/springboot-kafka-all 在使用该教程中的yml文件创建容器时，遇见了很多奇奇怪怪的问题。最终总结了一个没有bug的yml文件如下，进行一个分享，默认熟悉docker-compose的使用：

食用指南：

1. 将yml文件中的{EXTERNAL}替换为自己服务器的ip地址
2. 控制台输入docker-compose up -d
3. 耐心等待镜像下载，待显示创建容器成功后，等待半分钟左右,就可以在浏览器访问{你的服务器ip地址}:9999访问Kafka-ui界面了（记得给给云服务器的防火墙设置允许端口访问）

▼
yml
复制代码
version: '3.1'

services:
  zoo1:
    image: docker.m.daocloud.io/confluentinc/cp-zookeeper:7.3.2
    hostname: zoo1
    container_name: zoo1
    ports:
      - "2181:2181"
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000
      # 限制Zookeeper内存使用
      KAFKA_HEAP_OPTS: "-Xmx256M -Xms256M"
    volumes:
      - ./data/zookeeper/zoo1/data:/data
      - ./data/zookeeper/zoo1/datalog:/datalog  

  kafka1:
    image: docker.m.daocloud.io/confluentinc/cp-kafka:7.3.2
    hostname: kafka1
    container_name: kafka1
    ports:
      - "9092:9092"
      - "29092:29092"
    environment:
      KAFKA_ADVERTISED_LISTENERS: INTERNAL://kafka1:19092,EXTERNAL://{EXTERNAL}:9092,DOCKER://host.docker.internal:29092
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT,DOCKER:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: INTERNAL
      KAFKA_ZOOKEEPER_CONNECT: "zoo1:2181"
      KAFKA_BROKER_ID: 1
      KAFKA_LOG4J_LOGGERS: "kafka.controller=INFO,kafka.producer.async.DefaultEventHandler=INFO,state.change.logger=INFO"
      KAFKA_AUTHORIZER_CLASS_NAME: kafka.security.authorizer.AclAuthorizer
      KAFKA_ALLOW_EVERYONE_IF_NO_ACL_FOUND: "true"
      # ✅ 允许自动创建 topic（关键配置）
      KAFKA_AUTO_CREATE_TOPICS_ENABLE: "true"
      # ✅ offsets topic 配置（关键配置）
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 2
      KAFKA_OFFSETS_TOPIC_NUM_PARTITIONS: 50
      # 限制内存使用防止OOM
      KAFKA_HEAP_OPTS: "-Xmx400M -Xms400M"
    volumes:
      - ./data/kafka_data1:/kafka/data  
    depends_on:
      - zoo1

  kafka2:
    image: docker.m.daocloud.io/confluentinc/cp-kafka:7.3.2
    hostname: kafka2
    container_name: kafka2
    ports:
      - "9093:9093"
      - "29093:29093"
    environment:
      KAFKA_ADVERTISED_LISTENERS: INTERNAL://kafka2:19093,EXTERNAL://{EXTERNAL}:9093,DOCKER://host.docker.internal:29093
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT,DOCKER:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: INTERNAL
      KAFKA_ZOOKEEPER_CONNECT: "zoo1:2181"
      KAFKA_BROKER_ID: 2
      KAFKA_LOG4J_LOGGERS: "kafka.controller=INFO,kafka.producer.async.DefaultEventHandler=INFO,state.change.logger=INFO"
      KAFKA_AUTHORIZER_CLASS_NAME: kafka.security.authorizer.AclAuthorizer
      KAFKA_ALLOW_EVERYONE_IF_NO_ACL_FOUND: "true"
      # ✅ 允许自动创建 topic（关键配置）
      KAFKA_AUTO_CREATE_TOPICS_ENABLE: "true"
      # ✅ offsets topic 配置（关键配置）
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 2
      KAFKA_OFFSETS_TOPIC_NUM_PARTITIONS: 50
      # 限制内存使用防止OOM
      KAFKA_HEAP_OPTS: "-Xmx400M -Xms400M"
    volumes:
      - ./data/kafka_data2:/kafka/data    
    depends_on:
      - zoo1
      
  kafka-ui:
    container_name: kafka-ui
    image: docker.m.daocloud.io/provectuslabs/kafka-ui:latest
    ports:
      - 9999:8080
    depends_on:
      - kafka1
      - kafka2
    environment:
      # 配置为单个集群
      KAFKA_CLUSTERS_0_NAME: kafka_cluster
      KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS: kafka1:19092,kafka2:19093
            
      # 限制kafka-ui内存
      JAVA_OPTS: "-Xmx256M -Xms256M"

随后在springboot项目中引入以下依赖就可以按照上面的教程在springboot中使用kafka啦

▼
xml
复制代码
        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
<!--            <version>2.2.6.RELEASE</version>-->
        </dependency>
        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka-test</artifactId>
            <scope>test</scope>
        </dependency>

可能遇到的问题

1. 控制台刷屏问题

问题现象

启动时输出大量 Kafka 配置信息（100+ 行），刷屏严重。

根本原因

Kafka 客户端默认日志级别为 INFO，会打印所有配置参数。

解决方案

在application.yml中调整日志级别

▼
yml
复制代码
logging:
  level:
    org.apache.kafka: WARN
    org.apache.kafka.clients.producer: WARN
    org.apache.kafka.clients.consumer: WARN

2.明明Producer存数据进去了，但Cosnumer消费不到

可能的原因以及解决方法

当你一个集群中存在多个Broker的时候，而你所创建的Topic又有多个partition，此时需要把所有的Broker的端口号都在阿里云实例出入站规则里，因为一个Topic的partition可能分散在不同的Broker中，而Kafka中的Follower又只负责从Leader复制数据到Replica中，此时你消费消息的时候就需要从另一台Broker中消费，所以为每一台Broker都配置出入站规则是必须的。根据yml中的端口，例如上面的yml文件中两个Broker的端口分别为9092与9093，那么就得在防火墙中都配置这两个端口。