• 프로젝트를 clone 받고 직접 docker compose up -d 명령어를 통해 zookeeper & kafka 컨테이너를 run 한다.
• 스프링 프로젝트를 구동 시키고 아래 경로로 요청을 넣어보자.

# 직렬 처리
curl -X POST "<http://localhost:8080/direct/queue-test?count=50000>"

# kafka 병렬 처리
curl -X POST "<http://localhost:8080/kafka/queue-test?count=50000>"

docker-compose.yml

version: '3.8'

services:
  zookeeper:
    image: confluentinc/cp-zookeeper:7.5.0
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000
    ports:
      - "2181:2181"

  kafka:
    image: confluentinc/cp-kafka:7.5.0
    ports:
      - "9092:9092"
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
    depends_on:
      - zookeeper

zookeeper는 무엇일까?

• zookeeper는 kafka 클러스터를 제어 하는 역할을 한다.
  • broker들의 정보(id, 상태)등을 저장 및 감시
  • controller 선출
  • topic/partition 정보 저장
  • broker 장애 감지
• Kafka 2.8 이후부터 Zookeeper 없이도 사용 가능한 모드(KRaft)가 도입되었지만, 현재 예제에서는 Zookeeper 기반 Kafka로 테스트 한다.

kafka는 무엇일까?

• 실제 메시지를 송수신하는 메시지 브로커 역할
• Producer로부터 메시지 수신
• Consumer에게 메시지 전달
• 복제 및 장애 복구
• 토픽/파티션 관리