본문 바로가기

Kafka11

2. Kafka - CLI 환경에서 다양한 방식의 메시지 송/수신 테스트 하기 아래의 명령어를 통해 멀티파트 토픽을 만들어보자. 3개의 파티션으로 나눠져있는 토픽을 만든다. docker exec -it kafka kafka-topics --bootstrap-server localhost:9092 --create --topic multipart-topic --partitions 3 토픽을 특정 어플리케이션에서 카프카로 보냄으로써 자동 생성되도록 할 수도 있지만, --create 명령어로 직접적으로 만들어줄 수도 있다. 만들었던 토픽에 대해 설명을 보고 싶을 때에는, 이렇게 확인해볼 수 있다. docker exec -it kafka kafka-topics --bootstrap-server localhost:9092 --describe --topic multipart-topic 그러면 .. 2024. 4. 4.
1. Zookeeper란? Zookeeper의 실행 시 동작 이 글에 앞서 실행환경이 구성되어있지 않다면 아래의 글을 통해 실행환경을 구성하고 테스트해보자. 2024.02.15 - [Kafka] - Ubuntu에 Docker, Kafka, Kafka-UI, Redis, Zookeeper, Opensearch, Logstash 설치하기 주키퍼는 Kafka 클러스터를 관리하는 역할입니다. Zoo Keeper 이름 처럼 Zoo(동물원)을 Keeper(지키는) 역할입니다. 현재는 Kafka 3.X 대에 들어서면서 Zookeeper가 내장된 형태로 진행되는 Kraft 가 나온것으로 알고 있으나 아직 많이 사용되어 충분히 운영환경에서 쓰이지 않은 부분도 있어 여전히 Kafka + Zookeeper의 형태로 운영되는 경우도 많다. Zookeeper의 상세한 역할을 보면, 분산.. 2024. 4. 3.
Ubuntu에 Docker, Kafka, Kafka-UI, Redis, Zookeeper, Opensearch, Logstash 설치하기 Ubuntu나 CentOS 같은 리눅스를 설치하기 위해서는 가상머신이 필요하다. 윈도우 사용자로서 VMware Workstation이나 Virtual Box등이 선택지가 될 수 있는데 VirtualBox에서 Ubuntu를 설치하는 방법은 아래 링크에 잘 나와있다. https://ubuntu.com/tutorials/how-to-run-ubuntu-desktop-on-a-virtual-machine-using-virtualbox#1-overview 우분투가 설치된 이후에는 기본적인 것들과 docker, docker-compose를 설치하고 confluent-kafka, confluent-zookeeper, opensearch, logstash를 설치해본다. sudo apt-get install apt-tr.. 2024. 4. 3.

티스토리툴바