본문 바로가기

전체 글141

10. Kafka - Consumer 기본 메커니즘과 Rebalancing Kafka Consumer 카프카 컨슈머는 브로커에 있는 Topic을 구독하여 읽는 역할을 수행한다.모든 Consumer는 고유한 group.id를 가지는 Consumer Group에 소속되어야 한다.  (자바는 실행이 안된다.)개별 Consumer들은 하나의 파티션마다 1:1 매칭되도록 보통 사용한다. 1) subscribe() 읽고자 하는 토픽을 구독한다. 2) poll() 토픽에서 메시지를 Polling한다. KafkaConsumer.poll(Duration.ofMillis(10000)) 인 경우,브로커 혹은 Consumer의 내부 Queue에 데이터가 있으면 바로 데이터를 반환하고없으면 최대 10초간 데이터 Fetch를 브로커에 계속 수행하고 결과를 반환한다. 3) commit메세지를 읽고나면 c.. 2024. 5. 16.
6. Reactive - Reactor Schedulers Reactor의 Scheduler는 비동기 작업을 관리하는데 사용된다. Schedulers.immediate() : 현재 쓰레드에서 동기작업 실행 Schedulers.single() : 단일 백그라운드 쓰레드에서 작업 실행 Schedulers.parallel() : 병렬로 사용할 수 있는 별도 쓰레드 풀로 작업 실행 (CPU 개수) Schedulers.boundedElastic() : 별도의 쓰레드로 그때 그때 맞게 유연하게 작업 실행 (쓰레드 개수의 제한은 있음) public Flux fluxMapWithSubscribeOn() { return Flux.range(1, 10) .map(i -> i * 2) .subscribeOn(Schedulers.boundedElastic()) .log(); } pu.. 2024. 4. 5.
9. Kafka - Producer 메커니즘 1 Kafka Producer의 내부 배치 전송 방식 1) KafkaProducer.send() 2) Serializer -> 직렬화 3) Partitioner -> 파티셔닝 4) Compression -> 압축 방식 5) Record Accumulator 6) Sender 이렇게 send 메서드부터 Sender까지 총 6단계로 이루어져 있다. 1. KafkaProducer.send() .send()는 호출 시마다 하나의 ProducerRecord를 입력하지만 내부 메모리에서 파티션에 나뉘는 것에 따라 Record Batch 형태로 전송된다. buffer.memory 설정 크디만큼 메모리에 보관하였다가 send되며 여러 개의 batch들로 한꺼번에 전송될 수 있다. 이것은 카프카의 Main Thread에 의.. 2024. 4. 4.
8. Kafka - Idempotence, 멱등성 1. 최대 한 번 전송 (at most once) acks = 0으로 비동기로 전송만 한 번 수행, 유실될 수 있지만 재전송하지 않는 방법. 2. 적어도 한 번 전송 (at least once) 중복을 허용하며 실패시에도 retry로 재전송, acks = 1, all 브로커로부터 ACK를 받고 다음 메시지를 전송. 메시지 소실은 없지만 중복 전송을 할 수 있음. 데이터를 보낸 후, 저장 되었지만 ACK를 보내지 못한 경우 다시 보내게 되어 중복이 가능. 3. 정확히 한 번 전송 (exactly once) 중복 없이 전송(Idempotence, 멱등성), 메시지 전송 재시도 시 중복을 제거함 트랜잭션 기반의 전송. Producer가 메시지를 전송할 때 프로듀서의 ID와 메시지 Sequence를 Header.. 2024. 4. 4.

티스토리툴바