Kafka

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 멱등성 프로듀서1-1.  전달 신뢰성멱등성: 여러 번 연산을 수행하더라도 동일한 결과멱등성 프로듀서: 동일한 데이터를 여러 번 전송하더라도 카프카 클러스터에 단 한 번만 저장됨   1-2. 멱등성 프로듀서프로듀서가 보내는 데이터의 중복 적재를 막기 위해 0.11.0 이후 버전부터 enab..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 멀티스레드 컨슈머n개의 스레드를 가진 1개의 프로세스를 운영하거나 1개의 스레드를 가진 프로세스 n개를 운영할 수 있음 배포 자동화가 잘 되어있다면 1개의 스레드를 가진 n개의 프로세스로 운영하는 것이 좋음  2. 컨슈머 랙2-1. 컨슈머 랙 소개   컨슈머 랙: 파티션의 최신 오프셋과 ..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 카프카 컨슈머 소개1-1. 컨슈머컨슈머는 브로커로부터, 프로듀서가 브로커로 전송한 데이터를 가져와서 필요한 처리를 함 1-2. 컨슈머 내부 구조 Fetcher: 리더 파티션으로부터 레코드들을 미리 가져와서 대기poll(): Fetcher에 있는 레코드들을 리턴ConsumerRecords:..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 카프카 프로듀서 소개1-1.  프로듀서 프로듀서는 카프카에서 데이터의 시작점프로듀서는 데이터를 전송할 때 리더 파티션을 가지고 있는 카프카 브로커와 직접 통신브로커로 데이터를 전송할 때 내부적으로 파티셔너, 배치 생성 단계를 거침1-2. 프로듀서 내부 구조 ProducerRecord: 프..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 카프카 토픽을 만드는 두 가지 방법카프카 컨슈머 또는 프로듀서가 카프카 브로커에 생성되지 않은 토픽에 대해 데이터를 요청할 때커맨드 라인 툴로 명시적으로 토픽 생성 토픽마다 처리되어야 하는 데이터의 특성이 다르기 때문에 토픽을 명시적으로 생성하는 것을 추천 ex)동시 데이터 처리량이 많아..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. kafka-console-consumer.sh1-1.  토픽의 데이터 조회(메시지 value만)bin/kafka-console-consumer.sh \--bootstrap-server my-kafka:9092 \--topic hello.kafka --from-beginning필수: 카프카..