카프카 컨슈머

·Kafka
본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 멱등성 프로듀서1-1.  전달 신뢰성멱등성: 여러 번 연산을 수행하더라도 동일한 결과멱등성 프로듀서: 동일한 데이터를 여러 번 전송하더라도 카프카 클러스터에 단 한 번만 저장됨   1-2. 멱등성 프로듀서프로듀서가 보내는 데이터의 중복 적재를 막기 위해 0.11.0 이후 버전부터 enab..
·Kafka
본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 카프카 컨슈머 소개1-1. 컨슈머컨슈머는 브로커로부터, 프로듀서가 브로커로 전송한 데이터를 가져와서 필요한 처리를 함 1-2. 컨슈머 내부 구조 Fetcher: 리더 파티션으로부터 레코드들을 미리 가져와서 대기poll(): Fetcher에 있는 레코드들을 리턴ConsumerRecords:..
이글루딩
'카프카 컨슈머' 태그의 글 목록