broker

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. kafka-console-consumer.sh1-1.  토픽의 데이터 조회(메시지 value만)bin/kafka-console-consumer.sh \--bootstrap-server my-kafka:9092 \--topic hello.kafka --from-beginning필수: 카프카..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. kafka-topics.sh1-1.  토픽 생성카프카 클러스터 정보와 토픽 이름만으로 토픽 생성 가능bin/kafka-topics.sh --create --bootstrap-server my-kafka:9092 --topic hello.kafka 필수: 카프카 클러스터 정보, 토픽 이름옵..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 카프카 CLI 툴 소개1-1.  카프카 커맨드 라인 툴커맨드 라인 툴을 이용해서 카프카 브로커 운영에 다양한 명령 가능토픽이나 파티션 개수 변경 등등의 기능들 가능토픽과 관련된 명령에 필수 옵션과 선택 옵션이 있는데, 선택 옵션은 디폴트 값이 있어서 확인해야 좋음  2. 로컬에서 카프카 ..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 복제1-1.  브로커의 역할 - 복제(Replication)복제는 카프카를 Fault Tolerant System으로 동작할 수 있게 하는 근본 원동력브로커 중 일부에 장애가 생기더라도 데이터를 유실하지 않음 카프카의 데이터 복제는 파티션 단위로 이루어짐 파티션의 복제 개수(Replica..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 오픈 소스 아파치 카프카 생태계카프카 생태계Producer: 데이터를 보내는 곳Consumer: 데이터를 처리하는 곳Connect(Source, Sink): 데이터 파이프라인을 운영하는 가장 핵심적인 툴Streams: 프로세싱을 통해서 데이터를 처리하고 다시 토픽으로 넣는 역할MM2: 클..