Kafka

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. kafka-topics.sh1-1.  토픽 생성카프카 클러스터 정보와 토픽 이름만으로 토픽 생성 가능bin/kafka-topics.sh --create --bootstrap-server my-kafka:9092 --topic hello.kafka 필수: 카프카 클러스터 정보, 토픽 이름옵..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 카프카 CLI 툴 소개1-1.  카프카 커맨드 라인 툴커맨드 라인 툴을 이용해서 카프카 브로커 운영에 다양한 명령 가능토픽이나 파티션 개수 변경 등등의 기능들 가능토픽과 관련된 명령에 필수 옵션과 선택 옵션이 있는데, 선택 옵션은 디폴트 값이 있어서 확인해야 좋음  2. 로컬에서 카프카 ..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 카프카 클러스터를 운영하는 여러가지 방법카프카 클러스터를 서버에 직접 설치하고 운영- 각종 설정을 직접 컨트롤하여 세부적인 서버 설정을 통해 최고의 성능으로 최적의 클러스터 운영 가능- 각종 보안 설정 선택- 모니터링 도구 선택 SaaS(Software-as-a-Service)형 카프카-..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 복제1-1.  브로커의 역할 - 복제(Replication)복제는 카프카를 Fault Tolerant System으로 동작할 수 있게 하는 근본 원동력브로커 중 일부에 장애가 생기더라도 데이터를 유실하지 않음 카프카의 데이터 복제는 파티션 단위로 이루어짐 파티션의 복제 개수(Replica..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 오픈 소스 아파치 카프카 생태계카프카 생태계Producer: 데이터를 보내는 곳Consumer: 데이터를 처리하는 곳Connect(Source, Sink): 데이터 파이프라인을 운영하는 가장 핵심적인 툴Streams: 프로세싱을 통해서 데이터를 처리하고 다시 토픽으로 넣는 역할MM2: 클..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 아파치 카프카의 탄생과 기본 구조1-1.  아파치 카프카의 탄생 배경  배경: 링크드인에서 분배 아키텍처를 운영하는 데에 큰 어려움아키텍처가 거대해지고, 소스 애플리케이션과 타깃 애플리케이션 개수가 점점 많아짐 → 한 곳에 모아 처리할 수 있도록 중앙집중화1-2. 메시지 큐 구조의 카프카..