아파치 카프카

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 카프카 클러스터를 운영하는 여러가지 방법카프카 클러스터를 서버에 직접 설치하고 운영- 각종 설정을 직접 컨트롤하여 세부적인 서버 설정을 통해 최고의 성능으로 최적의 클러스터 운영 가능- 각종 보안 설정 선택- 모니터링 도구 선택 SaaS(Software-as-a-Service)형 카프카-..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 복제1-1.  브로커의 역할 - 복제(Replication)복제는 카프카를 Fault Tolerant System으로 동작할 수 있게 하는 근본 원동력브로커 중 일부에 장애가 생기더라도 데이터를 유실하지 않음 카프카의 데이터 복제는 파티션 단위로 이루어짐 파티션의 복제 개수(Replica..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 오픈 소스 아파치 카프카 생태계카프카 생태계Producer: 데이터를 보내는 곳Consumer: 데이터를 처리하는 곳Connect(Source, Sink): 데이터 파이프라인을 운영하는 가장 핵심적인 툴Streams: 프로세싱을 통해서 데이터를 처리하고 다시 토픽으로 넣는 역할MM2: 클..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 아파치 카프카의 탄생과 기본 구조1-1.  아파치 카프카의 탄생 배경  배경: 링크드인에서 분배 아키텍처를 운영하는 데에 큰 어려움아키텍처가 거대해지고, 소스 애플리케이션과 타깃 애플리케이션 개수가 점점 많아짐 → 한 곳에 모아 처리할 수 있도록 중앙집중화1-2. 메시지 큐 구조의 카프카..

1. What is Debezium?Debezium은 Change Data Capture를 위한 오픈 소스 분산 플랫폼Change Data Capture - 변경된 데이터를 캡쳐소스 시스템에서 데이터가 변경된 것을 감지, 타깃 시스템이 변경 작업에 대응하는 작업을 수행하도록 하는 프로세스 2. DemonstrationPostgreSQL to MariaDBDebezium Connect 구성Kafka 클러스터 구성PostgreSQL 구성DB 초기 설정 필요plugin: logical decoding plugin(decoderbufs, pgoutput) 필요postgresql.conf 파일 수정 필요# REPLICATIONwal_level = logical decoderbufs# MODULESshared_p..