데이터캡쳐

1. What is Debezium?Debezium은 Change Data Capture를 위한 오픈 소스 분산 플랫폼Change Data Capture - 변경된 데이터를 캡쳐소스 시스템에서 데이터가 변경된 것을 감지, 타깃 시스템이 변경 작업에 대응하는 작업을 수행하도록 하는 프로세스 2. DemonstrationPostgreSQL to MariaDBDebezium Connect 구성Kafka 클러스터 구성PostgreSQL 구성DB 초기 설정 필요plugin: logical decoding plugin(decoderbufs, pgoutput) 필요postgresql.conf 파일 수정 필요# REPLICATIONwal_level = logical decoderbufs# MODULESshared_p..

1. What is Kafka?Definition파이프라인, 스트리밍 분석, 데이터 통합 및 미션 크리티컬 애플리케이션을 위해 설계된 고성능 분산 이벤트 스트리밍 플랫폼Pub-Sub 모델의 메시지 큐 형태로 동작하며 분산환경에 특화Pub-Sub 모델중앙에 메시징 시스템 서버를 두고, 메시지를 보내고(publish), 받는(subscribe) 형태의 통신N:M으로 연결되는 것이 아니기 때문에 확장성이 용이  Before Kafka 문제점통합/ 중앙화된 전송 영역이 없음 → end-to-end 연결이 갈수록 복잡해짐문제 발생 시 관련 여러 시스템을 확인해야 함 → 문제 해결이 어려워짐하드웨어 증설 같은 작업이 어려움데이터 파이프라인 관리의 어려움연결된 시스템 마다 제각기 다른 방식으로 구현될 수 있음 → 파..