confluent

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 카프카 클러스터를 운영하는 여러가지 방법카프카 클러스터를 서버에 직접 설치하고 운영- 각종 설정을 직접 컨트롤하여 세부적인 서버 설정을 통해 최고의 성능으로 최적의 클러스터 운영 가능- 각종 보안 설정 선택- 모니터링 도구 선택 SaaS(Software-as-a-Service)형 카프카-..

1. What is Kafka?Definition파이프라인, 스트리밍 분석, 데이터 통합 및 미션 크리티컬 애플리케이션을 위해 설계된 고성능 분산 이벤트 스트리밍 플랫폼Pub-Sub 모델의 메시지 큐 형태로 동작하며 분산환경에 특화Pub-Sub 모델중앙에 메시징 시스템 서버를 두고, 메시지를 보내고(publish), 받는(subscribe) 형태의 통신N:M으로 연결되는 것이 아니기 때문에 확장성이 용이  Before Kafka 문제점통합/ 중앙화된 전송 영역이 없음 → end-to-end 연결이 갈수록 복잡해짐문제 발생 시 관련 여러 시스템을 확인해야 함 → 문제 해결이 어려워짐하드웨어 증설 같은 작업이 어려움데이터 파이프라인 관리의 어려움연결된 시스템 마다 제각기 다른 방식으로 구현될 수 있음 → 파..