아파치 카프카

MSK 클러스터 생성하기 이번엔 Amazon MSK를 이용해서 카프카 클러스터를 구축해보도록 하겠습니다.   1. 클러스터 생성 클릭2. 클러스터 생성 방법 - 사용자 지정 생성 클릭 클러스터 생성 방법에는 두 가지 방식이 있다.빠른 생성VPC, Subnet 등등 자동으로 설정하여, 생성 후 대부분의 값 편집할 수 없음사용자 지정 생성네트워크와 보안 설정을 수정할 수 있음  3. 클러스터 유형 - 프로비저닝됨 클릭서버리스확장, 로드 관리와 같은 운영 면에서 편리하여 인프라 관리할 필요 없음프로비저닝됨클러스터 구성 시 유연성 제공함 4. Apache Kafka 버전 선택권장 버전인 3.5.1 을 사용  5. 브로커 선택개발 전용인 t3.small 선택 브로커 개수는 영역 당 브로커 수 1개, 영역 수를 3..

1. 커스텀 소스 커넥터오픈소스 소스 커넥터를 사용하면서 발생할 수 있는 라이선스 문제 혹은 로직 변경을 이유로 직접 개발할 수도 있음카프카 커넥트 라이브러리에서 SourceConnector와 SourceTask 클래스를 사용하여 직접 소스 커넥터를 구현 가능 connect-api 라이브러리 추가 build.gradledependencies { implementation 'org.apache.kafka:connect-api:3.5.1'}  SourceConnector태스크를 실행하기 전 커넥터 설정파일을 초기화하고 어떤 태스크 클래스를 사용할 것인지 정의실질적인 데이터를 다루는 부분이 없음 public class TestSourceConnector extends SourceConnector { ..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 카프카 커넥트 소개1-1.  카프카 커넥트 카프카 커넥트: 데이터 파이프라인 생성 시 반복 작업을 줄이고 효율적인 전송을 이루기 위한 애플리케이션 1-2. 커넥트 내부 구조 카프카 스트림과 유사한 구조로, 커넥터와 커넥터 내부에 태스크가 있음태스크가 실질적인 데이터 처리를 함 2. 커넥트..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 카프카 스트림즈 소개1-1.  카프카 스트림즈 카프카 스트림즈: 토픽에 적재된 데이터를 실시간으로 변환하여 다른 토픽에 적재하는 라이브러리장애가 발생하더라도 정확히 한 번 적재할 수 있도록 장애 허용 시스템을 가지고 있어 데이터 처리 안정성이 매우 뛰어남 1-2. 프로듀서와 컨슈머를 조합..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 멱등성 프로듀서1-1.  전달 신뢰성멱등성: 여러 번 연산을 수행하더라도 동일한 결과멱등성 프로듀서: 동일한 데이터를 여러 번 전송하더라도 카프카 클러스터에 단 한 번만 저장됨   1-2. 멱등성 프로듀서프로듀서가 보내는 데이터의 중복 적재를 막기 위해 0.11.0 이후 버전부터 enab..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 멀티스레드 컨슈머n개의 스레드를 가진 1개의 프로세스를 운영하거나 1개의 스레드를 가진 프로세스 n개를 운영할 수 있음 배포 자동화가 잘 되어있다면 1개의 스레드를 가진 n개의 프로세스로 운영하는 것이 좋음  2. 컨슈머 랙2-1. 컨슈머 랙 소개   컨슈머 랙: 파티션의 최신 오프셋과 ..