Kafka

MSK 클러스터 생성하기 이번엔 Amazon MSK를 이용해서 카프카 클러스터를 구축해보도록 하겠습니다.   1. 클러스터 생성 클릭2. 클러스터 생성 방법 - 사용자 지정 생성 클릭 클러스터 생성 방법에는 두 가지 방식이 있다.빠른 생성VPC, Subnet 등등 자동으로 설정하여, 생성 후 대부분의 값 편집할 수 없음사용자 지정 생성네트워크와 보안 설정을 수정할 수 있음  3. 클러스터 유형 - 프로비저닝됨 클릭서버리스확장, 로드 관리와 같은 운영 면에서 편리하여 인프라 관리할 필요 없음프로비저닝됨클러스터 구성 시 유연성 제공함 4. Apache Kafka 버전 선택권장 버전인 3.5.1 을 사용  5. 브로커 선택개발 전용인 t3.small 선택 브로커 개수는 영역 당 브로커 수 1개, 영역 수를 3..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 커스텀 싱크 커넥터1-1.  커스텀 싱크 커넥터 카프카 커넥트 라이브러리에서 제공하는 SinkConnector와 SinkTask 클래스를 사용하면 직접 싱크 커넥터를 구현 가능 TestSinkConnectorpublic class TestSinkConnector extends SinkCo..

1. 커스텀 소스 커넥터오픈소스 소스 커넥터를 사용하면서 발생할 수 있는 라이선스 문제 혹은 로직 변경을 이유로 직접 개발할 수도 있음카프카 커넥트 라이브러리에서 SourceConnector와 SourceTask 클래스를 사용하여 직접 소스 커넥터를 구현 가능 connect-api 라이브러리 추가 build.gradledependencies { implementation 'org.apache.kafka:connect-api:3.5.1'}  SourceConnector태스크를 실행하기 전 커넥터 설정파일을 초기화하고 어떤 태스크 클래스를 사용할 것인지 정의실질적인 데이터를 다루는 부분이 없음 public class TestSourceConnector extends SourceConnector { ..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 카프카 커넥트 소개1-1.  카프카 커넥트 카프카 커넥트: 데이터 파이프라인 생성 시 반복 작업을 줄이고 효율적인 전송을 이루기 위한 애플리케이션 1-2. 커넥트 내부 구조 카프카 스트림과 유사한 구조로, 커넥터와 커넥터 내부에 태스크가 있음태스크가 실질적인 데이터 처리를 함 2. 커넥트..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 스트림즈DSL의 윈도우 프로세싱1-1.  윈도우 프로세싱 소개윈도우 연산: 특정 시간에 대응하여 취합 연산을 처리할 때 활용카프카 스트림즈에서 제공하는 윈도우 프로세싱은 4가지를 지원함텀블링 윈도우호핑 윈도우슬라이딩 윈도우세션 윈도우 1-2. 텀블링 윈도우(Tumbling Window) ..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 카프카 스트림즈 소개1-1.  카프카 스트림즈 카프카 스트림즈: 토픽에 적재된 데이터를 실시간으로 변환하여 다른 토픽에 적재하는 라이브러리장애가 발생하더라도 정확히 한 번 적재할 수 있도록 장애 허용 시스템을 가지고 있어 데이터 처리 안정성이 매우 뛰어남 1-2. 프로듀서와 컨슈머를 조합..