Apache Kafka

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 커스텀 싱크 커넥터1-1.  커스텀 싱크 커넥터 카프카 커넥트 라이브러리에서 제공하는 SinkConnector와 SinkTask 클래스를 사용하면 직접 싱크 커넥터를 구현 가능 TestSinkConnectorpublic class TestSinkConnector extends SinkCo..

1. 커스텀 소스 커넥터오픈소스 소스 커넥터를 사용하면서 발생할 수 있는 라이선스 문제 혹은 로직 변경을 이유로 직접 개발할 수도 있음카프카 커넥트 라이브러리에서 SourceConnector와 SourceTask 클래스를 사용하여 직접 소스 커넥터를 구현 가능 connect-api 라이브러리 추가 build.gradledependencies { implementation 'org.apache.kafka:connect-api:3.5.1'}  SourceConnector태스크를 실행하기 전 커넥터 설정파일을 초기화하고 어떤 태스크 클래스를 사용할 것인지 정의실질적인 데이터를 다루는 부분이 없음 public class TestSourceConnector extends SourceConnector { ..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 카프카 커넥트 소개1-1.  카프카 커넥트 카프카 커넥트: 데이터 파이프라인 생성 시 반복 작업을 줄이고 효율적인 전송을 이루기 위한 애플리케이션 1-2. 커넥트 내부 구조 카프카 스트림과 유사한 구조로, 커넥터와 커넥터 내부에 태스크가 있음태스크가 실질적인 데이터 처리를 함 2. 커넥트..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 스트림즈DSL의 윈도우 프로세싱1-1.  윈도우 프로세싱 소개윈도우 연산: 특정 시간에 대응하여 취합 연산을 처리할 때 활용카프카 스트림즈에서 제공하는 윈도우 프로세싱은 4가지를 지원함텀블링 윈도우호핑 윈도우슬라이딩 윈도우세션 윈도우 1-2. 텀블링 윈도우(Tumbling Window) ..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 멱등성 프로듀서1-1.  전달 신뢰성멱등성: 여러 번 연산을 수행하더라도 동일한 결과멱등성 프로듀서: 동일한 데이터를 여러 번 전송하더라도 카프카 클러스터에 단 한 번만 저장됨   1-2. 멱등성 프로듀서프로듀서가 보내는 데이터의 중복 적재를 막기 위해 0.11.0 이후 버전부터 enab..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 멀티스레드 컨슈머n개의 스레드를 가진 1개의 프로세스를 운영하거나 1개의 스레드를 가진 프로세스 n개를 운영할 수 있음 배포 자동화가 잘 되어있다면 1개의 스레드를 가진 n개의 프로세스로 운영하는 것이 좋음  2. 컨슈머 랙2-1. 컨슈머 랙 소개   컨슈머 랙: 파티션의 최신 오프셋과 ..