분류 전체보기

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 카프카 프로듀서 소개1-1.  프로듀서 프로듀서는 카프카에서 데이터의 시작점프로듀서는 데이터를 전송할 때 리더 파티션을 가지고 있는 카프카 브로커와 직접 통신브로커로 데이터를 전송할 때 내부적으로 파티셔너, 배치 생성 단계를 거침1-2. 프로듀서 내부 구조 ProducerRecord: 프..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 카프카 토픽을 만드는 두 가지 방법카프카 컨슈머 또는 프로듀서가 카프카 브로커에 생성되지 않은 토픽에 대해 데이터를 요청할 때커맨드 라인 툴로 명시적으로 토픽 생성 토픽마다 처리되어야 하는 데이터의 특성이 다르기 때문에 토픽을 명시적으로 생성하는 것을 추천 ex)동시 데이터 처리량이 많아..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. kafka-console-consumer.sh1-1.  토픽의 데이터 조회(메시지 value만)bin/kafka-console-consumer.sh \--bootstrap-server my-kafka:9092 \--topic hello.kafka --from-beginning필수: 카프카..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. kafka-topics.sh1-1.  토픽 생성카프카 클러스터 정보와 토픽 이름만으로 토픽 생성 가능bin/kafka-topics.sh --create --bootstrap-server my-kafka:9092 --topic hello.kafka 필수: 카프카 클러스터 정보, 토픽 이름옵..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 카프카 CLI 툴 소개1-1.  카프카 커맨드 라인 툴커맨드 라인 툴을 이용해서 카프카 브로커 운영에 다양한 명령 가능토픽이나 파티션 개수 변경 등등의 기능들 가능토픽과 관련된 명령에 필수 옵션과 선택 옵션이 있는데, 선택 옵션은 디폴트 값이 있어서 확인해야 좋음  2. 로컬에서 카프카 ..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 카프카 클러스터를 운영하는 여러가지 방법카프카 클러스터를 서버에 직접 설치하고 운영- 각종 설정을 직접 컨트롤하여 세부적인 서버 설정을 통해 최고의 성능으로 최적의 클러스터 운영 가능- 각종 보안 설정 선택- 모니터링 도구 선택 SaaS(Software-as-a-Service)형 카프카-..