전체 글

MSK 클러스터 생성하기 이번엔 Amazon MSK를 이용해서 카프카 클러스터를 구축해보도록 하겠습니다.   1. 클러스터 생성 클릭2. 클러스터 생성 방법 - 사용자 지정 생성 클릭 클러스터 생성 방법에는 두 가지 방식이 있다.빠른 생성VPC, Subnet 등등 자동으로 설정하여, 생성 후 대부분의 값 편집할 수 없음사용자 지정 생성네트워크와 보안 설정을 수정할 수 있음  3. 클러스터 유형 - 프로비저닝됨 클릭서버리스확장, 로드 관리와 같은 운영 면에서 편리하여 인프라 관리할 필요 없음프로비저닝됨클러스터 구성 시 유연성 제공함 4. Apache Kafka 버전 선택권장 버전인 3.5.1 을 사용  5. 브로커 선택개발 전용인 t3.small 선택 브로커 개수는 영역 당 브로커 수 1개, 영역 수를 3..

문제 url: https://school.programmers.co.kr/learn/courses/30/lessons/12985# 프로그래머스SW개발자를 위한 평가, 교육, 채용까지 Total Solution을 제공하는 개발자 성장을 위한 베이스캠프programmers.co.kr 난이도: Lv1정답률: 68%권장 시간: 30분권장 시간 복잡도: O(logN) 문제 설명△△ 게임대회가 개최되었습니다. 이 대회는 N명이 참가하고, 토너먼트 형식으로 진행됩니다. N명의 참가자는 각각 1부터 N번을 차례대로 배정받습니다. 그리고, 1번↔2번, 3번↔4번, ... , N-1번↔N번의 참가자끼리 게임을 진행합니다. 각 게임에서 이긴 사람은 다음 라운드에 진출할 수 있습니다. 이때, 다음 라운드에 진출할 참가자의 번..

문제 url: X난이도: 하정답률:권장 시간: 30분권장 시간 복잡도: O(N) 문제 설명이진 트리를 표현한 리스트 nodes를 인자로 받습니다. 예를 들어서 nodes가 [1,2,3,4,5,6,7]이면 다음과 같은 트리를 표현한 것입니다. 해당 이진 트리에 대하여 전위 순회, 중위 순회, 후위 순회 결과를 반환하는 solution() 함수를 완성해주세요.제한사항입력 노드 값의 개수는 1개 이상 1,000개 이하이다.노드 값은 정수형이며, 중복되지 않는다입출력 예nodesresult[1,2,3,4,5,6,7]["1 2 4 5 3 6 7", "4 2 5 1 6 3 7", "4 5 2 6 7 3 1"]예시 2numbers = [5,0,2,7]가능한 모든 두 숫자의 합을 구합니다:2 = 0 + 25 = 5 +..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 커스텀 싱크 커넥터1-1.  커스텀 싱크 커넥터 카프카 커넥트 라이브러리에서 제공하는 SinkConnector와 SinkTask 클래스를 사용하면 직접 싱크 커넥터를 구현 가능 TestSinkConnectorpublic class TestSinkConnector extends SinkCo..

1. 커스텀 소스 커넥터오픈소스 소스 커넥터를 사용하면서 발생할 수 있는 라이선스 문제 혹은 로직 변경을 이유로 직접 개발할 수도 있음카프카 커넥트 라이브러리에서 SourceConnector와 SourceTask 클래스를 사용하여 직접 소스 커넥터를 구현 가능 connect-api 라이브러리 추가 build.gradledependencies { implementation 'org.apache.kafka:connect-api:3.5.1'}  SourceConnector태스크를 실행하기 전 커넥터 설정파일을 초기화하고 어떤 태스크 클래스를 사용할 것인지 정의실질적인 데이터를 다루는 부분이 없음 public class TestSourceConnector extends SourceConnector { ..

본 포스팅은 인프런 데브원영님의 [아파치 카프카 애플리케이션 프로그래밍]의 강의를 수강 후 정리하는 글입니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 카프카 커넥트 소개1-1.  카프카 커넥트 카프카 커넥트: 데이터 파이프라인 생성 시 반복 작업을 줄이고 효율적인 전송을 이루기 위한 애플리케이션 1-2. 커넥트 내부 구조 카프카 스트림과 유사한 구조로, 커넥터와 커넥터 내부에 태스크가 있음태스크가 실질적인 데이터 처리를 함 2. 커넥트..