1. Exploring the Fundamental ConceptsCAP 프레임워크: 기술적 특징과 장점CAP(Capability-based Architecture) 프레임워크는 SAP이 제공하는 강력한 애플리케이션 개발 플랫폼으로, 다양한 오픈 소스 기술과 SAP 기술을 결합하여 제공됩니다. 이 글에서는 CAP 프레임워크의 주요 기술적 특징과 장점을 살펴보겠습니다.1.1. 런타임 환경: Node.js와 JavaCAP는 Node.js와 Java 두 가지 런타임 환경을 지원합니다. 이는 개발자들이 자신에게 익숙한 언어와 환경에서 애플리케이션을 개발할 수 있도록 돕습니다.Node.js SDK: CAP의 Node.js SDK는 Express를 기반으로 하여 Node.js의 풍부한 생태계를 활용할 수 있게 합니..
1. Apache Spark 개요Apache Spark는 대규모 데이터 처리를 위한 오픈소스 분산 처리 시스템입니다. Spark는 메모리 내 연산을 활용하여 빠른 데이터 처리가 가능하며, SQL, 스트리밍, 머신러닝, 그래프 처리 등의 다양한 모듈을 제공합니다. 특히, HBase와의 연동을 통해 실시간 데이터 분석이 가능해집니다. Spark의 주요 구성 요소Spark Core: 기본적인 분산 처리 기능을 제공하며, RDD(Resilient Distributed Dataset)를 활용한 데이터 병렬 처리를 지원합니다.Spark SQL: 구조화된 데이터를 SQL을 사용하여 처리할 수 있도록 지원합니다.Spark Streaming: 실시간 데이터 스트리밍을 처리하는 모듈입니다.MLlib: 머신러닝을 위한 라이..
1. HBase의 데이터 구조 이해하기HBase는 NoSQL 기반의 분산형 컬럼 저장 데이터베이스로, Key-Value 형태의 데이터를 저장합니다. 기본적인 데이터 구조는 다음과 같습니다. ① 테이블(Table)RDBMS와 마찬가지로 테이블을 생성하여 데이터를 저장합니다.단, 스키마가 유연하여 컬럼을 사전에 정의할 필요가 없습니다.② 행(Row)각 행(Row)은 **Row Key(행 키)**를 기준으로 저장됩니다.Row Key는 데이터를 식별하는 고유한 키이며, 사전순 정렬되어 저장됩니다.③ 컬럼 패밀리(Column Family)HBase의 핵심 개념으로, 컬럼(데이터 필드)을 그룹화하는 역할을 합니다.테이블을 만들 때 컬럼 패밀리를 사전에 정의해야 합니다.④ 컬럼(Column)컬럼 패밀리 내부에서 동적..
1. HBase 다운로드 및 설치모든 노드에서 실행 (master1, worker1, worker2)wget http://mirror.apache-kr.org/hbase/stable/hbase-2.5.10-bin.tar.gztar xvf hbase-2.5.10-bin.tar.gzrm hbase-2.5.10-bin.tar.gzmv ./hbase-2.5.10 /usr/local/hbase/ Apache HBase 2.5.10 버전을 다운로드하고 압축을 해제한 후, /usr/local/hbase/ 디렉터리로 이동합니다.2. RegionServer 설정모든 노드에서 실행 cd /usr/local/hbase/confvi regionserversRegionServer를 실행할 워커 노드를 지정합니다.마스터 노드(m..
1. Hadoop이란?Hadoop은 대량의 데이터를 분산 처리할 수 있도록 설계된 오픈소스 프레임워크입니다. 주로 빅데이터 분석과 대규모 저장소를 운영하는 데 사용됩니다.공식 문서: Hadoop Documentation 2. 환경 설정이번 구성에서는 Ubuntu 22.04에서 Docker 컨테이너 3개(마스터 1개, 워커 2개)를 사용하여 Hadoop 클러스터를 구축합니다. Ubuntu에 Docker가 깔려있다고 가정합니다. 2.1. 기본 컨테이너 생성 및 필수 패키지 설치docker run -i -t --name hadoop-base ubuntu:22.04 -i -t : 인터랙티브 모드로 컨테이너를 실행합니다.--name hadoop-base : 컨테이너 이름을 hadoop-base로 설정합니다.이제 ..
문제 url: https://school.programmers.co.kr/learn/courses/30/lessons/92342?language=python3 프로그래머스SW개발자를 위한 평가, 교육, 채용까지 Total Solution을 제공하는 개발자 성장을 위한 베이스캠프programmers.co.kr 난이도: Lv.2정답률: 37%문제 설명카카오배 양궁대회가 열렸습니다.라이언은 저번 카카오배 양궁대회 우승자이고 이번 대회에도 결승전까지 올라왔습니다. 결승전 상대는 어피치입니다.카카오배 양궁대회 운영위원회는 한 선수의 연속 우승보다는 다양한 선수들이 양궁대회에서 우승하기를 원합니다. 따라서, 양궁대회 운영위원회는 결승전 규칙을 전 대회 우승자인 라이언에게 불리하게 다음과 같이 정했습니다.어피치가 화..
