Hadoop 클러스터에 HBase 설치 및 설정

1. HBase 다운로드 및 설치

모든 노드에서 실행 (master1, worker1, worker2)

wget http://mirror.apache-kr.org/hbase/stable/hbase-2.5.10-bin.tar.gz
tar xvf hbase-2.5.10-bin.tar.gz
rm hbase-2.5.10-bin.tar.gz
mv ./hbase-2.5.10 /usr/local/hbase/

 

• Apache HBase 2.5.10 버전을 다운로드하고 압축을 해제한 후, /usr/local/hbase/ 디렉터리로 이동합니다.

2. RegionServer 설정

모든 노드에서 실행

 

cd /usr/local/hbase/conf
vi regionservers

RegionServer를 실행할 워커 노드를 지정합니다.

마스터 노드(master1)는 제외하고, 다음과 같이 입력합니다.

worker1
worker2

3. 환경 변수 설정

모든 노드에서 실행

vi ~/.bashrc

 

 

다음 내용을 추가합니다.

export HBASE_HOME=/usr/local/hbase
export HBASE_CONF_DIR=/usr/local/hbase/conf
export PATH=$PATH:$HBASE_HOME/bin
export HBASE_LOG_DIR=$HADOOP_LOG_DIR

HBASE_HOME 경로를 지정하여 HBase 실행에 필요한 환경 변수를 설정합니다.

4. HBase 주요 설정 파일 수정 (마스터 노드에서만 실행)

hbase-site.xml 설정

vi $HBASE_HOME/conf/hbase-site.xml

• hbase-site.xml 파일의 기존 설정을 삭제하고 다음 내용을 추가합니다.

<configuration>
  <property>
    <name>hbase.master</name>
    <value>master1:16000</value>
  </property>
  <property>
    <name>hbase.regionserver.port</name>
    <value>16020</value>
  </property>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://master1:8020/hbase</value>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
    <description>Property from ZooKeepers config zoo.cfg. The port at which the clients will connect.</description>
  </property>
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>master1,worker1,worker2</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/usr/local/zookeeper</value>
  </property>
</configuration>

HBase 마스터와 RegionServer의 포트를 설정하고, HDFS에 HBase 데이터를 저장하도록 구성합니다.

ZooKeeper를 클러스터에서 실행할 노드를 지정합니다.

hbase-env.sh 설정

vi $HBASE_HOME/conf/hbase-env.sh

다음 내용을 추가합니다.

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
export HBASE_MANAGES_ZK=false
export HBASE_REGIONSERVERS=/usr/local/hbase/conf/regionservers
export HBASE_OPTS="$HBASE_OPTS -Dfile.encoding=UTF-8"

HBASE_MANAGES_ZK=false 설정을 통해 ZooKeeper를 별도로 관리하도록 지정합니다.

HBase 관련 환경 변수를 추가합니다.

5. 백업 마스터 설정

마스터 노드에서 실행

 

vi $HBASE_HOME/backup-masters

worker1

• 백업 마스터로 worker1을 지정합니다.

---

이제 HBase가 Hadoop 클러스터에서 분산 환경으로 실행될 준비가 완료되었습니다. 😊

 

 

6. HBase 시작하기

마스터 노드에서 실행

start-hbase.sh

HBase를 실행하는 명령어입니다.

백그라운드에서 HBase 마스터 및 RegionServer가 실행됩니다.

HBase 셸 접속

hbase shell

HBase 명령어를 실행할 수 있는 인터페이스를 엽니다.

7. HBase 상태 확인

HBase가 정상적으로 실행 중인지 확인하려면, 셸에서 다음 명령어를 실행합니다.

status

현재 HBase 클러스터의 상태를 출력합니다.

정상적으로 실행되었다면, 활성화된 RegionServer 목록과 HBase 마스터 상태가 표시됩니다.

list

현재 HBase에 생성된 테이블 목록을 조회하는 명령어입니다.

처음 실행 시에는 아무 테이블도 존재하지 않습니다.