JBoss EAP 6.x – Standalone Session Clustering

원문출처 : http://blog.beany.co.kr/archives/3971 이상훈 (imfjbh@gmail.com)

CentOS 6.5
JBoss EAP 6.2.0
Sun JDK 7

OS 에 설치된 기본 설정을 사용할 경우 JBoss 기동시 Socket Buffer 와 관련한 WARN 메시지가 나타날 수 있습니다.

아래의 명령으로 TCP Parameter 값을 변경합니다. 재부팅시에는 원래의 기본 Parameter 값으로 돌아옵니다.

sysctl -w net.core.rmem_default=26214400
sysctl -w net.core.wmem_default=1048576
sysctl -w net.core.rmem_max=26214400
sysctl -w net.core.wmem_max=1048576

아래의 명령을 실행하여 TCP Parameter 를 설정파일을 편집합니다.

net.core.wmem_max = 1048576
net.core.rmem_max = 26214400
net.core.rmem_default = 26214400
net.core.wmem_default = 1048576

아래의 명령을 실행하여 의존 패키지를 설치합니다.

yum -y install unzip

JBoss 기동시 사용할 사용자 (wasadmin) 계정과 그룹 (wasadmin) 을 생성합니다.

groupadd wasadmin
useradd -M -g wasadmin wasadmin

JBoss 사이트 (http://www.jboss.org/jbossas/downloads) 에 접속하여 JBoss EAP 6.2.0 GA 버전을 다운로드 받습니다.

JBoss 설치 디렉토리 구조는 아래와 같습니다.

/app/jboss-as ┬ jboss-eap-6.2
              └ nodes ┌ node01
                      ├ node02
                      └ ...
/app/webapps/deployments
/var/log/jboss-as

클러스터링을 위한 Standalone 노드를 설치할 폴더를 생성합니다.

mkdir -p /app/jboss-as/nodes

Web Application 배포 폴더를 생성합니다.

mkdir -p /app/webapps/deployments

다운로드한 JBoss 설치 압축 파일을 설치위치로 이동한 후 압축을 해제합니다.

cp jboss-eap-6.2.0.zip /app/jboss-as
cd /app/jboss-as
unzip jboss-eap-6.2.0.zip

JBoss 설치 파일을 삭제합니다.

rm -f /app/jboss-as/jboss-eap-6.2.0.zip

Node 별 로그를 중앙 집중적으로 관리하기 위한 로그 폴더를 생성합니다.

mkdir -p /var/log/jboss-as

압축을 해제한 JBoss 설치 디렉토리로 이동한 후 standalone 폴더를 복사한 후 폴더명을 변경합니다.

cp -R /app/jboss-as/jboss-eap-6.2/standalone /app/jboss-as/nodes
mv /app/jboss-as/nodes/standalone /app/jboss-as/nodes/node01

JBoss Clustering Node 들에 대한 실행을 위한 스크립트 및 설정 파일을 생성합니다.

jboss-env.conf – 환경 설정 파일

아래의 명령을 실행하여 JBoss Node 별로 속성을 설정할 수 있는 jboss-env.conf 파일을 생성합니다.

vi /app/jboss-as/nodes/node01/jboss-env.conf

아래의 내용을 입력합니다.


JAVA_HOME=/opt/jdk1.7.0_55

JBOSS_NODE_NAME=node01
JBOSS_PORT_OFFSET=100

JBOSS_USER=wasadmin
JBOSS_HOME=/app/jboss-as/jboss-eap-6.2
JBOSS_NODE_BASE_DIR=/app/jboss-as/nodes

JBOSS_PIDFILE=/var/run/jboss-as/jboss-as-$JBOSS_NODE_NAME.pid
JBOSS_CONFIG=standalone-ha.xml
JBOSS_BASE_LOG_DIR=/var/log/jboss-as
JBOSS_CONSOLE_LOG=$JBOSS_BASE_LOG_DIR/$JBOSS_NODE_NAME-console.log
JBOSS_GC_LOG=$JBOSS_BASE_LOG_DIR/$JBOSS_NODE_NAME-gc.log

JBOSS_BIND_ADDR=0.0.0.0
JBOSS_MANAGEMENT_ADDR=127.0.0.1
JBOSS_CONTROLLER_IP=$JBOSS_MANAGEMENT_ADDR
JBOSS_MULTICAST_ADDR=230.0.0.4
JBOSS_JMS_MULTICAST_ADDR=231.7.0.1
JBOSS_MODCLUSTER_MULTICAST_ADDR=224.0.1.105

LAUNCH_JBOSS_IN_BACKGROUND=true

STARTUP_WAIT=30
SHUTDOWN_WAIT=30

jboss-env.sh – 환경 설정

공통환경 쉘 스크립트 파일을 생성합니다.

vi /app/jboss-as/nodes/node01/jboss-env.sh

아래의 내용으로 시작 쉘 스크립트를 입력한 후 저장합니다.

#!/bin/sh

DATE=`date +%Y%m%d%H%M%S`
BASE_DIR=$(dirname $0)

export JBOSS_CONF=$BASE_DIR/jboss-env.conf

[ -r "$JBOSS_CONF" ] && . "${JBOSS_CONF}"

let JBOSS_CONTROLLER_PORT=9999+$JBOSS_PORT_OFFSET
export JBOSS_CONTROLLER_PORT

########## JBoss System module and User module directory ##########
export JBOSS_MODULEPATH=$JBOSS_HOME/modules:$JBOSS_HOME/modules/ext

# JVM Options : Server
export JAVA_OPTS="-server $JAVA_OPTS"

# JVM Options : Memory
export JAVA_OPTS=" $JAVA_OPTS -Xms1024m -Xmx1024m -XX:MaxPermSize=256m"
export JAVA_OPTS=" $JAVA_OPTS -XX:+PrintGCTimeStamps "
export JAVA_OPTS=" $JAVA_OPTS -XX:+PrintGCDetails "
export JAVA_OPTS=" $JAVA_OPTS -Xloggc:$JBOSS_GC_LOG"
export JAVA_OPTS=" $JAVA_OPTS -XX:+UseParallelGC "
#export JAVA_OPTS=" $JAVA_OPTS -XX:+UseConcMarkSweepGC "
export JAVA_OPTS=" $JAVA_OPTS -XX:+ExplicitGCInvokesConcurrent "
export JAVA_OPTS=" $JAVA_OPTS -XX:-HeapDumpOnOutOfMemoryError "

# Linux Large Page Setting
#export JAVA_OPTS=" $JAVA_OPTS -XX:+UseLargePages "
export JAVA_OPTS=" $JAVA_OPTS -verbose:gc"
export JAVA_OPTS=" $JAVA_OPTS -Djava.net.preferIPv4Stack=true"
export JAVA_OPTS=" $JAVA_OPTS -Dorg.jboss.resolver.warning=true"
export JAVA_OPTS=" $JAVA_OPTS -Dsun.rmi.dgc.client.gcInterval=3600000 "
export JAVA_OPTS=" $JAVA_OPTS -Dsun.rmi.dgc.server.gcInterval=3600000"
export JAVA_OPTS=" $JAVA_OPTS -Djboss.modules.system.pkgs=org.jboss.byteman"
export JAVA_OPTS=" $JAVA_OPTS -Djava.awt.headless=true"
export JAVA_OPTS=" $JAVA_OPTS -Djboss.server.base.dir=$JBOSS_NODE_BASE_DIR/$JBOSS_NODE_NAME"
export JAVA_OPTS=" $JAVA_OPTS -Djboss.server.log.dir=$JBOSS_BASE_LOG_DIR"
export JAVA_OPTS=" $JAVA_OPTS -Djboss.socket.binding.port-offset=$JBOSS_PORT_OFFSET"
export JAVA_OPTS=" $JAVA_OPTS -Djboss.node.name=$JBOSS_NODE_NAME"

export JAVA_OPTS=" $JAVA_OPTS -Djboss.bind.address.management=$JBOSS_MANAGEMENT_ADDR"
export JAVA_OPTS=" $JAVA_OPTS -Djboss.bind.address=$JBOSS_BIND_ADDR"
#export JAVA_OPTS=" $JAVA_OPTS -Djboss.bind_addr=$JBOSS_MULTICAST_ADDR"
#export JAVA_OPTS=" $JAVA_OPTS -Djboss.default.jgroups.stack=tcp"
export JAVA_OPTS=" $JAVA_OPTS -Djboss.default.multicast.address=$JBOSS_MULTICAST_ADDR"
export JAVA_OPTS=" $JAVA_OPTS -Djboss.messaging.group.address=$JBOSS_JMS_MULTICAST_ADDR"
export JAVA_OPTS=" $JAVA_OPTS -Djboss.modcluster.multicast.address=$JBOSS_MODCLUSTER_MULTICAST_ADDR"
export JAVA_OPTS=" $JAVA_OPTS -Dorg.jboss.as.logging.per-deployment=false"
export JAVA_OPTS=" $JAVA_OPTS -Dserver.mode=local"

export JAVA_OPTS=" $JAVA_OPTS -Djboss.server.config.user.dir=$JBOSS_DOMAIN_BASE_DIR/$JBOSS_DOMAIN_NAME/configuration"
export JAVA_OPTS=" $JAVA_OPTS -Djboss.domain.config.user.dir=$JBOSS_DOMAIN_BASE_DIR/$JBOSS_DOMAIN_NAME/configuration"

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH

echo "=================================================================="
echo "JAVA_HOME=$JAVA_HOME"
echo "JBOSS_HOME=$JBOSS_HOME"
echo "JBOSS_NODE_NAME=$JBOSS_NODE_NAME"
echo "JBOSS_NODE_BASE_DIR=$JBOSS_NODE_BASE_DIR"
echo "JBOSS_CONFIG=$JBOSS_CONFIG"

echo "JBOSS_BIND_ADDR=$JBOSS_BIND_ADDR"
echo "JBOSS_PORT_OFFSET=$JBOSS_PORT_OFFSET"
echo "JBOSS_MULTICAST_ADDR=$JBOSS_MULTICAST_ADDR"
echo "JBOSS_CONTROLLER=$JBOSS_CONTROLLER_IP:$JBOSS_CONTROLLER_PORT"

echo "JBOSS_PIDFILE=$JBOSS_PIDFILE"
echo "JBOSS_CONSOLE_LOG=$JBOSS_CONSOLE_LOG"
echo "JBOSS_GC_LOG=$JBOSS_GC_LOG"
echo "=================================================================="

jboss-run.sh – 실행 스크립트 (시작&종료)

JBoss Node 실행 쉘 스크립트 파일을 생성합니다.

vi /app/jboss-as/nodes/node01/jboss-run.sh

아래의 내용으로 실행 쉘 스크립트를 입력한 후 저장합니다.

#!/bin/sh

BASE_DIR=$(dirname $0)

. $BASE_DIR/jboss-env.sh

if [ "x$1" == "xstart" ]; then
  if [ -e $JBOSS_CONSOLE_LOG ]; then
    mv $JBOSS_CONSOLE_LOG $JBOSS_CONSOLE_LOG.$DATE
  fi

  if [ -e $JBOSS_GC_LOG ]; then
    mv $JBOSS_GC_LOG $JBOSS_GC_LOG.$DATE
  fi
fi

$JBOSS_HOME/bin/init.d/jboss-as-standalone.sh $1

#tail -f $JBOSS_CONSOLE_LOG

jboss-jconsole.sh – JConsole

JConsole 쉘 스크립트 파일을 생성합니다.

vi /app/jboss-as/nodes/node01/jboss-jconsole.sh

아래의 내용을 JConsole 쉘 스크립트를 입력한 후 저장합니다.

#!/bin/sh

BASE_DIR=$(dirname $0)

. $BASE_DIR/jboss-env.sh

echo "======================================================="
echo " JMX URL : service:jmx:remoting-jmx://$JBOSS_MANAGEMENT_ADDR:$JBOSS_CONTROLLER_PORT"
echo "======================================================="

$JBOSS_HOME/bin/jconsole.sh

jboss-cli.sh – CLI

CLI 쉘 스크립트 파일을 생성합니다.

vi /app/jboss-as/nodes/node01/jboss-cli.sh

아래의 내용을 CLI 쉘 스크립트를 입력한 후 저장합니다.

#!/bin/sh

BASE_DIR=$(dirname $0)

. $BASE_DIR/jboss-env.sh

export JAVA_OPTS=" -Djava.awt.headless=false $JAVA_OPTS"

$JBOSS_HOME/bin/jboss-cli.sh --controller=$JBOSS_CONTROLLER_IP:$JBOSS_CONTROLLER_PORT --connect $@

실행권한 부여

쉘 스크립트에 실행 권한을 부여합니다.

chmod 755 /app/jboss-as/nodes/node01/*.sh

Standalone 기반의 Clustering 구성을 위하여 standalone-ha.xml 파일을 수정합니다.

vi /app/jboss-as/nodes/node01/configuration/standalone-ha.xml

아래의 항목을 다음과 같이 수정또는 추가합니다.

deployment-scanner → path : Web Application 배포 디렉토리를 지정합니다.
deployment-scanner → scan-interval : path (Web Application 배포 디렉토리) 의 파일들에 대한 변경 감지 시간을 설정합니다. (1/1000 초) 0 으로 설정시 변경 감지를 하지 않습니다.
deployment-scanner → auto-deploy-exploded : true 로 설정했을 경우 war 파일이 아닌 디렉토리로 설정할 수 있습니다.
instance-id : jvmRoute 기능을 하기 위한 설정이며, 설정값 ${jboss.node.name} 는 외부 설정값으로 대체됩니다.
enable-welcome-root : ROOT Context 를 사용할 경우 false 로 설정합니다. true 로 설정이 되어있을 경우 Root Context 는 JBoss 에 기본으로 내장되어 있는 Content 를 표시하게 됩니다.

<?xml version='1.0' encoding='UTF-8'?>
 
<server xmlns="urn:jboss:domain:1.5">
 
    ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 
    <profile>
 
        ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 
        <subsystem xmlns="urn:jboss:domain:deployment-scanner:1.1">
            <!--
            <deployment-scanner path="deployments" relative-to="jboss.server.base.dir" scan-interval="5000"/>
            -->
            <deployment-scanner path="/app/webapps/deployments" scan-interval="0" auto-deploy-exploded="true" />
 
        </subsystem>
 
        <subsystem xmlns="urn:jboss:domain:web:1.5" default-virtual-server="default-host" instance-id="${jboss.node.name}" native="false">
            <connector name="http" protocol="HTTP/1.1" scheme="http" socket-binding="http"/>
            <connector name="ajp" protocol="AJP/1.3" scheme="http" socket-binding="ajp"/>
            <virtual-server name="default-host" enable-welcome-root="false">
                <alias name="localhost"/>
                <alias name="example.com"/>
            </virtual-server>
        </subsystem>
 
        ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 
    </profile>
 
    ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 
</server>

하나의 물리적인 서버에 Clustering Node 추가 작업에 대한 설명입니다.

아래의 명령을 실행하여 기존의 JBoss Home 폴더의 standalone 폴더를 복사한 후 해당 Node 의 이름을 변경합니다.

현재는 기존의 /app/jboss-as/nodes/node01 폴더가 존재하기 때문에 /app/jboss-as/nodes/node02 로 설정합니다.

cp -R /app/jboss-as/jboss-eap-6.2/standalone /app/jboss-as/nodes
mv /app/jboss-as/nodes/standalone /app/jboss-as/nodes/node02

/app/jboss-as/nodes/node01 에서 생성한 실행 스크립트를 신규로 생성하는 Node 로 복사합니다.

cp /app/jboss-as/nodes/node01/*.sh /app/jboss-as/nodes/node01/*.conf /app/jboss-as/nodes/node02

아래의 명령을 실행하여 jboss-env.conf 파일을 편집합니다.

vi /app/jboss-as/nodes/node02/jboss-env.conf

아래의 항목을 현재 설정에 맞도록 수정한 후 저장합니다.

JAVA_HOME=/opt/jdk1.7.0_55

JBOSS_NODE_NAME=node02
JBOSS_PORT_OFFSET=200

JBOSS_USER=wasadmin
JBOSS_HOME=/app/jboss-as/jboss-eap-6.2
JBOSS_NODE_BASE_DIR=/app/jboss-as/nodes

JBOSS_PIDFILE=/var/run/jboss-as/jboss-as-$JBOSS_NODE_NAME.pid
JBOSS_CONFIG=standalone-ha.xml
JBOSS_BASE_LOG_DIR=/var/log/jboss-as
JBOSS_CONSOLE_LOG=$JBOSS_BASE_LOG_DIR/$JBOSS_NODE_NAME-console.log
JBOSS_GC_LOG=$JBOSS_BASE_LOG_DIR/$JBOSS_NODE_NAME-gc.log

JBOSS_BIND_ADDR=0.0.0.0
JBOSS_MANAGEMENT_ADDR=127.0.0.1
JBOSS_CONTROLLER_IP=$JBOSS_MANAGEMENT_ADDR
JBOSS_MULTICAST_ADDR=230.0.0.4
JBOSS_JMS_MULTICAST_ADDR=231.7.0.1
JBOSS_MODCLUSTER_MULTICAST_ADDR=224.0.1.105

LAUNCH_JBOSS_IN_BACKGROUND=true

STARTUP_WAIT=30
SHUTDOWN_WAIT=30

기본 Node 에서 standalone-ha.xml 파일을 복사합니다.

cp /app/jboss-as/nodes/node01/configuration/standalone-ha.xml /app/jboss-as/nodes/node02/configuration/

JBoss Node 기본 디렉토리로 이동합니다.

cd /app/jboss-as/nodes

아래의 명령을 실행하여 전체 실행시 공통으로 사용할 run-all.sh 파일을 생성합니다.

vi /app/jboss-as/nodes/all-run.sh