Apache Kafka (아파치 카프카) 설치 (CentOS 7.2.1511 64-bit)

설치 전 준비사항

1. CentOS 7이 설치된 서버 (또는 VM)
2. 오픈 JDK 패키지 설치
1.  yum install java-1.8.0-openjdk.x86_64
2. 설치가 잘 되었는지 확인하려면 아래의 명령어를 실행해서 자바 버전 확인
1. java -version
3. 자바 환경 변수 설정
1. 텍스트 에디터를 이용해서 ‘/etc/profile’에 자바 환경 변수 설정을 추가 
1. vim /etc/profile
2.  profile 파일 안에 아래의 내용을 추가
1. export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
2. export JRE_HOME=/usr/lib/jvm/jre
3. source 명령어를 이용해서 변경된 내용 적용
1. source /etc/profile

설치 단계

1. Kafka 패키지 다운로드
1. wget http://www-us.apache.org/dist/kafka/0.10.0.1/kafka_2.11-0.10.0.1.tgz
1. 위의 버전이 최신 버전이 아니면 kafka 웹사이트 (http://www-us.apache.org/dist/kafka)에 들어가셔서 최신 버전을 확인 후 다운 받으세요.
2. tar xvf kafka_2.11-0.10.0.1.tgz
3. mv kafka_2.11-0.10.0.1 /opt
4. cd /opt/kafka_2.11-0.10.0.1
2. Zookeeper 서버 시작
1. bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
3. Kafka 서버 시작
1. bin/kafka-server-start.sh config/server.properties
1. 서버 시작 후 아래와 같은 로그를 확인하셨다면 서버가 정상적으로 시작된 것입니다.
2. INFO [Kafka Server 0], started (kafka.server.KafkaServer)
4. Kafka 패키지에서 제공하는 클라이언트 프로그램을 이용한 간단한 서버 테스트
1. 테스트 토픽 생성
2. bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
3. Consumer 생성
1. bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test —from-beginning
4. Producer 생성
1. 같은 SSH 연결에서 Consumer와 Producer를 같이 생성할 수 없기 때문에 새로운 SSH 연결을 한 후 에 아래의 명령어를 실행합니다.
2. bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
3. 위의 명령어를 실행 후 콘솔에 텍스트를 입력하고 엔터를 누르면 입력한 텍스트가 Consumer 쪽 콘솔에 출력 되는 것을 확인하실 수 있으십니다.
5. References
1. https://www.vultr.com/docs/how-to-install-apache-kafka-on-centos-7
2. http://davidssysadminnotes.blogspot.com/2016/01/installing-apache-kafka-and-zookeeper.html
3. http://www.javaworld.com/article/3060078/big-data/big-data-messaging-with-kafka-part-1.html

Redis Cluster (레디스 클러스터) 설치 (CentOS 7.2.1511 64-bit)

설치 전 준비사항

1.  최소 2개 이상의 서버 (또는 VM)에 CentOS 7 설치. 아래의 설명에 사용된 서버들 정보는 아래와 같습니다. 
1. Server A: 192.168.2.105
2. Server B: 192.168.3.105
3. Server C:  192.168.3.102
2.  Redis 3.0 이상 버전의 패키지를 인터넷에서 다운 받아서 설치. 참고로 Redis Cluster는 3.0 이상 버전부터 지원 가능합니다. 아래는 레디스 3.0.0을 다운 받아서 설치하는 명령어의 예이며 만약 더 최신 버전을 원하시면 http://download.redis.io/releases 페이지에 들어가셔서 최신 패키지 정보를 얻으셔서 다운 받으시면 됩니다. 
1. mkdir build && cd build
   wget http://download.redis.io/releases/redis-3.0.0.tar.gz
   tar -xvfz redis-3.0.0.tar.gz
   cd redis-3.0.0/
3.  아래의 패키지들을 yum을 이용해서 설치
1.  yum install gem ruby ruby-devel ruby gems redis-stat rpm-build

설치 단계

1. Redis Cluster용 설정파일 생성
1.  기존의 설정파일인 ‘redis.conf’를 수정해서 사용해도 되나 우선 불필요한 설정들도 많고 Redis를 한 서버에서만 사용하게 되면 (클러스터 모드가 아닌) 다시 수정을 해야 하기 때문에 클러스터용 설정 파일을 새로 생성해서 사용하는게 좋습니다. (예를 들어 파일명은 ‘redis-cluster.conf’) 클러스터용 설정 파일의 예는 아래와 같습니다.
       port 6379
       cluster-enabled yes
       cluster-config-file nodes.conf
       cluster-node-timeout 5000
       append only yes
2.  위의 설정파일을 이용해서 Redis Server 시작. 만약 클러스터 모드로 정상적으로 시작되었다면 서버 시작 후에 ‘Running in cluster mode’라는 글을 확인할 수 있습니다. 
1. src/redis-server redis-cluster.conf
3.  위의 두 사항을 클러스터에 포함될 다른 서버들에 반복해서 수행합니다. 
4.  위의 과정을 거쳐 클러스터 모드로 시작된 Redis Server들을 아래의 명령어 실행을 통해 연결합니다. 참고로 이 과정은 하나의 서버에서만 수행하면 됩니다. 예를 들어 클러스터를 형성할 서버 A, B, C가 있다고 가정하면 A에서만 아래의 명령어를 실행하면 클러스터가 바로 형성되기 때문에 같은 작업을 B랑 C에서 반복적으로 할 필요가 없습니다. 
1. src/redis-cli -p 6379 CLUSTER MEET 192.168.3.105 6379
2. 참고로 위의 명령어는 서버 B의 IP가 192.168.3.105 이고 서버 A에서 클러스터를 형성한 경우의 예입니다.
5.  ‘redis-trib.rb’라는 Redis 패키지에서 제공하는 유틸리티 프로그램을 이용해서 아래의 명령어를 실행해서 slot들을 할당합니다. 참고로  이 절차는 총 16384개의 슬롯을 오픈하고 오픈된 슬롯들을 클러스터 서버에 N 등분 해서 (여기서 N은 클러스터에 등록된 서버수) 할당하는 과정입니다. 
1. src/redis-trib.rb create 192.168.2.105:6379 192.168.3.105:6379
6. 만약 5번 실행 중 문제가 발생했다면 아래의 명령어들을 서버 A에서 실행해보세요. 
1. for slot in {0..5400}; do redis-cli -h 192.168.2.105 -p 6379 CLUSTER ADDSLOTS $slot; done;
2. for slot in {5400..10800}; do src/redis-cli -h 17.198.30.160 -p 6379 CLUSTER ADDSLOTS $slot; done;
3. for slot in {10801..16383}; do src/redis-cli -h 17.198.30.157 -p 6379 CLUSTER ADDSLOTS $slot; done;
7.  References
1. http://redis.io/topics/cluster-tutorial
2. https://www.digitalocean.com/community/tutorials/how-to-configure-a-redis-cluster-on-centos-7
3. https://www.javacodegeeks.com/2015/09/redis-clustering.html
4. https://ilyabylich.svbtle.com/redis-cluster-quick-overview

Jenkins에 SonarQube 연동

이번 블로그에서는 지난 번에 설치한 Jenkins에 SonarQube 설정을 해서 두 시스템을 연동해서 사용하는 방법에 대해서 설명하도록 하겠습니다.

연동하기 전에 필요한 것

• Jenkins 서버
• SonarQube

Jenkins에 SonarQube를 설정하기 위한 과정

• Jenkins의 메인 웹 UI 접속

• 웹브라우저를 통해 Jenkins의 메인 웹 UI 페이지로 갑니다. (예: http://[ipaddress]:8080)

• Sonar 플로그인을 Jenkins에 설치

• 메인 UI 페이지의 왼쪽에 있는 'Manage Jenkins' 링크를 클릭해서 'Manage' 페이지로 이동한 후 아래 그림과 같이 오른쪽에 있는 'Manage Plugins'을 클릭해서 플러그인들을 관리할 수 있는 페이지로 이동합니다. 

• 'Manage Plugins' 페이지에서 우선 'Installed' 탭에 나열되어 있는 이미 설치된 플러그인들 리스트에서 'Sonar Plugin'이란 항목이 있는지 확인하시고 (만약 Jenkins가 최근 버전이 아닐 경우에는 'Jenkins Sonar Plugin'이란 이름으로 되어 있을 수도 있습니다.) 만약 없다면 'Available' 탭으로 이동해서 'Sonar Plugin'을 찾으신 후 설치하시면 됩니다.

• JDK 설정 (이 부분은 Jenkins에 JDK설정이 안 되어 있을 경우에만 해당됩니다.)
• 'Sonar Plugin' 설치가 끝나면 다시 위의 스크린샷에 있는 'Manage Jenkins' 페이지로 이동한 후 가장 위에 있는 항목인 'Configure System'을 클릭하여 Jenkins의 설정 페이지로 이동합니다. 
• 설정 페이지에서 'JDK' 항목을 찾은 후에 'Add JDK' 버튼을 클릭해서 JDK 정보를 추가합니다. 
• 버튼 클릭 후에 생기는 'Name'과 'JAVA_HOME' 부분을 현재 Jenkins가 설치된 리눅스 시스템의 환경 정보를 참조해서 기입하신 후에 'Install automatically' 항목을 클릭하시어 자동으로 설치되지 않도록 합니다. 
• 위의 사항을 마치셨으면 'Apply' 버튼을 클릭해서 변경사항을 적용합니다. 아래는 위의 사항에 대한 스크린샷이며 기입된 정보는 저의 Jenkins가 설치된 리눅스 시스템의 환경정보이므로 하나의 예로 참고만 하세요. 

• Sonar 설정
• Sonar 설정을 위해 다시 위와 같이 'Manage Jenkins -> Configure System'을 통해 설정 페이지로 이동합니다. 
• 이번에는 'Sonar' 부분을 찾아서 'Add Sonar' 버튼을 클릭합니다. 
• 자신의 SonarQube 설정 정보를 이용해서 해당 사항을 입력한 후 'Apply' 버튼을 클릭하여 Sonar와의 연동에 필요한 정보를 업데이트합니다. 아래의 스크린샷을 참고하세요. (Server URL 부분과 Database URL 부분에 삭제된 부분은 현재 로컬에 설치된 SonarQube IP 주소를 대신 기입하시면 됩니다. 예: http://10.10.10.10:9000)

•   Maven 설정 (이 부분 역시 추가적인 사항이며 만약 필요시에만 설정하시면 됩니다.)
• 위의 설정 화면에서 Maven 부분을 찾은 후 'Add Maven' 버튼을 클릭합니다. 
• Maven Name 부분을 본인이 원하는 이름으로 기입한후 'Apply' 버튼을 클릭합니다. 'Install Automatically' 부분은 클릭이 된 채로 두셔도 됩니다. 

 Hope this help!