Apache Kafka (아파치 카프카) 설치 (CentOS 7.2.1511 64-bit)

설치 전 준비사항

1. CentOS 7이 설치된 서버 (또는 VM)
2. 오픈 JDK 패키지 설치
1.  yum install java-1.8.0-openjdk.x86_64
2. 설치가 잘 되었는지 확인하려면 아래의 명령어를 실행해서 자바 버전 확인
1. java -version
3. 자바 환경 변수 설정
1. 텍스트 에디터를 이용해서 ‘/etc/profile’에 자바 환경 변수 설정을 추가 
1. vim /etc/profile
2.  profile 파일 안에 아래의 내용을 추가
1. export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
2. export JRE_HOME=/usr/lib/jvm/jre
3. source 명령어를 이용해서 변경된 내용 적용
1. source /etc/profile

설치 단계

1. Kafka 패키지 다운로드
1. wget http://www-us.apache.org/dist/kafka/0.10.0.1/kafka_2.11-0.10.0.1.tgz
1. 위의 버전이 최신 버전이 아니면 kafka 웹사이트 (http://www-us.apache.org/dist/kafka)에 들어가셔서 최신 버전을 확인 후 다운 받으세요.
2. tar xvf kafka_2.11-0.10.0.1.tgz
3. mv kafka_2.11-0.10.0.1 /opt
4. cd /opt/kafka_2.11-0.10.0.1
2. Zookeeper 서버 시작
1. bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
3. Kafka 서버 시작
1. bin/kafka-server-start.sh config/server.properties
1. 서버 시작 후 아래와 같은 로그를 확인하셨다면 서버가 정상적으로 시작된 것입니다.
2. INFO [Kafka Server 0], started (kafka.server.KafkaServer)
4. Kafka 패키지에서 제공하는 클라이언트 프로그램을 이용한 간단한 서버 테스트
1. 테스트 토픽 생성
2. bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
3. Consumer 생성
1. bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test —from-beginning
4. Producer 생성
1. 같은 SSH 연결에서 Consumer와 Producer를 같이 생성할 수 없기 때문에 새로운 SSH 연결을 한 후 에 아래의 명령어를 실행합니다.
2. bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
3. 위의 명령어를 실행 후 콘솔에 텍스트를 입력하고 엔터를 누르면 입력한 텍스트가 Consumer 쪽 콘솔에 출력 되는 것을 확인하실 수 있으십니다.
5. References
1. https://www.vultr.com/docs/how-to-install-apache-kafka-on-centos-7
2. http://davidssysadminnotes.blogspot.com/2016/01/installing-apache-kafka-and-zookeeper.html
3. http://www.javaworld.com/article/3060078/big-data/big-data-messaging-with-kafka-part-1.html

Redis Cluster (레디스 클러스터) 설치 (CentOS 7.2.1511 64-bit)

설치 전 준비사항

1.  최소 2개 이상의 서버 (또는 VM)에 CentOS 7 설치. 아래의 설명에 사용된 서버들 정보는 아래와 같습니다. 
1. Server A: 192.168.2.105
2. Server B: 192.168.3.105
3. Server C:  192.168.3.102
2.  Redis 3.0 이상 버전의 패키지를 인터넷에서 다운 받아서 설치. 참고로 Redis Cluster는 3.0 이상 버전부터 지원 가능합니다. 아래는 레디스 3.0.0을 다운 받아서 설치하는 명령어의 예이며 만약 더 최신 버전을 원하시면 http://download.redis.io/releases 페이지에 들어가셔서 최신 패키지 정보를 얻으셔서 다운 받으시면 됩니다. 
1. mkdir build && cd build
   wget http://download.redis.io/releases/redis-3.0.0.tar.gz
   tar -xvfz redis-3.0.0.tar.gz
   cd redis-3.0.0/
3.  아래의 패키지들을 yum을 이용해서 설치
1.  yum install gem ruby ruby-devel ruby gems redis-stat rpm-build

설치 단계

1. Redis Cluster용 설정파일 생성
1.  기존의 설정파일인 ‘redis.conf’를 수정해서 사용해도 되나 우선 불필요한 설정들도 많고 Redis를 한 서버에서만 사용하게 되면 (클러스터 모드가 아닌) 다시 수정을 해야 하기 때문에 클러스터용 설정 파일을 새로 생성해서 사용하는게 좋습니다. (예를 들어 파일명은 ‘redis-cluster.conf’) 클러스터용 설정 파일의 예는 아래와 같습니다.
       port 6379
       cluster-enabled yes
       cluster-config-file nodes.conf
       cluster-node-timeout 5000
       append only yes
2.  위의 설정파일을 이용해서 Redis Server 시작. 만약 클러스터 모드로 정상적으로 시작되었다면 서버 시작 후에 ‘Running in cluster mode’라는 글을 확인할 수 있습니다. 
1. src/redis-server redis-cluster.conf
3.  위의 두 사항을 클러스터에 포함될 다른 서버들에 반복해서 수행합니다. 
4.  위의 과정을 거쳐 클러스터 모드로 시작된 Redis Server들을 아래의 명령어 실행을 통해 연결합니다. 참고로 이 과정은 하나의 서버에서만 수행하면 됩니다. 예를 들어 클러스터를 형성할 서버 A, B, C가 있다고 가정하면 A에서만 아래의 명령어를 실행하면 클러스터가 바로 형성되기 때문에 같은 작업을 B랑 C에서 반복적으로 할 필요가 없습니다. 
1. src/redis-cli -p 6379 CLUSTER MEET 192.168.3.105 6379
2. 참고로 위의 명령어는 서버 B의 IP가 192.168.3.105 이고 서버 A에서 클러스터를 형성한 경우의 예입니다.
5.  ‘redis-trib.rb’라는 Redis 패키지에서 제공하는 유틸리티 프로그램을 이용해서 아래의 명령어를 실행해서 slot들을 할당합니다. 참고로  이 절차는 총 16384개의 슬롯을 오픈하고 오픈된 슬롯들을 클러스터 서버에 N 등분 해서 (여기서 N은 클러스터에 등록된 서버수) 할당하는 과정입니다. 
1. src/redis-trib.rb create 192.168.2.105:6379 192.168.3.105:6379
6. 만약 5번 실행 중 문제가 발생했다면 아래의 명령어들을 서버 A에서 실행해보세요. 
1. for slot in {0..5400}; do redis-cli -h 192.168.2.105 -p 6379 CLUSTER ADDSLOTS $slot; done;
2. for slot in {5400..10800}; do src/redis-cli -h 17.198.30.160 -p 6379 CLUSTER ADDSLOTS $slot; done;
3. for slot in {10801..16383}; do src/redis-cli -h 17.198.30.157 -p 6379 CLUSTER ADDSLOTS $slot; done;
7.  References
1. http://redis.io/topics/cluster-tutorial
2. https://www.digitalocean.com/community/tutorials/how-to-configure-a-redis-cluster-on-centos-7
3. https://www.javacodegeeks.com/2015/09/redis-clustering.html
4. https://ilyabylich.svbtle.com/redis-cluster-quick-overview

Redis(레디스) 3.0 설치 (CentOS 6.5 64-bit)

Redis 설치

1. Redis 설치 전에 필요한 패키지
• $ yum install tcl*
2. 가장 최신 버전의 Redis 다운로드 및 컴파일
• $ wget http://download.redis.io/redis-stable.tar.gz
• $ tar xvzf redis-stable.tar.gz
• $ cd redis-stable
• $ make
• $ make install
3.  Redis 서버 시작
1. 기본 설정을 이용한 서버 시작: 간단한 테스트나 개발 환경에서만 사용을 추천하며 프로덕션 레벨에서의 사용은 추천하지 않습니다.
• $ redis-server
2. 설정파일과 함께 서버 시작: 설정 파일은 보통 Redis를 설치한 폴더에 포함이 되어 있습니다. 예를 들어 '/opt' 폴더에 설치했을 때는 '/opt/redis-stable/redis-conf'와 같은 형태로 포함해야 합니다.
• $ redis-server ../redis-stable/redis-conf
4. Redis 패키지와 함께 제공되는 클라이언트 프로그램을 이용한 간단한 테스트
• $ src/redis-cli
• 127.0.0.1:6379>ping
• PONG
• 127.0.0.1:6379> set foo bar
• OK
• 127.0.0.1:6379> get foo
• "bar"
5. Sources:
1. http://redis.io/download
2. http://briansnelson.com/How_to_install_Redis_on_a_Centos_6.4_Server
3. http://blog.andolasoft.com/2013/07/how-to-install-and-configure-redis-server-on-centosfedora-server.html

TURN 서버 설치

TURN 서버란?
TURN 서버는 Traversal Using Relays around NAT의 줄임말로 간단히 이야기 하자면 미디어 스트림을 Relay하는 Relay Server입니다. TURN 서버는 STUN 서버와 같이 WebRTC 어플리케이션에서 Firewall/NAT 문제를 해결할 때 사용되며 TURN 서버의 프로토콜에 대한 자세한 사항은 RFC 5766에 기술되어 있으니 참조바랍니다. (http://tools.ietf.org/html/rfc5766)

• TURN 서버 설치 전에 필요한 것

• CentOS 6.5 (64-bit)가 설치된 시스템 (또는 VM)
• 최신 버전의 'libevent' 라이브러리 다운로드, 빌드, 인스톨
• Download libevent from its github: https://github.com/libevent/libevent
• tar xvfz libevent-[latest-version].tar.gz
• cd libevent-[latest-verstion]
• ./configure
• make
• make install 

• TURN 서버 다운로드
• 웹사이트: https://code.google.com/p/rfc5766-turn-server/wiki/newDownloadsSite?tm=2
• 예: turnserver-3.2.3.94-CentOS6.5-x86_64.tar.gz (이 블로그에서는 이 패키지를 사용해서 설명하겠습니다.)

• TURN 서버 빌드와 인스톨
• 다운로드 받은 패키지를 '/opt' 폴더로 이동 후 압축해제
•  mv turnserver-3.2.3.94-CentOS6.5-x86-64.tar.gz /opt
• tar xvfz turnserver-3.2.3.94-CentOS6.5-x86-64.tar.gz
• 압축을 푼 패키지의 폴더로 이동한 후 TURN 서버를 인스톨
• cd turnserver-3.2.3.94-CentOS6.5-x86-64
• ./install.sh
• Long term credential 정보 추가
• '/etc/turnserver/' 폴더에 생성된 'turnuserdb.conf' 파일에 'long term credential' (긴 기간 인증) 정보를 추가 (아래의 turnuserdb.conf 예 참조)
• TURN 서버 시작
• TURN 서버를 아래와 같은 옵션과 함께 시작
• turnserver -v -a -r -n --userdb=/etc/turnserver/turnuserdb.conf
• Sources
• https://code.google.com/p/rfc5766-turn-server/
• http://www.dialogic.com/den/developer_forums/f/71/t/10238.aspx
• turnuserdb.conf의 예

#This file can be used as user accounts storage for long-term credentials  #mechanism. # #username1:key1 #username2:key2 # OR: Isley:abcd1234 #username1:password1 #username2:password2 # # Keys must be generated by turnadmin utility. The key value depends # on user name, realm, and password: # # Example: # $ turnadmin -k -u ninefingers -r north.gov -p youhavetoberealistic # Output: 0xbc807ee29df3c9ffa736523fb2c4e8ee # ('0x' in the beginning of the key is what differentiates the key from # password. If it has 0x then it is a key, otherwise it is a password). # # The corresponding user account entry in the userdb file will be: # #ninefingers:0xbc807ee29df3c9ffa736523fb2c4e8ee # Or, equivalently (less secure): #ninefingers:youhavetoberealistic #

SonarQube 설치 (CentOS 6.5 64-bit)

1. SonarQube 설치 전에 필요한 것
1. CentOS 6.5 (64-bit)가 설치된 시스템 (또는 VM)
2. Java 설치 (최소 1.6 버전 이상)
2. SonarQube 설치
1. http://www.sonarqube.org/downloads 에서 최신 버전 다운로드 (이 포스트에서는 4.3.2 버전이 사용되었습니다.)
2. 압축을 푼 후 '/opt' 폴더로 이동
3. PostgreSQL 설치 
1. SonarQube를 사용하기 위해서는 기본적으로 DB가 설치 되어 있어야 하며 이 포스트에서는 PostgreSQL을 사용하도록 하겠습니다. 
2. Dependency 관련 문제 발생을 막기 위해 '/etc/yum.repos.d/CentOS-Base.repo' 파일에 있는 '[base]' 부분과 '[update]' 부분에 아래의 라인을 추가.
1. exclude=postgresql*
3. CentOS 6 64-bit 버전용 PostgreSQL 9.3의 PGDG RPM 파일 인스톨
1. yum localinstall http://yum.postgresql.org/9.3/redhat/
rhel-6-x86_64/pgdg-centos93-9.3-1.noarch.rpm
2. 추가설명: 이 버전은 2014년 9월 현재 가장 최신 버전이며 만약 더 나중 버전이
나왔다면 그 버전의 RPM 파일을 인스톨 하시기 바랍니다. 
4. PostgreSQL 인스톨
1. 아래의 명령어를 이용해서 인스톨 가능한 poastgreSQL 패키지들을 출력한 후
1. yum list postgres*
2. 가장 최근의 stable한 버전의 PostgreSQL 패키지를 찾아서 인스톨하면 됩니다.
예를 들어 가장 기본적인 PostgreSQL 9.3 Server 패키지를 인스톨하려고 한다면
아래의 명령어를 실행하세요. 
1. yum install postgresql93-server
4. PostgreSQL JDBC 드라이버 다운로드
1. 웹사이트 (https://wiki.postgresql.org/wiki/YUM_Installation)에서 JDBC4
Postgresql 드라이버를 다운로드하세요.
2. 다운로드 받은 드라이버를 '/opt/sonarqube-4.3.2/extensions/jdbc-driver/postgresql' 폴더로 옮기고 기존에 있던 'postgresql-[version].jebc4.jar' 파일은 삭제를 하세요. (참고로 sonarqubu-4.3.2는 postgresql-9.1-901-1.jdbc4.jar를 기본으로 포함하고 있습니다.)
5. 'root' 아이디로 'sonar' 아이디 생성
1. adduser sonar
   passwd sonar
   New password: sonar
   Retype new password: sonar
6. 'sonarqube' 폴더의 owner를 새로 생성한 'sonar'로 변환
1. chown -R sonar /opt/sonarqube-4.3.2
7. PostgreSQL 셋팅 설정
1. PostgreSQL 설정 파일을 다른 네트워크나 웹서버에서 유저 아이디와 패스워드를 이용해서 접속할 수 있도록 변경
1. vim /var/lib/pgsql/9.3/data/pg_hba.conf
2. pg_hba.conf 파일의 'local'과 'host'의 method 부분을 아래와 같이 'trust'로 변경
3. local all all              trust
   host  all all 127.0.0.1/32 trust
2. PostgreSQL 서비스를 시작하고 유저를 'postgres'로 변경
1. service postgresql-9.3 start
   su - postgres
3. PostgreSQL에 접속(실행)한 후 PostgreSQL 안에서 새 유저 sonar를 생성한 후 실행 종료
1. psql
   postgres=# CREATEUSER -d sonar;
   postgres=# CREATE DATABASE sonar OWNER sonar;
   postgres=# ALTER USER sonar SET search_path to sonar;
   postgres=# \q
4. 리눅스 시스템에서 유저를 'sonar'로 변경한 후 PostgreSQL을 다시 실행하고 'sonar' 스키마를 생성
1. su - sonar
   psql
   sonar=# CREATE SCHEMA sonar;
   sonar=# \q
8. SonarQube 셋팅 설정
1. '/opt/sonarqube-4.3.2/conf/sonar.properties' 에 있는 파일에 있는 데이터베이스 관련 설정을 아래와 같이 변경
1. sonar.jdbc.username=sonar
   sonar.jdbc.password=sonar
   sonar.jdbc.url=jdbc:postgresql://localhost/sonar
9.  SonarQube 서비스 시작
1. /opt/sonarqube-4.3.2/bin/sonar.sh start
10. SonarQube의 웹 UI 화면 Access

1. 웹브라우저에서 http://localhost:9000 을 입력하면 아래와 같은 화면이 나옵니다. 
2. 
   
11. Troubleshooting
1. Firewall 문제
1. 만약 웹 UI에 접속이 안된다면 리눅스 시스템의 Firewall을 아래의 리눅스 커맨드를 이용해서 disable한 후에 다시 시도하세요
1. service iptables stop
12. Sources
1. http://docs.codehaus.org/display/SONAR/Requirements
2. https://wiki.postgresql.org/wiki/YUM_Installation
3. http://www.cyberciti.biz/faq/psql-fatal-ident-authentication-failed-for-user/ 
4. http://docs.codehaus.org/display/SONAR/Installing