前言
在開(kāi)始之前，需要說(shuō)明下，storm和kafka集群安裝是沒(méi)有必然聯(lián)系的，我將這兩個(gè)寫(xiě)在一起，是因?yàn)樗麄兌际怯蓏ookeeper進(jìn)行管理的，也都依賴于jdk的環(huán)境，為了不重復(fù)再寫(xiě)一遍配置，所以我將這兩個(gè)寫(xiě)在一起。若只需一個(gè)，只需挑選自己選擇的閱讀即可。下面話不多說(shuō)了，來(lái)一起看看詳細(xì)的介紹吧。
這兩者的依賴如下:
- storm集群：jdk1.8 , zookeeper3.4，storm1.1.1；
- kafa集群 : jdk1.8 ，zookeeper3.4 ，kafka2.12；
說(shuō)明: storm1.0 和kafka2.0對(duì)jdk要求是1.7以上，zookeeper3.0以上。
下載地址:
- Zookeeper：https://zookeeper.apache.org/releases.html
- Storm: http://storm.apache.org/downloads.html
- Kafka: http://kafka.apache.org/downloads
jdk安裝
每臺(tái)機(jī)器都要安裝jdk！！！
說(shuō)明: 一般centos自帶了openjdk，但是我們這里使用的是oracle的jdk。所以要寫(xiě)卸載openjdk，然后再安裝在oracle下載好的jdk。如果已經(jīng)卸載，可以跳過(guò)此步驟。
首先輸入 java -version
查看是否安裝了jdk，如果安裝了，但版本不適合的話，就卸載
輸入
|
1
|
rpm -qa | grep java |
查看信息
然后輸入:
|
1
|
rpm -e --nodeps “你要卸載jdk的信息” |
如: rpm -e --nodeps java-1.7.0-openjdk-1.7.0.99-2.6.5.1.el6.x86_64
確認(rèn)沒(méi)有了之后，解壓下載下來(lái)的jdk
|
1
|
tar -xvf jdk-8u144-linux-x64.tar.gz |
移動(dòng)到opt/java文件夾中，沒(méi)有就新建，然后將文件夾重命名為jdk1.8。
|
1
2
|
mv jdk1.8.0_144 /opt/javamv jdk1.8.0_144 jdk1.8 |
然后編輯 profile 文件，添加如下配置
輸入:
|
1
|
vim /etc/profile |
添加:
|
1
2
3
4
|
export java_home=/opt/java/jdk1.8export jre_home=/opt/java/jdk1.8/jreexport classpath=.:$java_home/lib/dt.jar:$java_home/lib/tools.jar:$jre_home/libexport path=.:${java_home}/bin:$path |
添加成功之后，輸入
|
1
2
|
source /etc/profilejava -version |
查看是否配置成功
zookeeper 環(huán)境安裝
1，文件準(zhǔn)備
將下載下來(lái)的zookeeper 的配置文件進(jìn)行解壓
在linux上輸入:
|
1
|
tar -xvf zookeeper-3.4.10.tar.gz |
然后移動(dòng)到/opt/zookeeper里面，沒(méi)有就新建，然后將文件夾重命名為zookeeper3.4
輸入
|
1
2
|
mv zookeeper-3.4.10 /opt/zookeepermv zookeeper-3.4.10 zookeeper3.4 |
2，環(huán)境配置
編輯 /etc/profile 文件
輸入:
|
1
2
|
export zk_home=/opt/zookeeper/zookeeper3.4export path=.:${java_home}/bin:${zk_home}/bin:$path |
輸入:
|
1
|
source /etc/profile |
使配置生效
3，修改配置文件
3.3.1 創(chuàng)建文件和目錄
在集群的服務(wù)器上都創(chuàng)建這些目錄
|
1
2
|
mkdir /opt/zookeeper/data mkdir /opt/zookeeper/datalog |
并且在/opt/zookeeper/data目錄下創(chuàng)建myid文件
輸入:
|
1
|
touch myid |
創(chuàng)建成功之后，更改myid文件。
我這邊為了方便，將master、slave1、slave2的myid文件內(nèi)容改為1,2,3
3.3.2 新建zoo.cfg
切換到/opt/zookeeper/zookeeper3.4/conf 目錄下
如果沒(méi)有 zoo.cfg 該文件，就復(fù)制zoo_sample.cfg文件并重命名為zoo.cfg。
修改這個(gè)新建的zoo.cfg文件
|
1
2
3
4
5
|
datadir=/opt/zookeeper/datadatalogdir=/opt/zookeeper/datalogserver.1=master:2888:3888server.2=slave1:2888:3888server.3=slave2:2888:3888 |
說(shuō)明：client port，顧名思義，就是客戶端連接zookeeper服務(wù)的端口。這是一個(gè)tcp port。datalogdir里是放到的順序日志(wal)。而datadir里放的是內(nèi)存數(shù)據(jù)結(jié)構(gòu)的snapshot，便于快速恢復(fù)。為了達(dá)到性能最大化，一般建議把datadir和datalogdir分到不同的磁盤(pán)上，這樣就可以充分利用磁盤(pán)順序?qū)懙奶匦浴atadir和datalogdir需要自己創(chuàng)建，目錄可以自己制定，對(duì)應(yīng)即可。server.1中的這個(gè)1需要和master這個(gè)機(jī)器上的datadir目錄中的myid文件中的數(shù)值對(duì)應(yīng)。server.2中的這個(gè)2需要和slave1這個(gè)機(jī)器上的datadir目錄中的myid文件中的數(shù)值對(duì)應(yīng)。server.3中的這個(gè)3需要和slave2這個(gè)機(jī)器上的datadir目錄中的myid文件中的數(shù)值對(duì)應(yīng)。當(dāng)然，數(shù)值你可以隨便用，只要對(duì)應(yīng)即可。2888和3888的端口號(hào)也可以隨便用，因?yàn)樵诓煌瑱C(jī)器上，用成一樣也無(wú)所謂。
1.ticktime：cs通信心跳數(shù)
zookeeper 服務(wù)器之間或客戶端與服務(wù)器之間維持心跳的時(shí)間間隔，也就是每個(gè) ticktime 時(shí)間就會(huì)發(fā)送一個(gè)心跳。ticktime以毫秒為單位。
ticktime=2000
2.initlimit：lf初始通信時(shí)限
集群中的follower服務(wù)器(f)與leader服務(wù)器(l)之間初始連接時(shí)能容忍的最多心跳數(shù)（ticktime的數(shù)量）。
initlimit=10
3.synclimit：lf同步通信時(shí)限
集群中的follower服務(wù)器與leader服務(wù)器之間請(qǐng)求和應(yīng)答之間能容忍的最多心跳數(shù)（ticktime的數(shù)量）。
synclimit=5
依舊將zookeeper傳輸?shù)狡渌臋C(jī)器上，記得更改 /opt/zookeeper/data 下的myid，這個(gè)不能一致。
輸入:
|
1
2
|
scp -r /opt/zookeeper root@slave1:/optscp -r /opt/zookeeper root@slave2:/opt |
4、啟動(dòng)zookeeper
因?yàn)閦ookeeper是選舉制，它的主從關(guān)系并不是像hadoop那樣指定的，具體可以看官方的文檔說(shuō)明。
成功配置zookeeper之后，在每臺(tái)機(jī)器上啟動(dòng)zookeeper。
切換到zookeeper目錄下
|
1
|
cd /opt/zookeeper/zookeeper3.4/bin |
輸入:
|
1
|
zkserver.sh start |
成功啟動(dòng)之后
查看狀態(tài)輸入:
|
1
|
zkserver.sh status |
可以查看各個(gè)機(jī)器上zookeeper的leader和follower
storm 環(huán)境安裝
1，文件準(zhǔn)備
將下載下來(lái)的storm的配置文件進(jìn)行解壓
在linux上輸入:
|
1
|
tar -xvf apache-storm-1.1.1.tar.gz |
然后移動(dòng)到/opt/storm里面，沒(méi)有就新建，然后將文件夾重命名為storm1.1
輸入
|
1
2
|
mv apache-storm-1.1.1 /opt/storm mv apache-storm-1.1.1 storm1.1 |
編輯 /etc/profile 文件
添加：
|
1
2
|
export storm_home=/opt/storm/storm1.1export path=.:${java_home}/bin:${zk_home}/bin:${storm_home}/bin:$path |
輸入 storm version 查看版本信息
3，修改配置文件
編輯 storm/conf 的 storm.yarm。
進(jìn)行如下編輯:
輸入:
vim storm.yarm
|
1
2
3
4
5
6
7
8
9
10
11
|
storm.zookeeper.servers: - "master" - "slave1" - "slave2"storm.local.dir: "/root/storm"nimbus.seeds: ["master"]supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703 |
說(shuō)明:
1、storm.zookeeper.servers是指定zookeeper的服務(wù)地址。
因?yàn)閟torm的存儲(chǔ)信息在zookeeper上，所以要配置zookeeper的服務(wù)地址。如果zookeeper是單機(jī)就只用指定一個(gè)！
2、storm.local.dir 表示存儲(chǔ)目錄。
nimbus和supervisor守護(hù)進(jìn)程需要在本地磁盤(pán)上存儲(chǔ)一個(gè)目錄來(lái)存儲(chǔ)少量的狀態(tài)（比如jar，confs等等）。可以在每臺(tái)機(jī)器創(chuàng)建，并給于權(quán)限。
3、nimbus.seeds 表示候選的主機(jī)。
worker需要知道那一臺(tái)機(jī)器是主機(jī)候選(zookeeper集群是選舉制)，從而可以下載 topology jars 和confs。
4、supervisor.slots.ports 表示worker 端口。
對(duì)于每一個(gè)supervisor機(jī)器，我們可以通過(guò)這項(xiàng)來(lái)配置運(yùn)行多少worker在這臺(tái)機(jī)器上。每一個(gè)worker使用一個(gè)單獨(dú)的port來(lái)接受消息，這個(gè)端口同樣定義了那些端口是開(kāi)放使用的。如果你在這里定義了5個(gè)端口，就意味著這個(gè)supervisor節(jié)點(diǎn)上最多可以運(yùn)行5個(gè)worker。如果定義3個(gè)端口，則意味著最多可以運(yùn)行3個(gè)worker。在默認(rèn)情況下(即配置在defaults.yaml中)，會(huì)有有四個(gè)workers運(yùn)行在 6700, 6701, 6702, and 6703端口。
supervisor并不會(huì)在啟動(dòng)時(shí)就立即啟動(dòng)這四個(gè)worker。而是接受到分配的任務(wù)時(shí)，才會(huì)啟動(dòng)，具體啟動(dòng)幾個(gè)worker也要根據(jù)我們topology在這個(gè)supervisor需要幾個(gè)worker來(lái)確定。如果指定topology只會(huì)由一個(gè)worker執(zhí)行，那么supervisor就啟動(dòng)一個(gè)worker，并不會(huì)啟動(dòng)所有。
注: 這些配置前面不要有空格！！！，不然會(huì)報(bào)錯(cuò)。 這里使用的是主機(jī)名(做了映射)，也可以使用ip。實(shí)際的以自己的為準(zhǔn)。
可以使用scp命令或者ftp軟件將storm復(fù)制到其他機(jī)器上
成功配置之后，然后就可以啟動(dòng)storm了，不過(guò)要確保jdk、zookeeper已經(jīng)正確安裝，并且zookeeper已經(jīng)成功啟動(dòng)。
4，啟動(dòng)storm
切換到 storm/bin 目錄下
在主節(jié)點(diǎn)(master)啟動(dòng)輸入：
|
1
|
storm nimbus >/dev/null 2>&1 & |
訪問(wèn)web界面(master)輸入:
|
1
|
storm ui |
從節(jié)點(diǎn)(slave1，slave2)輸入:
|
1
|
storm supervisor >/dev/null 2>&1 & |
在瀏覽器界面輸入: 8080端口
成功打開(kāi)該界面，表示環(huán)境配置成功:
kafka的環(huán)境安裝
kafka是一個(gè)高吞吐量的流式分布式消息系統(tǒng)，用來(lái)處理活動(dòng)流數(shù)據(jù)，比如網(wǎng)頁(yè)的訪問(wèn)量pm,日志等，既能夠?qū)崟r(shí)處理大數(shù)據(jù)信息也能離線處理。
1，文件準(zhǔn)備
將下載下來(lái)的kafka的配置文件進(jìn)行解壓
在linux上輸入:
|
1
|
tar -xvf kafka_2.12-1.0.0.tgz |
然后移動(dòng)到/opt/kafka里面，沒(méi)有就新建，然后將文件夾重命名為kafka2.12
輸入
|
1
2
|
mv kafka_2.12-1.0.0 /opt/kafka mv kafka_2.12-1.0.0 kafka2.12 |
2，環(huán)境配置
編輯 /etc/profile 文件
輸入:
|
1
2
|
export kafka_home=/opt/kafka/kafka2.12export path=.:${java_home}/bin:${kafka_home}/bin:${zk_home}/bin:$path |
輸入:
|
1
|
source /etc/profile |
使配置生效
3，修改配置文件
注:其實(shí)要說(shuō)的話，如果是單機(jī)的話，kafka的配置文件可以不用修改，直接到bin目錄下啟動(dòng)就可以了。但是我們這里是集群，所以稍微改下就可以了。
切換到kafka/config 目錄下
編輯server.properties 文件
需要更改的是zookeeper的地址:
找到zookeeper的配置，指定zookeeper集群的地址，設(shè)置如下修改就可以了
|
1
2
|
zookeeper.connect=master:2181,slave1:2181,slave2:2181zookeeper.connection.timeout.ms=6000 |
其它可以選擇更改的有
1 ，num.partitions 表示指定的分區(qū)，默認(rèn)為1
2，log.dirs kafka的日志路徑，這個(gè)按照個(gè)人需求更改就行
...
注:還有其它的配置，可以查看官方文檔，如果沒(méi)有特別要求，使用默認(rèn)的就可以了。
配置好之后，記得使用scp 命令傳輸?shù)狡渌募荷希?/p>
4，啟動(dòng)kafka
集群每臺(tái)集群都需要操作！
切換到kafka/bin 目錄下
輸入:
|
1
|
kafka-server-start.sh |
然后輸入jps名稱查看是否成功啟動(dòng):
成功啟動(dòng)之后，可以進(jìn)行簡(jiǎn)單的測(cè)試下
首先創(chuàng)建個(gè)topic
輸入:
|
1
|
kafka-topics.sh --zookeeper master:2181 --create --topic t_test --partitions 5 --replication-factor 2 |
說(shuō)明: 這里是創(chuàng)建了一個(gè)名為 t_test 的topic，并且指定了5個(gè)分區(qū)，每個(gè)分區(qū)指定了2個(gè)副本數(shù)。如果不指定分區(qū)，默認(rèn)的分區(qū)就是配置文件配置的。
然后進(jìn)行生產(chǎn)數(shù)據(jù)
輸入:
|
1
|
kafka-console-producer.sh --broker-list master:9092 --topic t_test |
可以使用進(jìn)行ctrl+d 退出
然后我們?cè)俅蜷_(kāi)一個(gè)xshell窗口
進(jìn)行消費(fèi)
輸入:
|
1
|
kafka-console-consumer.sh --zookeeper master:2181 --topic t_test --from-beginning |
可以使用進(jìn)行ctrl+c 退出
可以看到數(shù)據(jù)已經(jīng)正常消費(fèi)了。
5，kafka的一些常用命令
1.啟動(dòng)和關(guān)閉kafka
|
1
2
|
bin/kafka-server-start.sh config/server.properties >>/dev/null 2>&1 &bin/kafka-server-stop.sh |
2.查看kafka集群中的消息隊(duì)列和具體隊(duì)列
查看集群所有的topic
|
1
|
kafka-topics.sh --zookeeper master:2181,slave1:2181,slave2:2181 --list |
查看一個(gè)topic的信息
|
1
|
kafka-topics.sh --zookeeper master:2181 --describe --topic t_test |
3.創(chuàng)建topic
|
1
|
kafka-topics.sh --zookeeper master:2181 --create --topic t_test --partitions 5 --replication-factor 2 |
4.生產(chǎn)數(shù)據(jù)和消費(fèi)數(shù)據(jù)
|
1
|
kafka-console-producer.sh --broker-list master:9092 --topic t_test |
ctrl+d 退出
|
1
|
kafka-console-consumer.sh --zookeeper master:2181 --topic t_test --from-beginning |
ctrl+c 退出
5.kafka的刪除命令
|
1
|
kafka-topics.sh --delete --zookeeper master:2181 --topic t_test |
6,添加分區(qū)
|
1
|
kafka-topics.sh --alter --topict_test --zookeeper master:2181 --partitions 10 |
其它
storm環(huán)境搭建參考官方文檔:http://storm.apache.org/releases/1.1.1/setting-up-a-storm-cluster.html
kafka環(huán)境搭建參考官方文檔:http://kafka.apache.org/quickstart
總結(jié)
以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，如果有疑問(wèn)大家可以留言交流，謝謝大家對(duì)服務(wù)器之家的支持。
原文鏈接：http://www.cnblogs.com/xuwujing/p/8361629.html
