数据平台安装配置-Storm

Posted on   |   In

前提: ZooKeeper 提前安装完成, 相关依赖包已安装.

Storm 安装

解压压缩文件到 ~/workspace 下

修改环境变量

1
2
3
4
$ vim ~/.bashrc
    export STORM_HOME=/home/hadoop/workspace/storm-0.9.5  
    export CLASSPATH=.:$STORM_HOME/lib:$CLASSPATH
    export PATH=$STORM_HOME/bin:$PATH

配置生效:

1
source ~/.bashrc

修改 Storm 配置

配置文件在 ~/workspace/storm-0.9.5/conf

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
$ vim storm.yaml
    ## Storm集群使用的Zookeeper集群地址
    storm.zookeeper.servers:
        - "h16"
        - "h17"
        - "h18"
    storm.zookeeper.port: 2181
    ## Storm集群Nimbus机器地址,各个Supervisor工作节点需要知道哪个机器是Nimbus,以便下载Topologies的jars,confs等文件
    nimbus.host: "h16"
    storm.local.dir: "/home/data/storm/data"    
    
    ## 对于每个Supervisor工作节点,需要配置该工作节点可以运行的worker数量.
    ## 每个worker占用一个单独的端口用于接收消息,该配置选项即用于定义哪些
    ## 端口是可被worker使用.默认情况下,每个节点上可运行4个workers,分别在6700, 6701, 6702和6703端口上.
    supervisor.slots.ports:
        - 6700
        - 6701
        - 6702
        - 6703

将 .bashrc 和 storm-0.9.5 分发到各个 Superviser 服务器上。

Storm 启动

  1. 在 Nimbus (h16) 上启动 nimbus:

    1
    storm nimbus >dev/null 2> &1 &

  2. 在 Supervisor(h16, h17, h18) 上启动 supervisor:

    1
    storm supervisor >/dev/null 2>&1 &

  3. 在 Nimbus (h16) 上启动 UI:

    1
    storm ui >/dev/null 2>&1 &

  1. 验证启动情况:

    在 Nimbus 服务器上查看(匹配 80%)

    1
    2
    jps  # h16
    28264 nimbus

在 Supervisor 服务器上查看(匹配 80%)

1
2
jps  # h16
13684 supervisor

参考资料

Storm集群安装部署步骤

github.com/nathanmarz/storm-deploy