数据平台安装配置

Posted on   |   In

本系列总结主流的大数据平台工具安装配置步骤及遇到的问题, 包括

  • Hadoop
  • Spark
  • Zookeeper
  • Kafka
  • Storm
  • Hive
  • SparkSQL
  • HBase

本文主要是进行安装前的准备工作，包括修改服务器配置，SSH 免密码登录。

准备工作

服务器配置

IP hostname memory role
192.168.1.136 h16 64G master,slave
192.168.1.137 h17 16G slave
192.168.1.138 h18 16G slave

软件版本

SSH Without password

所有服务器相同的操作步骤

修改 Hostname

查看 Hostname:

1
$ hostname

修改 Hostname:

1
$ vim /etc/sysconfig/network

增加新用户

在每台服务器上创建新用户:

1
$ useradd hadoop

或

1
$useradd -d /home/hadoop hadoop

问题: 配置完成后, 出现 ssh hostname, ssh localhost 不成功.

原因: 创建用户时, 没有注意当前 Home 目录是否存在, 导致出现问题.

解决: root 权限下, 删除用户,及相应的文件,重新创建创建. 

`ssh -vvv localhost` 查看 log; 
`useradd user` 与 `useradd user -d home -m user` 的区别: 需要注意参数含义; 
`userdel -r user`: 删除用户及对应的 Home 目录, 如果当前用户处于登陆状态, 则删除失败. 
`userdel -f user`: 强制删除用户及对应 Home 目录, 即使当前用户处于登陆状态.

配置 hosts 文件

/etc/hosts 是用来配置主机将用的DNS服务器信息，是记载LAN内接续的各主机的对应 HostName 和 IP 用的。
增加 ip 与 host 的对应: 

1
2
3
4
5
$ vim /etc/hosts
   192.168.1.136 h16
   192.168.1.137 h17
   192.168.1.138 h18

保证服务器可以相互 ping 通:

1
$ ping h16

SSH 无密码登陆

保证已安装 ssh 和 rsync.

  1. Home 目录下 创建 .ssh 文件夹, 并保证 hadoop 用户的完全控制权限

    1
    2
    mkdir .ssh
    chmod 700 .ssh

  2. .ssh 路径下生成公钥和私钥

    1
    ssh-keygen -t rsa

  3. 将公钥添加到 authorized_keys 中

    1
    2
    3
    cat id_rsa.pub >> authorized_keys
    chmod 644 authorized_keys

  4. root 用户修改 ssh 配置文件

    1
    2
    3
    4
    5
    6
    7
    $ vim /etc/ssh/sshd_config
    RSAAuthentication yes # 启用 RSA 认证
    PubkeyAuthentication yes # 启用公钥私钥配对认证方式
    AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）

  5. 查看 ssh 的 状态

    1
    ssh localhost

  6. 将 id_rsa.pub 中 添加到 其他服务器的 authorized_keys 中