ZooKeeper 不存在明显的 master/slave 关系, 如果 leader 出现故障, 剩下的 follower 会从他们之中选出一个新的 leader. 各个 zk 服务器没有主从关系, 需要单独启动, 它们之间通过TCP端口来交换数据。

前提: 对应的 Scala 版本已安装, ZooKeeper 已启动.

前提: Hadoop on YARN 提前安装完成

Scala 安装

Read more »

Java 安装

安装路径:

解压压缩文件到 `~/workspace/` 下

修改环境变量:

1
2
3
4

$ vim ~/.bashrc
    export JAVA_HOME=$HOME/workspace/jdk1.7.0_75
    export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
    export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

本系列总结主流的大数据平台工具安装配置步骤及遇到的问题, 包括

• Hadoop
• Spark
• Zookeeper
• Kafka
• Storm
• Hive
• SparkSQL
• HBase

本文主要是进行安装前的准备工作，包括修改服务器配置，SSH 免密码登录。

现在手头任务，需要将一台服务器A 文件压缩远程传输到另外一台服务器B，随后解压处理。运行一段时间后，在服务器 B 运行日志中出现

1
2

tar: 20160801003002predaily/part-r-00037：时间戳 2016-08-01 00:44:13 是未来的 430.123989174 秒之后
tar: 20160801003002predaily/part-r-00038：时间戳 2016-08-01 00:44:13 是未来的 430.123842422 秒之后

文件仍然正常解压，出现原因是A,B 服务器时间不一致，但不影响使用。

解决这个问题的方法有两种，既然是服务器时间不一致，那修改为一致就可以了。方法有两种，

1. 手动同步: date + hwclock
2. 自动同步: ntpdate

任务描述

每天定时对 Mysql 数据统计，然后将结果(.csv 文件)以附件形式邮件发送给指定人员

基本思路

bash 脚本将结果写到制定路径，然后 mail 附件发送，基于 crontab 定时执行

一直以来，定时任务一直使用 Spring 的 @Sheduled 注解来执行，但总是遇到各种问题，导致任务挂掉。而不同的应用场景，使用的方案也不尽相同。

代码大体框架

• ScheduledComponent ： 任务组件模块，包括 service，dao 等底层处理逻辑。
• ScheduledWorker：任务处理模块，完成任务的完整逻辑。
• ScheduledJob：定时任务启动模块。
  Read more »

项目的 Mysql 数据库前期设置为主从，主写从读。一段时间后，出现主从数据不一致的问题。本文记录了问题排查和解决方案。

本文记录基于 Python3+, Flask, Nginx, uWSGI,MySQL 搭建的 Web 应用遇到的问题。

软件依赖

• Python :: >=3.4
• pip :: >=7.1.2
• Flask :: = 0.11.1
• Flask-Script :: =2.0.5
• Nginx :: >=1.0.15
• uWSGI :: = 2.0.12-2.el6
• MySQL :: >=5.5.37
  Read more »