本文讨论的前提是 Linux 系统下的非 root 权限的多版本, 多项目的 Python 环境配置.

root 权限下, Python 使用出现报错, 那可以 google 对应的错误, 大多数情况下可以找到解决方法;
如果不在系统版本的 Python 下进行开发, 那编译安装所需版本的 Python 就在所难免, 但一定要记住, 不要试图替换当前系统的 Python 版本, 想都不要想, 否则系统可能都会不工作了(血的教训);
实际开发中, 如果项目 1 使用 Python 2.7.12, 项目2 使用 Python 3.6.0, 就得每个都得编译一遍, 还要在跑代码时候, 记得指定具体的路径, pip 时候一定要确认是对应的项目下, 总之, 会有很多坑.

而 Python 多版本依赖工具就可以将上述的问题做最大的简化, 本文也是在解决上面坑的时候积累得到的.

前言

其实, 本文更应该写成一篇2016年工作总结的, 无奈, 精神拖延, 身体懒惰, 迟迟未能着手. 恰逢周末, 遂总结下自己工作以来的一些经验和看法, 因为这几年一直做大数据系统的开发, 就勉强起名–我的”大数据项目架构概述”.

本文主要是介绍 MySQL 输出结果时的 Record 的序号问题，及排序问题 包括 严格递增， 重复不连续， 重复连续等。

MySQL Replication 可以用于数据备份，负载平衡，高可用，容错等。基本方式是，将 master 的数据(包括 SQL等)同步复制到 slave(s), 并重新执行。master 会将所有的改变以 binlog 文件保存，并异步传输到 slave 端。这样做的好处包括：

• 扩展解决方案：在多个 slave 负载分布，提高性能。
• 数据安全： 我们可以在不打断master上的数据请求的情况下，在 slave 可以暂停 replication 进程，从而完成数据的备份。
• 分析：数据在master上创建，一些数据分析的工作在slave上进行，这不影响master的性能。
• 远距离的数据分布： 就近使用 slave 数据，而不是每次请求远端 master。

本文总结作者在 Linux 下日常操作命令及实用方法。

统计目录(或文件)所占磁盘空间的大小 — du

1

du -sh $path

硬盘检测 — omreport

1
2

omreport storage pdisk controller=0 |grep ^Status
omreport storage vdisk controller=0

自从被安利了 AWK 后，对基本的统计，计算逻辑不是特别复杂的任务，首先想到的是用 AWK 来处理，跟其它的语言比，它开发速度快，使用灵活。本文不会对 AWK 做系统的介绍，主要是记录自己在日常工作中常用的一些方法，假定读者已经了解 AWK 的基本语法。详细介绍见 GAWK 手册 或者 man awk。

前提: Hadoop, zookeeper 提前安装完成.

SparkSQL 与 Hive 整合

前提: 已经配置好 Hive, Spark.

配置 SparkSQL 数据源

Read more »

前提: Hadoop 提前安装完成, 相关依赖包已安装. Mysql 5.5+ 已安装.

前提: ZooKeeper 提前安装完成, 相关依赖包已安装.