Tesop


  • Home

  • Categories

  • Archives

  • Tags

Python非root安装和Python项目环境配置

Posted on 2017-08-14

本文讨论的前提是 Linux 系统下的非 root 权限的多版本, 多项目的 Python 环境配置.

root 权限下, Python 使用出现报错, 那可以 google 对应的错误, 大多数情况下可以找到解决方法;
如果不在系统版本的 Python 下进行开发, 那编译安装所需版本的 Python 就在所难免, 但一定要记住, 不要试图替换当前系统的 Python 版本, 想都不要想, 否则系统可能都会不工作了(血的教训);
实际开发中, 如果项目 1 使用 Python 2.7.12, 项目2 使用 Python 3.6.0, 就得每个都得编译一遍, 还要在跑代码时候, 记得指定具体的路径, pip 时候一定要确认是对应的项目下, 总之, 会有很多坑.

而 Python 多版本依赖工具就可以将上述的问题做最大的简化, 本文也是在解决上面坑的时候积累得到的.

Read more »

大数据项目架构概述

Posted on 2017-02-26

前言

其实, 本文更应该写成一篇2016年工作总结的, 无奈, 精神拖延, 身体懒惰, 迟迟未能着手. 恰逢周末, 遂总结下自己工作以来的一些经验和看法, 因为这几年一直做大数据系统的开发, 就勉强起名–我的”大数据项目架构概述”.

Read more »

MySQL 编号及排序问题

Posted on 2017-02-19

本文主要是介绍 MySQL 输出结果时的 Record 的序号问题,及排序问题 包括 严格递增, 重复不连续, 重复连续等。

Read more »

MySQL 主从一致介绍

Posted on 2016-09-03

MySQL Replication 可以用于数据备份,负载平衡,高可用,容错等。基本方式是,将 master 的数据(包括 SQL等)同步复制到 slave(s), 并重新执行。master 会将所有的改变以 binlog 文件保存,并异步传输到 slave 端。这样做的好处包括:

  • 扩展解决方案:在多个 slave 负载分布,提高性能。
  • 数据安全: 我们可以在不打断master上的数据请求的情况下,在 slave 可以暂停 replication 进程,从而完成数据的备份。
  • 分析:数据在master上创建,一些数据分析的工作在slave上进行,这不影响master的性能。
  • 远距离的数据分布: 就近使用 slave 数据,而不是每次请求远端 master。
Read more »

Linux Bash 实用方法

Posted on 2016-08-28

本文总结作者在 Linux 下日常操作命令及实用方法。

统计目录(或文件)所占磁盘空间的大小 — du

1
du -sh $path

硬盘检测 — omreport

1
2
omreport storage pdisk controller=0 |grep ^Status
omreport storage vdisk controller=0
Read more »

AWK 实用方法

Posted on 2016-08-28

自从被安利了 AWK 后,对基本的统计,计算逻辑不是特别复杂的任务,首先想到的是用 AWK 来处理,跟其它的语言比,它开发速度快,使用灵活。本文不会对 AWK 做系统的介绍,主要是记录自己在日常工作中常用的一些方法,假定读者已经了解 AWK 的基本语法。详细介绍见 GAWK 手册 或者 man awk。

Read more »

数据平台安装配置-HBase

Posted on 2016-08-06   |   In 数据平台安装配置

前提: Hadoop, zookeeper 提前安装完成.

Read more »

数据平台安装配置-SparkSQL with Hive

Posted on 2016-08-06   |   In 数据平台安装配置

SparkSQL 与 Hive 整合

前提: 已经配置好 Hive, Spark.

配置 SparkSQL 数据源

Read more »

数据平台安装配置-Hive

Posted on 2016-08-06   |   In 数据平台安装配置

前提: Hadoop 提前安装完成, 相关依赖包已安装. Mysql 5.5+ 已安装.

Read more »

数据平台安装配置-Storm

Posted on 2016-08-05   |   In 数据平台安装配置

前提: ZooKeeper 提前安装完成, 相关依赖包已安装.

Read more »
123
Tesop

Tesop

21 posts
1 categories
26 tags
© 2017 Tesop
Powered by Hexo
Theme - NexT.Mist