李阿九

在部署了定时的抽数计划后，发现有时候V\P\N会断开导致抽数失败，因此结合了网上的脚本，修改了一下。 在每个节点上配置了v\p\n-keeper脚本，由主节点上的v\p\n-on脚本启动。 原理是，每20秒进行一次ping结果的轮询，$?代表前一个指令的返回结果。如果返回是0无…

不确定的情况下，请先备份，再开始行动。

因为机房服务器维护，宿主机的网关被修改了。所以相应的虚拟机的IP也需要修改，但是不需要修改HOST。 已经与机房协商好静态IP地址，直接修改即可。 如果server_host的值不是HOST_NAME而是IP，则需要修改。

--accelerate --graphics=none #KVM或KQEMU内核加速,这个选项是推荐最好加上。如果KVM和KQEMU都支持，KVM加速器优先使用。 迁移前，镜像都保存在/opt目录下，目标是把它们转移到/home目录下。

Spark1.6不支持Python3.5以上的版本，因此计划配置虚拟环境。 上传至/tmp目录，并执行。 4月10日，只在主节点上配置了虚拟环境，其他两台机器并未配置。 5月20日，已经在子节点上配置了虚拟环境。 在虚拟环境中，已经可以运行spark。 通过rsync和脚本分发…

上传CSD包到所有节点上的/opt/cloudera/csd目录，并且修改文件的用户和组。注意如果本目录下有其他的jar包，把它们删掉或者移到其他目录。csd包放在/opt/cloudera/csd目录才能被识别。 上传3个文件到主节点的/opt/cloudera/parcel…

读取LZO文件时，需要先创建索引，才可以进行切片。 Apache：运维麻烦，需要自己调研兼容性。 CDH：国内使用最多，不开源，已开始收费。老版本不再进行组件后续兼容性的更新。 HDP：开源，不稳定，已被CDH收购，合并为CDP。 128G内存，20核物理CPU，40线程，8T…

CDHhdstart/stauts/stopairflow登陆airflow用户/root/bin/afLinux查找文件Hive查询表的最后修改时间时间转换https://tool.chinaz.c

本文档将展示如何部署数据仓库以及简单展示其使用场景和方式。 Airflow是一个编排、调度和监控workflow的平台，由Airbnb开源，现在在Apache Software Foundation 孵化。airflow 将workflow编排为tasks组成的DAGs，调度器…