daiyongjun

Hive 中的表对应为 HDFS 上的指定目录，在查询数据时候，默认会对全表进行扫描，这样时间和性能的消耗都非常大。 分区为 HDFS 上表目录的子目录，数据按照分区存储在子目录中。如果查询的 where 字句的中包含分区条件，则直接从该分区去查找，而不是扫描整个表目录，合理的…

近期需要通过业务日志，统计出业务使用数据的分布情况，业务日志的数据格式如下，数据量大约是三百万。想借助hive的数据处理能力，通过解析url字段中的starttime字段，并通过对starttime聚合，分析出使用的数据分布情况。由于案例样本比较大，样本不方便提供，本文章只使用…

yum工具是基于rpm的，其一个重要的特性就是可以自动解决依赖问题。但是yum的本质依旧是把后缀名.rpm的包下载到本地，然后按次序安装之。但是每次执行yum install xxx，会自动安装并且安装完毕后把rpm包自动删除。而且有的yum源速度真的很慢每次都需要重复下载特别…

当阅读本书时，将会遇到有关 Elasticsearch 分布式特性的补充章节。这些章节将介绍有关集群扩容、故障转移(集群内的原理) 、应对文档存储(分布式文档存储) 、执行分布式搜索(执行分布式检索) ，以及分区（shard）及其工作原理(分片内部原理) 。以下内容会以章节内容…

目前安装大数据集群环境有三种方式，第一种方式是基于Apache开源社区也就是tar包，如我们之前的章节提及的HDFS和YARN等组件的安装。第二种方式和第三种方式基于第三方组件【部分功能收费】，分别是Clouder Manager和HDP的方式，由于目前Clouder Mana…

目前主流的云服务器很多，可是我自己免费认领的云服务器在好久之前就已经到期，当续费看到动不动一年好几千块，想想还是算了，正好自己家里也有闲置的电脑不使用，于是就决定使用花生壳进行内网穿透将它变成云服务。

目前安装大数据集群环境有三种方式，第一种方式是基于Apache开源社区也就是tar包，如我们之前的章节提及的HDFS和YARN等组件的安装。第二种方式和第三种方式基于第三方组件【部分功能收费】，分别是Clouder Manager和HDP的方式，由于目前Clouder Mana…