huan1993

最近在学习Hadoop的MapReduce，此处记录一下如何实现 `TopN` 的效果，以及在MapReduce中如何实现 `自定义分组`。...

Hadoop MapReduce 是一个 分布式计算框架，用于轻松编写分布式应用程序，这些应用程序以可靠，容错的方式并行处理大型硬件集群（数千个节点）上的大量数据...

在我们系统发布生产环境时，有时为了确保新的服务逻辑没有问题，会让一小部分特定的用户来使用新的版本（比如客户端的内测版本），而其余的用户使用旧的版本，那么这个在Spring ...

我们知道，在hdfs中，我们的数据是以block块存储在我们的磁盘上的，那么默认情况下，它是以密文存储的，还是以明文存储的呢？如果是明文存储的，那么是否就不安全呢？那么在h...

一、吐槽的话 相信听过DDD的人有很大一部分都不知道这玩意具体是干嘛的，甚至觉得它有那么一些虚无缥缈。原因之一是但凡讲DDD的，都是一堆特别高大上的概念，然后冠之以一堆让人...

在我们开发的过程中有这么一种场景， `/projectA` 目录是 `hadoopdeploy`用户创建的，他对这个目录有`wrx`权限，同时这个目录属于`supergro...

我们知道，在mac系统上删除文件，一般情况下是可以进入 废纸篓里的，如果此时我们误删除了，还可以从 废纸篓中恢复过来。那么在hdfs中是否存在类似mac上的废纸篓这个功能呢...

此处简单的记录一下在 oracle中如何使用plsql语法(变量、存储过程、游标、包等等)，记录一些简单的例子，防止以后忘记,....

当我们的hadoop集群运行了一段时间之后，原有的数据节点的容量已经不能满足我们的存储了，这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容...

在我们的hadoop集群运行一段过程中，由于多种原因，数据在DataNade的磁盘之间的分布可能是不均匀。**比如：** 我们刚刚给某个DataNode新增加了一块磁盘或者...

当我们的hadoop集群运行了一段时间之后，各个`DataNode`上的`数据分布`并`不一定`是`均匀分布`的。**比如说：** 我们向现有集群中添加了一个新的DataN...

在`HDFS`中，读取操作通常是通过`DataNode`。因此，当客户端要读取文件时，DataNode 会从磁盘上读取文件，然后通过`TCP套接字`将数据发送给客户端。**...

在我们实际的开发过程中，我们的某些数据可能经常使用，但是过了一段时间，这个数据就不怎么使用了，即我们的数据存在一个`热`、`温`、`冷`等这些特性。那么针对`数据的热度`，...

最近用到了Spring Cloud Alibaba开发微服务，在开发的过程中发现，当我们的服务上线或下线的时候，我们的Spring Cloud Gateway需要一段时间才...

在上一节中，我们简单学习了在命令行上如何操作hdfs shell api，此处我们通过java程序来操作一下。...

此处我们通过命令行，简单的学习一下 hdfs file system shell 的一些命令操作，来达到可以在命令行使用。...

最近在学习`hadoop`，本文记录一下，怎样在Centos7系统上搭建一个`3`个节点的`hadoop`集群。...

最近在学习hadoop，此篇文章简单记录一下通过源码来编译hadoop。为什么要重新编译hadoop源码，是因为为了匹配不同操作系统的本地库环境。...