尔以

最常见的作用是Flume 可用于移动大规模批量流数据到HDFS系统。从Web服务器收集当前日志文件数据到HDFS聚集用于分析。 Apache log4j (允许Java应用程序通过Flume事件写入到HDFS文件)。 消费由外部源（如Web服务器）传递给它的事件。外部源以一定的…

好了，说了这么多大家可能光看概念也是云里雾里，所以就直接带大家搭建环境，做一些简单的应用来体会hbase的用法了。 其次把下载的软件放入centerOS7系统下的自己的目录下，我的目录是在/home/mmcc下。然后进入到该目录解压文件 可以发现，集群已经启动成功了。 首先在配…

今天给大家介绍把上次编译出来的ffmpeg文件集成到Android中。本文使用的cmake构建的ndk环境。 通过上篇文章Android-ffmpeg编译so文件，相信大家已经编译出来ffmpeg的头文件和so文件了。 4. 编辑CMakeLists.txt 文件

到这里数据我们已经导入进去了。那这个时候可能就会有人问，hive不是把sql转换成mapreduce吗？为什么我运行 selec * from person很快就出来了。这是因为这个语句只是把存在文件里的内容输出而已，不过会生成mapreduce作业。接下来我们可以做一下条件查…

Android中如果需要用到ffmpeg做视频处理，那么最好的方法就是从头到尾亲自从编译到集成。踏入ffmpeg的第一步自然就是通过编译得到Android中可以用的so文件 请大家按我提供的版本环境进行编译，不然会有很多坑要爬哦。本人就是一路爬坑，最后才编译成功0.0

之前的文章带大家一起从hadoop最开始的搭建，到最终写一个MapReduce结尾，相信大家也基本了解什么是hadoop。当然了现如今的开发，基本少很少有人写MapReduce，因为写起来太麻烦了，又是map，又是reduce，还要写运行的客户端。程序猿们太喜欢偷懒了，所以hi…

通过上篇文章hadoop之旅5-idea通过maven搭建hdfs环境，相信大家都可以在idea上做hadoop访问hdfs文件系统的开发了。一个云盘其实就可以基于这样的系统做出来。有兴趣的大家可以试着自己去实战一下。 今天带大家在本地执行Mapreduce，进行单词个数的统计…

相信大家通过之前的做法都已经搭建起了一个hadoop的开发环境。今天带大家通过java api来访问hdfs文件系统 其实就和java访问文件一样的操作类似，非常简单，不过操作hdfs主要是通过FileSystem类。下面给大家贴一下完整代码

YARN（Yet Another Resource Negotiator）是一个通用的资源管理平台，可为各类计算框架提供资源的管理和调度。 其核心出发点是为了分离资源管理与作业调度/监控，实现分离的做法是拥有一个全局的资源管理器（ResourceManager，RM），以及每个…