宝哥大数据

  任何文件系统的一个重要特性都是提供其目录结构浏览和检索它所存文件和目录相关信息的功能。FileStatus对象封装了文件系统中文件和目录的元数据，包括文件的长度、块大小、备份数、修改时间、所有者以及权限等信息。  FileStatus对象由FileSystem的getFile...

使用jar包：jdom.配置文件格式 global.我们将每个结点使用“.” 拼接起来， 如结点i ，拼接为abc.def.i, 注意不包含root。解析每个结点的名字。* @param name 不包含root结点的拼接，ie: abc.def.int size = name....

Executor框架是指java 5中引入的一系列并发库中与executor相关的一些功能类，其中包括线程池，Executor，Executors，ExecutorService，CompletionService，Future，Callable等。并发编程的一种编程方式是把任务...

参考官网http://hbase.apache.org/book.html#arch.bulk.load HBase包括将数据加载到表中的几种方法。 使用MapReduce作业中的TableOutputFormat类或者使用普通的客户端API; 然而，这些并不总是最有效的方法。批...

1. Map函数开始产生输出时，并不是简单地把数据写到磁盘，因为频繁的磁盘操作会导致性能严重下降。它的处理过程更复杂，数据首先写到内存中的一个缓冲区，并做一些预排序，以提升效率； 每个MapTask都有一个用来写入输出数据的循环内存缓冲区（默认大小为100MB），当缓冲区中的数据...

System.setProperty(“app.dir”, System.在程序启动的脚本中 JAVA_CMD="nohup $JAVA_HOME/bin/java $JAVA_OPTS -cp $CLASSPATH -DENM_HOME=$ENM_HOME $APP_MAINC...

1.  默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时...

Client写入 -> 存入MemStore， 一直到MemStore满 -> Flush成一个StoreFile， 直至StoreFile文件数量增长到一定阈值 -> 触发Compact合并操作 -> 多个StoreFile合并成一个StoreFile，同时进行版本合并和数据删...

Hbase与RDBMS的区别在于：HBase的Cell（每条数据记录中的数据项）是具有版本描述的（versioned），行是有序的，列（qualifier）在所属列簇（Column families）存在的情况下，由客户端自由添加。大表的结构可以使得不需要joins，而解决这一问...