曾伟展

presto是一个非常方便的mpp架构引擎，为了方便公司用户的使用，提供了非常方便的插件，具体可以参考：presto开发指南。 开启https + ldap 做账号和密码验证， presto 本身支持。 公司内部有ldap，可以充分利用起来，如果没有ldap的公司，可以考虑使用…

在虚拟机中，不同的对象存活的时间是不一样的，为了区别出不同年龄的对象，更好的管理他们，目前主流的虚拟机采用都是分代算法。 在JVM中，会内存划分为三块，分别是新生代，老年代，以及持久代。如图： 其中新生代又划分为Eden、Survivor0、Survivor1 三个区，为什么要…

公司使用了icebery存储数据，presto作为提供给用户查询的引擎，当前使用的版本对icebery支持较弱，存在读parquet异常问题，需要将版本升级到430。 老版本我们当时为了支持hive的视图功能，以及其他一些功能，在原来版本的基础上做了一些代码更改，原本是我想两个…

上周下午，正当我准备早早下班的时候，收到了一条报警信息，XX机器的XX服务不可用，按照运维操作步骤，先把服务恢复再说，由于服务是高可用，对业务没有影响，但是还是要找出出现问题的原因，避免下次再出现。按照之前的文档处理完重启之后，需要花点时间定位一下为什么进程会退出。 内存泄漏，…

集群相关：http://ip:port/v1/cluster查询相关：http://ip:port/v1/query集群内存相关：

最近在读《管理学》，作为搞技术的人，不能一心只写代码，有兴趣的话应该读读其他学科的书。 本质来说，集群管理也是管理的一种，这篇文章，我想通过管理的基本只是扯两句关于集群管理上的理解。 管理，划分为计划、组织、领导和控制。这四个方面概括了一个合格的管理者应该做什么，如何做。如果，…

参数里面要求tsv文件里面必须有一列名为HBASE_ROW_KEY，这一列最终是作为HBase里面的rowkey。TradingDate和OpenPrice是tsv文件里面的列名，info是HBase里面的列族，这个配置可以针对不同的列设置不同的列族，毕竟HBase是一个多列族…

在 openjdk里面有限制数组的大小为2的31次方-2 ，如果超过这个大小，jvm就会报错。 这里其实可以肯定是HBase的ipc里面的一个bug，在某些情况下，创建的数组长度超过jvm的限制，通过搜索，找到了一个patch，修复就是这个问题。 HBASE-14598 ，主要…

解释里面说，这个指代表HFile里面kv数量，但是这个跟行数是有区别的。 上图中，Table 7 如果用count的话，只有1行，但是KV数量，如果只写了1次的话，那么就只有2个，如果写了多次，那就另算。 拿到我们需要的信息，后面通过脚本处理就可以。 如果你有其他更好的方式，欢…