dxer0730

垃圾回收（Garbage Collection，GC），就是通过垃圾收集器把内存中没用的对象清理掉。垃圾回收涉及到内容： 判断对象是否已死：找出哪些对象是已经死掉的，以后不会再用到的。 判断对象是否已死的方法：引用计数算法和可达性分析算法。 给每一个对象添加一个引用计数器，每当…

垃圾回收（Garbage Collection，GC），就是通过垃圾收集器把内存中没用的对象清理掉。垃圾回收涉及到内容： 判断对象是否已死 选择垃圾收集算法 选择垃圾收集的时间 选择适当的垃圾收集器清理垃圾 判断对象是否已死：找出哪些对象是已经死掉的，以后不会再用到的。 判断对…

Java 虚拟机在执行 Java 程序的过程中会把它所管理的内存划分为若干个不同的数据区域。这些区域都有各自的用途，以及创建和销毁的时间，有的区域随着虚拟机进程启动而存在，有些区域则是依赖用户线程的启动和结束而建立和销毁。 程序计数器（Program Counter Regis…

Scala 是一种有趣的语言，它一方面吸收继承了多种语言中的优秀特性，一方面又没有抛弃 Java 这个强大的平台，它运行在 Java 虚拟机（Java Virtual Machine）之上，轻松实现和丰富的 Java 类库互联互通。它即支持面向对象的编程方式，又支持函数式编程。…

Prometheus 是一套开源监控系统，使用Go语言开发，是 Google BorgMon 监控系统的类似实现。 Prometheus 的基本原理是通过HTTP协议周期性抓取被监控组件的状态，任意组件只要提供对应的HTTP接口就可以接入监控，是比较适合 Docker，Kube…

数据模型是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。有了适合业务和基础数据存储环境的模型，那么大数据就能获得以下好处： 性能：良好的数据模型能帮助我们快速查询所需要的数据，减少数据的 I/O 吞吐。 成本：良好的数据模型能极大地减少不必要的数据冗余，也能…

数据仓库（DW）是一个 面向主题的、集成的、稳定的、随时间变化的数据的集合，以用于支持管理决策过程。 主题是指用户使用数据仓库进行决策时所关心的重点领域。数据仓库通过一个个主题将多个业务系统的数据加载到一起，为了各个主题（如：用户、订单、商品等）进行分析而建，操作型数据库是为了…

在工作中使用hive比较多，也写了很多HiveQL。这里从三个方面对 Hive 常用的一些性能优化进行了总结。 分区表 是在某一个或者几个维度上对数据进行分类存储，一个分区对应一个目录。如果筛选条件里有分区字段，那么 Hive 只需要遍历对应分区目录下的文件即可，不需要遍历全局…

Hive起源于Facebook，是基于 Hadoop HDFS 分布式文件系统的分布式 数据仓库 架构。它为数据仓库的管理提供了许多功能：数据ETL（抽取、转换和加载）工具、数据存储管理和大型数据集的查询和分析能力。同时Hive还定义了类SQL的语言（HiveQL）。允许用户进…