dxer0730

事件起因 一个需求让我开放一个 HTTP 接口给前端，在联调的过程中，前端请求时出现了一个 CORS 错误，也即跨域问题，错误如下 👇 一开始我的想法是，跨域问题，这我熟啊，在学校写代码的时候就经常遇

垃圾回收（Garbage Collection，GC），就是通过垃圾收集器把内存中没用的对象清理掉。垃圾回收涉及到内容： 判断对象是否已死 选择垃圾收集算法 选择垃圾收集的时间 选择适当的垃圾收集器清理垃圾 判断对象是否已死：找出哪些对象是已经死掉的，以后不会再用到的。 判断对…

Scala 是一种有趣的语言，它一方面吸收继承了多种语言中的优秀特性，一方面又没有抛弃 Java 这个强大的平台，它运行在 Java 虚拟机（Java Virtual Machine）之上，轻松实现和丰富的 Java 类库互联互通。它即支持面向对象的编程方式，又支持函数式编程。…

之前写过一篇 《 在公司做的项目和自己在学校做的有什么区别？ 》不知道大家还有印象没有，里面提到了在工作中可能需要等上Linux服务器，查看一些信息（特别是查日志找Bug)。 但是，在学校学完，没咋练手（还是太菜了），去到公司可以说是全忘光了。这篇文章主要来回顾以前的笔记，以及…

Prometheus 是一套开源监控系统，使用Go语言开发，是 Google BorgMon 监控系统的类似实现。 Prometheus 的基本原理是通过HTTP协议周期性抓取被监控组件的状态，任意组件只要提供对应的HTTP接口就可以接入监控，是比较适合 Docker，Kube…

数据模型是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。有了适合业务和基础数据存储环境的模型，那么大数据就能获得以下好处： 性能：良好的数据模型能帮助我们快速查询所需要的数据，减少数据的 I/O 吞吐。 成本：良好的数据模型能极大地减少不必要的数据冗余，也能…

数据仓库（DW）是一个 面向主题的、集成的、稳定的、随时间变化的数据的集合，以用于支持管理决策过程。 主题是指用户使用数据仓库进行决策时所关心的重点领域。数据仓库通过一个个主题将多个业务系统的数据加载到一起，为了各个主题（如：用户、订单、商品等）进行分析而建，操作型数据库是为了…

在工作中使用hive比较多，也写了很多HiveQL。这里从三个方面对 Hive 常用的一些性能优化进行了总结。 分区表 是在某一个或者几个维度上对数据进行分类存储，一个分区对应一个目录。如果筛选条件里有分区字段，那么 Hive 只需要遍历对应分区目录下的文件即可，不需要遍历全局…

Hive起源于Facebook，是基于 Hadoop HDFS 分布式文件系统的分布式 数据仓库 架构。它为数据仓库的管理提供了许多功能：数据ETL（抽取、转换和加载）工具、数据存储管理和大型数据集的查询和分析能力。同时Hive还定义了类SQL的语言（HiveQL）。允许用户进…