Natasha_

冯-诺依曼老爷子告诉过我们，算术逻辑单元和控制器单元组成的 CPU 负责进行运算以及程序流程的控制。运算所需要的指令和数据由 内存 来提供。 那么，如果让你作为操作系统的顶...

前提：业务需要将Tidb(Mysql内核)中8亿多条数据从Mysql导到Elasticsearch7中。 一开始我首先想到，“那就使用久负盛名的ELK来做数据迁移呀！”。L...

一. flink-runtime-web 其中，一直编译失败的是flink-runtime-web模块，故先cd flink-runtime-web进行单独编译。 坑2：编...

1. MapReduce和Spark的对比 MapReduce是一种计算模型，将大型数据分解成很多单个任务在集群中并行执行，然后将计算结果合并起来得到最终的结果。具体关于M...

RDD(Resilient Distributed Dataset) 叫着 弹性分布式数据集 ，是Spark 中最基本的抽象，它代表一个不可变、可分区、里面元素可以并行计算...

当前这个数据时代，各领域各业务场景时时刻刻都有大量的数据产生，如何理解大数据，对这些数据进行有效的处理成为很多企业和研究机构所面临的问题。本文将从大数据的基础特性开始，进而...

1. 数据准备 2. 单表查询 Hive 支持使用 GROUP BY 进行分组聚合操作。 如果是字符串，则按照字典序排序。 使用 sort by 时只会在每个 Reduce...

1. 视图 Hive 中的视图和 RDBMS 中视图的概念一致，都是一组数据的逻辑表示，本质上就是一条 SELECT 语句的结果集。 视图是纯粹的逻辑对象，没有关联的存储，...

近期写数据库，不少朋友留言问MySQL索引底层的实现，今天简单聊一聊，少讲“是怎么样”，更多说说“为什么设计成这样”。 问题1. 数据库为什么要设计索引? 以便快速找到一本...

1. 数据类型 Hive的ARRAY和MAP与java中的Array和Map类似，而STRUCT与C语言中的Struct类似，它封装了一个命名字段集合，复杂数据类型允许任意...

1. 简介 Hive 是一个构建在 Hadoop 之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类 SQL 查询功能，用于查询的 SQL 语句会被转化为 MapR...

实时数仓主要是为了解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。虽然关于实时数仓的架构及技术选型与传统的离线...

1. 索引的操作 2. 文档的操作...