Natasha_

前提：业务需要将Tidb(Mysql内核)中8亿多条数据从Mysql导到Elasticsearch7中。 一开始我首先想到，“那就使用久负盛名的ELK来做数据迁移呀！”。Logstash的作用就是一个数据收集器，可以将各种格式的数据通过过滤后，格式化地输入到Elasticsea…

一. flink-runtime-web 其中，一直编译失败的是flink-runtime-web模块，故先cd flink-runtime-web进行单独编译。 坑2：编译卡在 Running 'npm ci –cache-max=0 –no-save'flink 。因为编译…

1. MapReduce和Spark的对比 MapReduce是一种计算模型，将大型数据分解成很多单个任务在集群中并行执行，然后将计算结果合并起来得到最终的结果。具体关于MapReduce的介绍可以看之前写过的文章(三)通俗易懂地理解MapReduce的工作原理。 需要写很多底…

1. 数据准备 2. 单表查询 Hive 支持使用 GROUP BY 进行分组聚合操作。 如果是字符串，则按照字典序排序。 使用 sort by 时只会在每个 Reducer 中进行排序，这可以保证每个 Reducer 的输出数据是有序的，但不能保证全局有序。 由于 order…

1. 视图 Hive 中的视图和 RDBMS 中视图的概念一致，都是一组数据的逻辑表示，本质上就是一条 SELECT 语句的结果集。 视图是纯粹的逻辑对象，没有关联的存储，当查询引用视图时，Hive 可以将视图的定义与查询结合起来。 在 Hive 中可以使用 CREATE VI…

1. 数据类型 Hive的ARRAY和MAP与java中的Array和Map类似，而STRUCT与C语言中的Struct类似，它封装了一个命名字段集合，复杂数据类型允许任意层次的嵌套。 Hive的原子数据类型是可以进行隐式转换的，例如某表达式使用INT类型，TINYINT会自动…

1. 简介 Hive 是一个构建在 Hadoop 之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类 SQL 查询功能，用于查询的 SQL 语句会被转化为 MapReduce 作业，然后提交到 Hadoop 上运行。 2. Hive的特点 操作接口采用类SQL语法，避免…

1. 索引的操作 2. 文档的操作

1. Elasticsearch的基本数据结构 string：在ElasticSearch 旧版本中使用较多，从ElasticSearch 5.x开始不再支持string，改为由text和keyword类型替代。 text：当一个字段被全文搜索时，如Email内容、产品描述，应…