西北偏北UP

[TOC] ### 前言 纪录片《行星》主要讲太阳系的所有行星其形成演化历史，相比于类宇宙通史的《宇宙时空指南》来说，《行星》更为专注。看完即能让人感叹人类的渺小，又能感叹人类的伟大 渺小在于，

[TOC] ### 需求背景 团队有集成测试的需求，集成测试需要依赖一些中间件，比如mysql，rabbitmq。每个研发人员有对自己开发的那部分代码进行测试编写和运行检测的需求。 为了不互相影

[TOC] > 上一份工作主要负责大数据平台的建设，在这个过程中积累了一些Hadoop生态组件的搭建和使用笔记，由于时间关系，不打算去修改其中的错别字和排版问题，直接释出原始笔记。 ## 前置条

Hadoop学习笔记—Yarn@(Hadoop)[hadoop, yarn][TOC]一些基本知识ResourceManager 的恢复当ResourceManager 挂掉重启后，为了使之前的任务能

最重要的是在上述三个shell脚本的最后，配置JAVA_HOME。 上述三个shell中，有大量环境变量KEY可以配置，他们一般见名知意。可以使用一些带OPTS后缀的配置，去覆盖那些特定配置。带OPTS的后缀有 上述环境变量配置好后，就要配置hdfs, yarn, mr三者的进…

为了解决这个问题，一般的存储系统都会设计transag log (事务日志)或这write ahead log(预写式日志)。它的作用是，将最近的写入数据或操作以日志的形式直接落盘，从而使得即便系统崩溃后，依然可以基于这些磁盘日志进行数据恢复。 写的日志不需要维护复杂的数据结构…

首先抛出结论。无论任何存储介质（不管是机械硬盘还是SSD，抑或是内存）的顺序访问速度都远远高出随机访问的速度。 传统数据库，比如Mysql使用的b+树索引，对读友好。但容易造成随机写。比如新插入一个值到数据库，首先我们要读取b+树，判断新插入的值放在树的什么位置，其次在特定的位…

而本文探讨的Apache Hudi，对应的场景是数据的实时，而非处理的实时。它旨在将Mysql中的时候以近实时的方式映射到大数据平台，比如Hive中。 而流式计算一般是基于窗口，并且窗口逻辑相对比较固定。 而笔者所在的公司有一类特殊的需求，业务分析比较熟悉现有事务数据库的数据结…

ck是一个列式存储的数据库，其针对的场景是OLAP。OLAP的特点是： 数据不经常写，即便写也是批量写。不像OLTP是一条一条写 查询并发较少，不适合放置先生高并发业务场景使用 , CK本身建议最大一秒100个并发查询。 为了提高插入性能，最好批量插入，最少批次是1000行记录…