Wg

本文为《设计数据密集型应用》最后一章笔记，本章中，作者放眼未来，提出了一些想法和方法。 1 数据集成 本书一直强调，对于任何给定的问题都会有好几种解决方案，所有这些解决方案...

流处理 流处理：数据一条一条地进入系统，以更频繁的运行处理，例如在每秒的末尾，或者当事件发生时立即处理。...

衍生数据 存储和处理数据的系统分为两大类：记录系统和衍生系统： 记录系统（System of record）：也称真相源（source of truth） ，持有数据的权威...

上一文提过，分布式系统可能出现各种各样的问题：分布式系统的麻烦 - 掘金 (juejin.cn) 处理故障最简单的方法是让整个服务失效并向用户显示错误消息。更高级的方式是找...

分布式系统与单台计算机有着根本的区别，有很多新的方法可以使事情出错。 例如单个计算机中，电脑崩溃会导致功能全部失效，但是在分布式系统中，系统可能会部分失效，难点在于部分失效...

事务是将多个读写操作组合成一个逻辑单元的一种方式，整个事务要么成功（提交）要么失败（回滚）。事务是为了简化应用编程模型而创建的，通过事务，应用程序可以自由的忽略某些潜在错误...

分区数据库在20世纪80年代提出。分区是将大型数据库分解成小型数据库的方式。分区主要为了可扩展性，不同分区可以放在不共享集群中的不同节点上。因此，大数据集可以分布在多个磁盘...

为什么需要副本： 使得数据与用户在地理上接近（从而减少延迟） 即使系统的一部分出现故障，系统也能继续工作（从而提高可用性） 扩展可以接受读请求的机器数量（从而提高读取吞吐量...

应用程序更改时可能会改变数据库，此时使用滚动升级（阶段升级）时新旧数据格式会在系统中同时共处，系统想要顺利运行就需要保证双向兼容性 向前兼容：旧代码可以读取新数据 向后兼容...

1 关系模型与非关系模型 关系型数据库：源于商业数据处理，以前用于商业数据的事务处理和批处理，现在广泛用于各种软件 关系模型：集合，即任意元素组合的若干有序偶对 关系代数：...

可靠性（Reliability） 什么是可靠性 可靠性：即使出现问题也能继续正常工作。 具体来说： 应用程序表现出用户所期望的功能。 允许用户犯错，允许用户以出乎意料的方式...

第三部分 衍生数据 第三部分研究多个不同数据系统集成为一个协调一致的应用框架时会遇到的问题。 存储和处理数据的系统分为两大类：记录系统和衍生系统： 记录系统（System ...

第二部分 分布式数据 第五章 复制 产生副本用于： 使得数据与用户在地理上接近（从而减少延迟） 即使系统的一部分出现故障，系统也能继续工作（从而提高可用性） 扩展可以接受读...

序言 此书帮助我们在飞速变化的数据处理和数据存储技术大观园中找到方向。 我们将看到一些成功数据系统的样例：许多流行应用每天都要在生产中会满足可扩展性、性能、以及可靠性的要求...