DDIA读书笔记

第十章-批处理 概要 前两部分，我们讨论了请求和查询，与之相对的是响应和结果。这种请求应答风格的数据处理是很多现代系统的基本设定：你向系统询问一些事情，或者你发送一个指令，系统稍后（大概率上）会给你一

这一章内容很丰满，看看写写花了很久=.= 概要 如前面所述，分布式系统很多场景都会出错。应对的最简单办法就是让系统宕机，然后给出错误原因。但实际生产中，这种方式大多不可接受--即便某些内部组件故障，整

前面几章都在谈系统出错如何处理：副本切换、复制滞后、事务并发控制。但前面考虑的情况依然过于乐观，实际情况下，要悲观的多，不妨假设：所有可能出错的事情一定会出错。分布式系统和单机软件有非常明显的区别，会

概要 在分布式数据系统中，任何问题都有可能发生： 系统侧：数据库系统和硬件系统任何时间都有可能发生故障 应用侧：使用数据库的应用程序任何时刻都有可能故障。 网络侧：应用程序和数据库间，数据库的多个节点

概要 分区的主要目的是提高可扩展性。不同的分区可以放在一个无共享集群的不同节点上，这样一个大数据集可以分散在更多的磁盘上。可以应对海量数据和更高的查询负载。 单分区查询时，每个节点对自己所在分区可以独

概要 复制冗余是指多台机器保存相同数据的副本。好处 降低访问延迟，地理位置上更接近用户 提高可用性，部分组件故障，整体依旧可用 提升吞吐量，水平扩展，多台机器同时提供服务 如果数据只读，那么复制很简单

概要 数据模型 大多应用程序通过叠加数据模型构建 应用开发者，观测现实世界，进行抽象构建为一组对象、数据结构及操作数据结构的API 数据库管理员，采用JSON、xml、表或图模型，进行表示和存储 数据

数据系统 常见的数据系统 数据库：用以存储数据，这样之后应用可以再次面问。 高速缓存 缓存那些复杂或操作代价昂贵的结果，以加快下一次访问。 索引 用户可以按关键字搜索数据井支持各种过掳 流式处理：持续

概要 因为需求的迭代，会出现新旧代码，新旧数据混用的情况，此时需要保证双向的兼容 向后兼容 (backward compatibility)：当前代码可以读取旧版本代码写入的数据。 向前兼容 (for

概要 数据库核心：数据结构 最简单的数据库 文本文件存储，每行是k-v，写入时追加写，像日志一样，日志机制非常重要。 大数据量查找，效率慢，需要更高效的数据结构：索引。 存储系统重要的权衡设计： 适当