数据处理

简介 这里简单介绍基本概念，例如什么是数据模型？ 然后介绍不同类型的数据模型、优缺点和数据模型示例。 数据库管理系统 （DBMS） 中的数据模型是为总结数据库描述而开发的工具的概念。 数据模型为我们提

1 简介 传统文件系统的问题，文件系统的问题是： 而使用关系型数据库可很好地解决这些问题。 2 DBMS关系模式 三级模式 外模式，概念模式，内模式 1、外模式 对应数据库的升级、外模式包括（子模式

1 数据库索引 索引是MySQL和Oracle等数据库本身提供的功能，合理创建索引可以提高数据的检索效率，降低数据库服务器IO和CPU的消耗。 但由于索引也会降低更新表的速度，经常增删改的表或字段不适

1 概念数据模型 对现实世界的一种建模，比如实体关系模型：E-R模型，常用的知名工具非UML莫属。 UML的关系，UML有4类关系： 依赖 依赖是两个事物之间的语义关系，其中一个事物（独立的）发生变化

简介 布隆过滤器是一种节省空间的方式,用来存储有关键列表的信息。 在其中，有一个位图和一个哈希函数。 计算存储在 SST 中的键的哈希值，并将结果用于将位图中的某些位设置为“1”。当您想知道列表中是否

1 简介：使用bloom fliter的场景 Bloom 过滤器是由 Burton Howard 于 1970 年构思的一种概率数据结构，它提供了一种有效的方法来验证条目肯定不在集合中。 这使得它在尝

1 如何对redis缓存进行分区？ 一般不会在应用程序中执行分区，而是在分布式数据库中做透明化处理。 对缓存进行分区涉及在多台计算机上拆分缓存。 与使用单个缓存服务器相比，此结构具有多个优势，包括：

1 简介 当缓存中的数据不再有用时，我们可能需要删除它们，否则过时的数据永久停留在缓存中将造成内存和计算资源的浪费。 2 管理缓存中的数据过期时间 在大多数情况下，缓存中保存的数据是原始数据存储中保存

1 如何有效地缓存数据？ 有效使用缓存的关键在于确定最合适的数据进行缓存，并在适当的时间缓存它。 应用程序首次检索数据时，可以按需将数据添加到缓存中。应用程序只需从数据存储中获取一次数据，并且可以使用

1 简介 我们常说 缓存数据库，一般默认就是第三方的缓存数据库，比如memory cache，redis，云 cache等。 那么不同名称的缓存数据库如何区分？ 2 分布式缓存的分类 缓存是一种常见的

简介 优化数据库，优化的是什么东西？ 1 集中式数据库 使用反规范化设计，从设计时优化，以避免进行表之间的频繁连接操作。 但是造成了重复存储，浪费磁盘空间。 设计方式 增加几余列： 增加派生列： 重新

简介 要做出的另一个设计决策涉及决定节点在其群集中的交互方式。两个选项是同构和异构节点，都用于现代系统。 同构节点：集群中的每个节点都可以执行同一组任务（尽管可能不同的数据分区），很好地适合共享的无体

1 简介 在遇到大并发的请求场景时。采用主从同步+读写分离，去实现数据的读写加速是主流的操作，那么分析一下业务，适合哪个同步模式（全同步，半同步，异步）就非常必要了，比如有如下问题： 2 方案 增加M

1 简介 大厂的应用，服务器和数据库的压力基本持平，中小型软件，服务器压力没有数据库压力大。 将一部分推拉数据功能模块转化为通过服务器缓存或计算去完成，从而将数据库压力转移到服务器。 以上方案也无法降

1 解决方案 一个直截了当的方案是，我们可以利用Redis，MQ中间件的数据缓存，内容分发等功能，作为缓存站和中转站分担数据库压力。 分布式数据库管理系统 将单个逻辑数据库划分到多个物理资源中。 应用

1 编程代码中的sql语句优化 1.1 选择多行时，使用 FETCH 或 OFFSET OFFSET 参数用于标识从结果集中返回行的起点。基本上，它排除了第一组记录。 注意： FETCH 参数用于返回

1 为什么需要优化性能 比如用户正在在线购物，急切地将一些商品添加到购物车中，就在准备结帐时，互联网崩溃并且页面无法加载。 沮丧的客户重新启动路由器并重新访问结帐页面，却发现电子商务网站的运行速度比蜗

数据库日志 1 简介 mysql自带的mysqlbinlog工具的作用是解析mysql的二进制binlog日志内容，把二进制日志解析成可以在MySQL数据库里执行的SQL语句。 binlog日志原始数

1 简介 数据库的数据量达到一定程度之后，为避免带来系统性能上的瓶颈。 需要进行数据的处理，采用的手段是分区、分片、分库、分表。 分片策略，分片也叫做Sharding，或是水平分库分表，都是相同的概念

1 简介 数据库事务是指一个逻辑工作单元中执行的一系列操作,要么完全地执行,要么完全地不执行. 它具有如下特征： （原子性、一致性、隔离性、持久性），或称（ACID），由 Andreas Reuter