我当场就去世了....因为计算机网络和操作系统的基础知识真的是我的盲区，不过后面我恶补了，废话不多说，我们就从计算机加载数据聊起，讲一下换个角度聊索引。 让我们先来了解一下计算机的数据加载。 先说一下磁盘IO，磁盘读取数据靠的是机械运动，每一次读取数据需要寻道、寻点、拷贝到内存…

最近有个需求解析一个订单文件，并且说明文件可达到千万条数据，每条数据大概在20个字段左右，每个字段使用逗号分隔，需要尽量在半小时内入库。 因为是大文件解析，如果中途出现错误，比如数据刚好插入到900w的时候，数据库连接失败，这种情况不可能重新来插一遍，所有需要记录每次插入数据的…

本来都把稿子放到公众号保存了，洗澡的时候想了一下晚上的比赛，觉得还是打开电脑写点东西，跟文章内容没关系，只是一点个人的感慨，不知道多少小伙伴看了昨天SKT VS G2的比赛，又不知道多少小伙伴还记得Faker手抖的那一幕。 不知道你们看了是什么感受，我看到他手抖的时候我内心也抖…

应用系统分层架构，为了加速数据访问，会把最常访问的数据，放在缓存(cache)里，避免每次都去访问数据库。 操作系统，会有缓冲池(buffer pool)机制，避免每次访问磁盘，以加速数据的访问。 MySQL作为一个存储系统，同样具有缓冲池(buffer pool)机制，以避免…

所有存储相同数据的列名和列类型必须一致。（在多个表中的字段如user_id，它们类型必须一致） 尽量控制单表数据量的大小在500w以内，超过500w可以使用历史数据归档，分库分表来实现（500万行并不是MySQL数据库的限制。过大对于修改表结构，备份，恢复都会有很大问题。MyS…

MySQL是关系性数据库中的一种，查询功能强，数据一致性高，数据安全性高，支持二级索引。但性能方面稍逊于非关系性数据库，特别是百万级别以上的数据，很容易出现查询慢的现象。这时候需要分析查询慢的原因，一般情况下是程序员sql写的烂，或者是没有键索引，或者是索引失效等原因导致的。 …

数据库查询相信很多人都不陌生，所有经常有人调侃程序员就是CRUD专员，这所谓的CRUD指的就是数据库的增删改查。 在数据库的增删改查操作中，使用最频繁的就是查询操作。而在所有查询操作中，统计数量操作更是经常被用到。 关于数据库中行数统计，无论是MySQL还是Oracle，都有一…

今天开始简单了解mysql的一些底层技术，而不再只知增删改查。 胖子不是一口吃成的，所以下面我也只是简单描述这其中的步骤，并不会追求描述每一个步骤的具体实现细节。而细节后面我会抽空将自己的一些研究进行整理并发出来。 图中的数字标记的是MySQL中执行顺序。 顾名思义连接器 就是…