学王争老师《数据结构与算法之美》笔记总结,关于本文中提交的复杂度大O表示法有不明白的,可以参考数据结构与算法-复杂度分析上、下两篇
背景
链表(Linked list)的基础概念这里我就不做描述了,相对于概念更重要的是理解和应用这个数据结构。学习链表有什么用呢?
我们可以看一个经典的链表应用场景,LRU缓存淘汰算法。缓存是一种提数据读取性能的技术,在硬件设计、软件开发中都有非常广泛的应用,比如CPU缓存,数据库缓存、浏览器缓存等。
缓存的大小有限,当缓存用满是,我们需要对数据进行清理,哪些该留下,哪些该清理,这就需要我们制定淘汰策略。常见的策略有:先进先出策略FIFO(First In,First Out)、最少使用策略LFU(Least Frequently Used)、最近最少使用策略LRU(Least Recently Used)。那么,回到正题,如何用链表来实现LRU缓存淘汰策略呢?
链表结构
链表相较于我们经常接触的数组来说,是稍微复杂一点的数据结构,这两个非常基础常用的数据结构,也常常被放在一起比较。我们可以先看看两者的区别,一图胜千言,我们先看图
从图中我们看到,数组需要一块连续的内存空间来存储,对内存的要求比较高。如果我们申请一个 100MB 大小的数组,当内存中没有连续的、足够大的存储空间时,即便内存的剩余总可用空间大于 100MB,仍然会申请失败。链表它并不需要一块连续的内存空间,他通过“指针”将一组零散的内存块串联起来使用,所以如果我们申请的是100MB大小的链表,就不会有问题了,链接的结构五花八门,今天我们了解一下常见的链接结构:单链表、双向链表、循环链表。
单链表
上面我们讲到,链表通过指针将一组零散的内存块串联在一起,其中,我们吧内存块称为链表的“结点”,为了将所有的结点串联起来,每个链表的结点除了存储数据之外,还需要记录链上的下一个结点的地址。如图,这个记录下个结点地址的指针叫做后继指针next。
从图中我们可以看到有两个结点是比较特殊的,它们分别是第一个结点和最后一个结点。我们习惯性地把第一个结点叫作头结点,把最后一个结点叫作尾结点。其中,头结点用来记录链表的基地址。有了它,我们就可以遍历得到整条链表。而尾结点特殊的地方是:指针不是指向下一个结点,而是指向一个空地址 NULL,表示这是链表上最后一个结点。
与数组一样,链表也支持数据的查找、插入和删除操作。
在进行数组的插入、删除操作时,为了保持内存数据的连续性,需要做大量的数据搬移,所以时间复杂度是 O(n)。而在链表中插入或者删除一个数据,我们并不需要为了保持内存的连续性而搬移结点,因为链表的存储空间本身就不是连续的。所以,在链表中插入和删除一个数据是非常快速的。还是老思路,一图胜千言,我们先看图:
从图中我们可以看出,针对链表插入和删除的操作,我们只需要考虑相邻结点的指针改变,所以对应的时间复杂度是O(1),但是由于插入删除的性能提升,随机访问响应的就没有那么高效。因为链表中的数据并非连续存储,所以无法像数据那样,根据首地址和下标,通过寻址公式,就能直接计算出对应的内存地址。链表则需要更具针对一个结点一个结点的一次遍历,知道找到响应的节点
你可以把链表想象成一个队伍,队伍中的每个人都只知道自己后面的人是谁,所以当我们希望知道排在第k位的人是谁的时候,我们就需要从第一个人开始,一个一个的往下数,所以链表的随机访问的性能没有数组好,需要O(n)的时间复杂速度。
循环链表
循环链表是一种特殊的单链表。它跟链表唯一的区别就在尾结点。上面我们讲到单链表的尾结点指针指向空地址,表示这就是最后的终点了,而循环链表的尾结点指向链表的头结点。从图中可以看到,它是一个环一样的首位相连。
和单链表相比,循环链表的优点是从链尾到链头比较方便。当要处理的数据具有环型结构特点时,就特别适合采用循环链表。尽管用单链表也可以实现,但是用循环链表实现的话,代码就会简洁很多。接下来看看实际开发中更加常用,也更加复杂的的链表结构:双向链表。
双向链表
单链表只有一个方向,结点只有一个后继指针next指向后面的结点。而双向链表,它支持两个方向,每个结点不止有一个指向后继指针的next指向后面的结点,还有一个前驱指针prev指向前面的结点。
从图中可以看出,双向链表需要额外的两个空间来存储后继结点和前驱结点的地址,所以,如果存储同样多的数据,双向链表比单向链表要占用更多的内存。虽然两个指针比较浪费存储空间,但是可以支持双向遍历,这样也带来了双向链表操作的灵活性,那么相比单链表,双向链表适合解决哪种问题?
从结构上看,双向链表可以支持O(1)时间复杂度的情况下找到前驱结点,正是这样的特点,也使双向链表在某些情况下的插入、删除操作都要比单链表简单、高效。
先来看删除操作
在实际的软件开发中,从链表删除一个数据有两种情况:
- 删除结点中“值=某个给定值”的结点
- 删除给定指针指向的结点 对于第一种情况,不管是单向链表还是双向链表,为了查到值等于给定值的结点,都需要从头结点开始一个一个一次遍历对比,知道找到等于给定值的结点。
对于第二种情况,我们已经找到了要删除的结点,但是删除某个结点需要知道其前驱结点,而单链表并不支持直接获取前驱结点,所以,为了找到前驱结点,我们还是要从头结点开始遍历列表,知道p->next=q,说明p是q的前驱结点。
但是对于双向链表来说,这种情况就比较有优势了。因为双向链表中的结点已经保存了前驱结点的指针,不需要想单链表那样遍历。所以针对第二种情况,单链表删除操作的时间复杂度为O(n),而双向链表只需要在O(1)的时间复杂度。同理,如果我们要在链表的指定结点前面插入一个节点,双向链表的优势就更大,双向链表可以在 O(1) 时间复杂度搞定,而单向链表需要 O(n) 的时间复杂度。
除了插入、删除操作有优势之外,对于一个有序链表,双向链表的按值查询的效率也要比单链表高一些。因为,我们可以记录上次查找的位置 p,每次查询时,根据要查找的值与 p 的大小关系,决定是往前还是往后查找,所以平均只需要查找一半的数据。现在,你有没有觉得双向链表要比单链表更加高效呢?这就是为什么在实际的软件开发中,双向链表尽管比较费内存,但还是比单链表的应用更加广泛的原因。
实际上,这里有一个更加重要的知识点需要你掌握,那就是用空间换时间的设计思想。当内存空间充足的时候,如果我们更加追求代码的执行速度,我们就可以选择空间复杂度相对较高、但时间复杂度相对很低的算法或者数据结构。相反,如果内存比较紧缺,比如代码跑在手机或者单片机上,这个时候,就要反过来用时间换空间的设计思路。还是开篇缓存的例子。缓存实际上就是利用了空间换时间的设计思想。如果我们把数据存储在硬盘上,会比较节省内存,但每次查找数据都要询问一次硬盘,会比较慢。但如果我们通过缓存技术,事先将数据加载在内存中,虽然会比较耗费内存空间,但是每次数据查询的速度就大大提高了。所以,对于执行较慢的程序,可以通过消耗更多的内存(空间换时间)来进行优化;而消耗过多内存的程序,可以通过消耗更多的时间(时间换空间)来降低内存的消耗。
那么在此之上,如果把两种链表整合在一起,就是一个新的版本:双向循环链表,看图
链表和数组的性能对比
从上面讲的只是我们可以知道,数组和链表是两种截然不同的内存组织方式。正是因为内存存储的区别,它们插入、删除、随机访问操作的时间复杂度正好相反。
不过,数组和链表的对比,并不能局限于时间复杂度。而且,在实际的软件开发中,不能仅仅利用复杂度分析就决定使用哪个数据结构来存储数据。
数组简单易用,在实现上使用的是连续的内存空间,可以借助 CPU 的缓存机制,预读数组中的数据,所以访问效率更高。而链表在内存中并不是连续存储,所以对 CPU 缓存不友好,没办法有效预读。
CPU在从内存读取数据的时候,会先把读取到的数据加载到CPU的缓存中。而CPU每次从内存读取数据并不是只读取那个特定要访问的地址,而是读取一个数据块,并保存到CPU缓存中,然后下次访问内存数据的时候就会先从CPU缓存开始查找,如果找到就不需要再从内存中取。这样就实现了比内存访问速度更快的机制,也就是CPU缓存存在的意义:为了弥补内存访问速度过慢与CPU执行速度快之间的差异而引入。
对于数组来说,存储空间是连续的,所以在加载某个下标的时候可以把以后的几个下标元素也加载到CPU缓存这样执行速度会快于存储空间不连续的链表存储。
所以,在我们实际的开发中,针对不同类型的项目,要根据具体情况,权衡究竟是选择数组还是链表。
解答开篇
如何基于链表实现 LRU 缓存淘汰算法?
我们可以这样设计: 我们维护一个有序单链表,越靠近链表尾部的结点是越早之前访问的。当有一个新的数据被访问时,我们从链表头开始顺序遍历链表。
-
如果此数据之前已经被缓存在链表中了,我们遍历得到这个数据对应的结点,并将其从原来的位置删除,然后再插入到链表的头部。
-
如果此数据没有在缓存链表中,又可以分为两种情况:
- 如果此时缓存未满,则将此结点直接插入到链表的头部;
- 如果此时缓存已满,则链表尾结点删除,将新的数据结点插入链表的头部。
这样我们就用链表实现了一个LRU缓存,我们来看下缓存访问的时间复杂度是多少。因为不管缓存有没有满,我们都需要遍历一遍链表,所以这种基于链表的实现思路,缓存访问的时间复杂度为 O(n)。当然还有更好的实现思路,我们这里就不发散了,本篇我们主要讲链表。