1. 贪心算法

贪心算法解决问题的步骤：

第一步，当我们看到这类问题的时候，首先要联想到贪心算法：针对一组数据，我们定义了限制值和期望值，希望从中选出几个数据，在满足限制值的情况下，期望值最大。

第二步，我们尝试看下这个问题是否可以用贪心算法解决：每次选择当前情况下，在对限制值同等贡献量的情况下，对期望值贡献最大的数据。

贪婪算法是一种近似算法，可以获取到问题的局部最优解，不一定能获取到全局最优解，同时获取最优解的好坏要看贪婪策略的选择。

区间覆盖例子：

假设我们有 n 个区间，区间的起始端点和结束端点分别是[l1, r1]，[l2, r2]，[l3, r3]，……，[ln, rn]。我们从这 n 个区间中选出一部分区间，这部分区间满足两两不相交（端点相交的情况不算相交），最多能选出多少个区间呢？

这个问题的解决思路是这样的：我们假设这 n 个区间中最左端点是 lmin，最右端点是 rmax。这个问题就相当于，我们选择几个不相交的区间，从左到右将[lmin, rmax]覆盖上。我们按照起始端点从小到大的顺序对这 n 个区间排序。

我们每次选择的时候，左端点跟前面的已经覆盖的区间不重合的，右端点又尽量小的，这样可以让剩下的未覆盖区间尽可能的大，就可以放置更多的区间。这实际上就是一种贪心的选择方法。

霍夫曼编码：

假设我有一个包含 1000 个字符的文件，每个字符占 1 个 byte（1byte=8bits），存储这 1000 个字符就一共需要 8000bits，那有没有更加节省空间的存储方式呢？

假设我们通过统计分析发现，这 1000 个字符中只包含 6 种不同字符，假设它们分别是 a、b、c、d、e、f。而 3 个二进制位（bit）就可以表示 8 个不同的字符，所以，为了尽量减少存储空间，每个字符我们用 3 个二进制位来表示。那存储这 1000 个字符只需要 3000bits 就可以了，比原来的存储方式节省了很多空间。

霍夫曼编码不仅会考察文本中有多少个不同字符，还会考察每个字符出现的频率，根据频率的不同，选择不同长度的编码。霍夫曼编码试图用这种不等长的编码方法，来进一步增加压缩的效率。如何给不同频率的字符选择不同长度的编码呢？根据贪心的思想，我们可以把出现频率比较多的字符，用稍微短一些的编码；出现频率比较少的字符，用稍微长一些的编码。

假设这 6 个字符出现的频率从高到低依次是 a、b、c、d、e、f。我们把它们编码下面这个样子，任何一个字符的编码都不是另一个的前缀，在解压缩的时候，我们每次会读取尽可能长的可解压的二进制串，所以在解压缩的时候也不会歧义。经过这种编码压缩之后，这 1000 个字符只需要 2100bits 就可以了。

但是如何根据字符出现频率的不同，给不同的字符进行不同长度的编码呢？

我们把每个字符看作一个节点，并且附带着把频率放到优先级队列中。我们从队列中取出频率最小的两个节点 A、B，然后新建一个节点 C，把频率设置为两个节点的频率之和，并把这个新节点 C 作为节点 A、B 的父节点。最后再把 C 节点放入到优先级队列中。重复这个过程，直到队列中没有数据。

现在，我们给每一条边加上画一个权值，指向左子节点的边我们统统标记为 0，指向右子节点的边，我们统统标记为 1，那从根节点到叶节点的路径就是叶节点对应字符的霍夫曼编码。

2. 分治算法

分治算法（divide and conquer）的核心思想其实就是四个字，分而治之 ，也就是将原问题划分成 n 个规模较小，并且结构与原问题相似的子问题，递归地解决这些子问题，然后再合并其结果，就得到原问题的解。

3. 回溯算法

深度优先搜索算法利用的是回溯算法思想。

回溯的处理思想，有点类似枚举搜索。我们枚举所有的解，找到满足期望的解。为了有规律地枚举所有可能的解，避免遗漏和重复，我们把问题求解的过程分为多个阶段。每个阶段，我们都会面对一个岔路口，我们先随意选一条路走，当发现这条路走不通的时候（不符合期望的解），就回退到上一个岔路口，另选一种走法继续走。

背包问题：

我们有一个背包，背包总的承载重量是 Wkg。现在我们有 n 个物品，每个物品的重量不等，并且不可分割。我们现在期望选择几件物品，装载到背包中。在不超过背包所能装载重量的前提下，如何让背包中物品的总重量最大？

这里就可以用回溯的方法。我们可以把物品依次排列，整个问题就分解为了 n 个阶段，每个阶段对应一个物品怎么选择。先对第一个物品进行处理，选择装进去或者不装进去，然后再递归地处理剩下的物品。

这里还稍微用到了一点搜索剪枝的技巧，就是当发现已经选择的物品的重量超过 Wkg 之后，我们就停止继续探测剩下的物品。

代码实现：

from typing import List

def bag(capacity: int, items: List):
    cur_weight = 0
    pick_idx = 0
    max_weight = 0
    
    def _bag(pick_idx, cur_weight):
        nonlocal max_weight
        if pick_idx >= len(items) or cur_weight == capacity:
            if cur_weight > max_weight:
                max_weight = cur_weight
            return
        if cur_weight+items[pick_idx] <= capacity:
            _bag(pick_idx+1, cur_weight+items[pick_idx])
        _bag(pick_idx+1, cur_weight)            
#        for opt in range(2):
#            if opt == 1:
#                if cur_weight+items[pick_idx] <= capacity:
#                    _bag(pick_idx+1, cur_weight+items[pick_idx])
#            else:        
#                _bag(pick_idx+1, cur_weight)
        
    _bag(pick_idx, cur_weight)
    return max_weight
       
print(bag(5, [3,5,1]))

4. 动态规划

我们一般是用动态规划来解决最优问题。而解决问题的过程，需要经历多个决策阶段。每个决策阶段都对应着一组状态。然后我们寻找一组决策序列，经过这组决策序列，能够产生最终期望求解的最优值。

背包问题

我们把整个求解过程分为 n 个阶段，每个阶段会决策一个物品是否放到背包中。每个物品决策（放入或者不放入背包）完之后，背包中的物品的重量会有多种情况，也就是说，会达到多种不同的状态，对应到递归树中，就是有很多不同的节点。

我们把每一层重复的状态（节点）合并，只记录不同的状态，然后基于上一层的状态集合，来推导下一层的状态集合。我们可以通过合并每一层重复的状态，这样就保证每一层不同状态的个数都不会超过 w 个（w 表示背包的承载重量）。

我们用一个二维数组 states[n][w+1]，来记录每层可以达到的不同状态。

第 0 个（下标从 0 开始编号）物品的重量是 2，要么装入背包，要么不装入背包，决策完之后，会对应背包的两种状态，背包中物品的总重量是 0 或者 2。我们用 states[0][0]=true 和 states[0][2]=true 来表示这两种状态。

第 1 个物品的重量也是 2，基于之前的背包状态，在这个物品决策完之后，不同的状态有 3 个，背包中物品总重量分别是 0(0+0)，2(0+2 or 2+0)，4(2+2)。我们用 states[1][0]=true，states[1][2]=true，states[1][4]=true 来表示这三种状态。

以此类推，直到考察完所有的物品后，整个 states 状态数组就都计算好了。我把整个计算的过程画了出来，你可以看看。图中 0 表示 false，1 表示 true。我们只需要在最后一层，找一个值为 true 的最接近 w（这里是 9）的值，就是背包中物品总重量的最大值。

代码实现：

def bag(capacity: int, items: List):
    n = len(items)
    memo = [[-1]*(capacity+1) for i in range(n)]
    memo[0][0] = 1
    if items[0] <= capacity:
        memo[0][items[0]] = 1
        
    for i in range(1，n):
        for cur_weight in range(capacity+1):
            if memo[i-1][cur_weight] != -1:
                memo[i][cur_weight] = memo[i-1][cur_weight] #选择不放入背包
                if cur_weight + items[i] <= capacity: #放入背包
                    memo[i][cur_weight + items[i]] = 1
    
    for w in range(capacity, -1, -1):
        if memo[-1][w] != -1:
            return w
            
print(bag(5, [3,5,1]))

最短距离问题

假设我们有一个 n 乘以 n 的矩阵 w[n][n]。矩阵存储的都是正整数。棋子起始位置在左上角，终止位置在右下角。我们将棋子从左上角移动到右下角。每次只能向右或者向下移动一位。从左上角到右下角，会有很多不同的路径可以走。我们把每条路径经过的数字加起来看作路径的长度。那从左上角移动到右下角的最短路径长度是多少呢？

回溯法代码实现：

def min_dist_recursive(weights):
    min_dist = float('inf')
    m = len(weights) - 1
    n = len(weights[0]) - 1
    i = 0
    j = 0
    cur_dist = weights[0][0]
    
    def _min_dist(i, j, cur_dist):
        nonlocal min_dist
        
        if i == m and j == n:
            if cur_dist < min_dist:
                min_dist = cur_dist
            return
        
        if i < m: #往下走
            _min_dist(i+1, j, cur_dist+weights[i+1][j])
            
        if j < n: #往右走
            _min_dist(i, j+1, cur_dist+weights[i][j+1])            

    _min_dist(i, j, cur_dist)
    return min_dist

weights = [[1, 3, 5, 9], [2, 1, 3, 4], [5, 2, 6, 7], [6, 8, 4, 3]]
print(min_dist_recursive(weights))

动态规划代码实现：

我们先画出一个状态表。状态表一般都是二维的，可以把它想象成二维数组。其中，每个状态包含三个变量，行、列、数组值。我们根据决策的先后过程，从前往后，根据递推关系，分阶段填充状态表中的每个状态。最后，我们将这个递推填表的过程，翻译成代码，就是动态规划代码了。

画出一个二维状态表，表中的行、列表示棋子所在的位置，表中的数值表示从起点到这个位置的最短路径。我们按照决策过程，通过不断状态递推演进，将状态表填好。为了方便代码实现，我们按行来进行依次填充。

def min_dist_dynamic(weights):
    m = len(weights)
    n = len(weights[0])    
    states = [[None]*n for i in range(m)]
    sum = 0
    for j in range(n): #填充第一行
        sum += weights[0][j]
        states[0][j] = sum
    sum = 0    
    for i in range(m): #填充第一列
        sum += weights[i][0]
        states[i][0] = sum
    for i in range(1, m):
        for j in range(1, n):
            states[i][j] = weights[i][j] + min(states[i][j-1], states[i-1][j])
    return states[m-1][n-1]
    
weights = [[1, 3, 5, 9], [2, 1, 3, 4], [5, 2, 6, 7], [6, 8, 4, 3]]
print(min_dist_recursive(weights))

5. 总结

贪心、回溯、动态规划的区别在于： 贪心每一步只需要保留那一个最优解， 回溯每一步所有解都保留， 动态规划只去掉状态重复解，动态规划每一步状态重复的，只保留该状态最优的解。