1、一些概念的理解

人工智能、机器学习、深度学习的关系：其中一个角度来说，人工智能是目标，机器学习是其中一种手段（让机器拥有自己学习的能力，而不是hand-crafted rules，人类设定的rules无法超越人类），深度学习是机器学习的其中一种方法。
机器学习的3个步骤：①假设一个function set，叫做model(模型)。这个function set里面有成千上万的function。②机器根据训练资料判断一个function是好的，还是不好的。③需要一个好的演算法，从function set里面挑出一个最好的的function。

以上是课上的一种通俗解释。其它教材的另外的说法是：机器学习的三要素：模型、策略、算法。或者叫三步骤：模型假设、模型评估、模型优化

2、机器学习的场景

蓝色的方块，指的是机器学习的情景，通常是无法人为控制的。比如，因为我们没有data做监督学习，所以我们才做reinforcement learning。这里按（带标签的）数据量的多少来区分情景。
红色的方块，指的是task，即在场景下要解决的问题，有regression回归问题、有classification分类问题、有structured learning结构化学习。所以在不同的情境下，都有可能要解这个task。structured learning 中的输出是有结构性的，例如在语音辨识里面，机器输入是声音讯号，输出是一个句子。
绿色的方块，指的是不同task里面有不同的model，即不同的算法。

按（带标签的）数据量的多少来区分情景：

监督学习的问题是我们需要大量的training data。
有没有办法减少label需要的量呢？就是半监督学习。假设你想做猫狗图片分类。你有少量的猫和狗的labelled data，同时又有大量的Unlabeled data

另外一个减少data用量的方向是迁移学习。假设还是做猫和狗的分类问题，只有少量的有label的data，还有大量的data中可能有label也可能没有label。并且跟我们现在要考虑的问题是没有什么特别的关系

更加进阶的就是无监督学习，我们希望机器可以学到无师自通。
reinforcement learning是什么呢？在reinforcement learning里面，我们没有告诉机器正确的答案是什么，机器所拥有的只有一个分数，就是他做的好还是不好。若我们现在要用reinforcement learning方法来训练一个聊天机器人的话，他训练的方法会是这样：你把机器发到线下，让他和客人对话，然后讲了半天以后，最后仍旧勃然大怒把电话挂掉了。那机器就学到一件事情就是刚才做错了。但是他不知道哪边错了，它就要回去自己想道理，是一开始就不应该打招呼吗？还是中间不应该在骂脏话了之类。它不知道，也没有人告诉它哪里做的不好，它要回去反省检讨哪一步做的不好。机器要在reinforcement learning的情况下学习，机器是非常intelligence的。 reinforcement learning也是比较符合我们人类真正的学习的情景，这是你在学校里面的学习老师会告诉你答案，但在真实社会中没人回告诉你正确答案。