瓶身描绘的牡丹

柔性 Actor-Critic（Soft Actor-Critic，SAC）算法采用了最大化熵的想法。学习的目标是最大化熵正则化的累积奖励而不只是累计奖励，从而鼓励更多的探索。

A3C是A2C的异步版本。在A3C的设计中，协调器被移除。每个Worker节点直接和全局行动者和全局批评者进行对话。

为了解决 High Variance 和 High bias 之间的矛盾，可以把它们结合在一起，利用value based 和 policy based 两类方法各自的优势,就有了集大成的 AC类方法