在 ChatGPT 的语言模型公式中，左半边是���(�(�1,�2,...,��))log(P(w1,w2,...,wn))，它其实就是一种最大似然的建模方式。在概率论中，最大似然概率是一种最为简单，也最为广泛应用的近似估计方法。比如：
2023 年，全中国人口总数大约 14 亿。作为国家统计局，应该如何花费最低成本，统计全国人口各个年龄段的分布情况呢？
为了解决这个问题，把全国所有人口的出生年月全部数据都拉出来统计一遍，得出“70 后总共 2.1 亿，80 后 2.4 亿，90 后 2.0 亿，00 后 1.5 亿”这样的结论，当然是可以的，但是成本太高了。
一个非常直观的思路，就是抽样调查，我们去大街上、菜市场里、学校里、写字楼里分别找一些人，询问他们的出生年月，然后做一个统计，直接把这个统计结果当作是全国人口的年龄分布。 在这个直观的思路背后，就蕴含了最大似然估计方法，我们利用采样的数据分布去估计整体的数据分布。它假设了一个前提，就是认定采样的数据非常具有代表性。只要我采样了 1000 个人的年龄分布数据，我就有理由充分相信，这一组数据是发生概率最大的那一组，是具有代表性的，这就是最大似然估计（Maximum likelihood estimation）。随着采样的数量越来越大从 1000 人到 10 万人，再到更多，估计的结果也就越来越接近全国 14 亿人的整体年龄分布。
