背景

去年12月体验chat gpt的时候，还感觉是个简单拟合，觉得语言模型和之前有量的变换但没有质的变化。等到三月份再看的时候已经是“洞中才数日，世上已千年”，这个还是要不断提醒自己：虽然媒体总想搞大新闻，但自己求证的时候还是要严谨，最起码得读下论文，只是肤浅体验的话，那岂不是和媒体一样了？外行看热闹，内行也看热闹

LLM

我对语言模型在工作后是做过一些实验的，反正char-level的语言模型不好使，结果都没法看，也可能是当时做的还不够🌚。一直以来，自然语言的研究(nlp)都没有图像研究fancy，从普通用户的视角，图片肯定比文本更容易接受，更重要的是从数学角度来看，图像的输入是连续值，而文本必须是离散值，这使得图像里面火热的

• 图像风格迁移(模型很fancy训练好分类模型，反向优化输入参数👍)

• 人脸识别(容易落地，AI四小龙安身立命的本领)

• GAN图像生成(🔥的一塌糊涂)

• 自动驾驶(前景无限，媒体上大姨妈式的“L4L5来了”，大佬们来回忽悠)

还有医疗诊断(比自动驾驶前景还好，可惜低估了行业的门槛高估了技术)这个弃儿。nlp都没有找到图像算法直接转为文本算法的例子，“非不为也，实不能也”因为文本的数据表示都是one-hot格式的，生而高维且离散，深度模型上不够友好，再加上还有些时序特征使得无法并行操作❗️❗️简直全身的debuff。所以后来的word2vect简直是一道光，奠基nlp深度学习，不止nlp，当时万物都可以embedding，记得airbnb的那片论文让人印象深刻。

之后transformer的提出对于深度学习领域来说，除了CNN, RNN这两种基本类型模型外终于出了全新的类型，对于nlp的是重大利好，最起码解决了rnn不能并行的问题，在机器翻译领域直接加冕。当时的人们没想到transformer居然有天把触角伸到图像领域，走向了实现通用人工智能(AGI)的道路。18年基于transformer的GPT对于大家来说只是一个新思路，风头其实一直在ELMo, Bert上，bert真的是太火了，之后的nlp任务差不多都是基于bert的，transformer的各种attention的“内卷式”的连接，mask的变化都很厉害，应该算是chatGPT出来前还都是这样的。 想想在语言模型上我走过的弯路：

1. 一直以为跟图像生成一样，是随机生成的，其实后来的图像也不是完全随机的，受语言描述控制的

2. 句子向量的编码和解码

人菜就是应该多看论文，不能靠自己瞎想😅

对open ai的理解一直以为是做强化学习的，因为之前用过open ai的gym环境，在业内是经典，以为是对标depmind。对gpt的认知主要是因为bert太好用了导致没去观察。

在chatGPT之后我看了论文，gpt3.5, gpt3, gpt2倒着看了，其实看到gpt2的时候才发现，其实open ai其实从一开始就是想做AGI的，他们的字里行间无处不流露这一点，论文当年都是2019年的，那时候就这么想了可谓是太大胆了，而且他们找到了roadmap，朝着大语言模型做下去，我感觉gpt2最后一次大参数没有放出来的时候他们知道自己的方向是对的。其实参数越多，不一定效果越好，参数多，模型退化，语言模型退化这个是很常见的事情，怎么克服反而是很难的。早期的图像模型加深层数，加大参数，模型退化直到残差网络才解决了这个问题。这一次没有大的模型改进只用transformer，加大数据，加大参数，大力出奇迹，现实中的“力大砖飞💫”，只是砖的速度突破了第一宇宙速度的时候，那时候的砖也就不是砖了，变成卫星🛰️了。

open ai现在的荣耀丝毫不会因为它被微软注资或者不开源而影响，是一个伟大的公司，载册人类历史，科技又一次改变了历史。回想下，当时的人们都想着它会是一个小而美的公司，最多和deep mind持平，在部分领域获得最高成就。其原因不仅仅是它的资金实力不如大厂，最重要的是它没有大厂的数据，做模型的话，效果好不好，数据是最重要的，没有数据那真是巧妇难为无米之炊，就算在公开数据集上刷榜又如何，那也没在真实的现实场景里得到验证。只是open ai跳过了这个问题，就用所有的可用的数据，做个万能的任务，做一个什么都能做的任务，坦白来讲跟搞“大跃进”差不多，只是结果是work的，参数是收敛的。当然上面说的都是客观因素，主观的成功因素还是因为人才，不是路不平，还是人不行。

让人翘首期盼的“下一个十年”终于来了，虽然她不是AI，不是区块链，不是元宇宙，不是VR，不是AR，不是WEB3，历史悄然打转来到了一个更大的AI -> AGI的时代。虽然比设想的2020年晚了3年，但是“互联网时代”->"移动互联网时代" -> "AGI时代"在延续，2019年有人说“这是近来十年来最糟糕的一年，也是未来十年最好的一年”，现在看来他的前半句是对的，2019年也正是gpt开始不开放参数的时候，希望总是孕育在黑暗中的，人类善于总结，善于归纳，预测未来却总是失败，不如乐观一点，置身事中。

旧时代的太阳就要消失了，新时代的火星已经迸发，燃烧。担心黑夜的人们不如抬起头来看“我们的太阳照常升起”，错过了“移动互联网时代”的人们，Not This Time!