前言
ChatGPT的爆发的确出乎人的意料，它的效果的确是太好了，我个人认为属于AI的大时代到了。相信大家用过都能感受到，尤其是作为NLP算法工程师，更加明白我们自己日常做的小玩具和ChatGPT之间的差距，这给我带来了极大的焦虑。
焦虑过后，仔细思考下，ChatGPT之后，我们还能做什么？作为NLP工程师，天天思考如果取代人类，没想到有一天最先被取代的是我们自己，小丑竟是我自己的吗？
这篇文章记录下自己对于ChatGPT诞生后的一些思考。
1 任务范式的变化
在BERT诞生之后，各大细分任务的范式进行了统一，而具体可以大致分为两大范式：自然语言理解与自然语言生成。而ChatGPT的诞生，标志着这两大范式的统一，在可预见的未来，NLP的范式很可能只会留下一种：自然语言生成，而我相信，这一日子不远了。
2 训练模式的变化
BERT 诞生之后，训练模式由 训练模式变成了 预训练->微调 模式。而 ChatGPT 的诞生又指向了另一个方向：预训练->SFT（微调）->RLHF。对比下这两种训练模式的差别：
- 预训练层面： 预训练从 BERT/T5/BART/GPT 转变为 GPT，模型更大，需要进行分布式预训练。
- 微调层面： 微调从原来的各个任务统一到生成任务，模型更大，需要进行分布式微调
- RLHF层面：新的模式，强化学习应用到NLP领域。 回过头来看，如果从训练模式的角度来说，与原来的差别在于两点：分布式训练与强化学习。
3 分布式训练
由于受到显卡显存的限制约束，对于超大模型来说，不得不适用分布式训练来加载模型，而目前这块的训练框架不多，Megatron+DeepSpeed 算一个。 相信接下来一段时间，基于 Pytorch 与 Tensorflow 的分布式大模型预训练会大规模涌现，正如上次范式转变时候 Transformers 等一系列仓库的诞生一样，大浪淘沙，英雄辈出。
可惜的是，我自己偷偷摸摸搞得BERT/T5/BART那一套简单易用的代码，就快被淘汰了，真是伤心啊。
4 接下来业界的几个趋势
首先，对于大厂来说，尤其是阿里，腾讯，百度，华为这种云服务商来说，ChatGPT以及更进一步的优化将会是兵家必争之地。有资格复现 ChatGPT 大厂不多，从数据角度看，搜索引擎公司最有希望，最终鹿死谁手，尚未可知。
其次，对于垂域的中厂如携程，知乎，小红书来说，它们并没有足够的资源来进行ChatGPT的复现，但是，一旦有大的 中文GPT3 开源，那么，这些厂商针对后面的微调以及 RLHF 阶段依旧是大有可为的。
最后，未来80%的中小公司的NLP需求将不复存在，直接调用大厂API是他们最终的归宿。对于中小公司而言，由于业务量并不大，实际上对于算法的指标要求并不严苛，而ChatGPT在大多数任务上的 few-shot 就已经能够实现足够好的效果，对于小公司来说，完全足够了。
ChatGPT的诞生，绝对是AI历史上第二次重大的突破，第一次当属AlphaGo，相信接下来，ChatGPT 将开始赋能各个行业，并且与CV，语音等领域结合，形成新的生产力。想起来这些，就让人兴奋，AI的大时代将要来临。
5 ChatGPT 之后，我们还能做什么？
回过头来再看从技术的角度看，我们能做的还有哪些？
首先，毫无疑问是第一梯队：预训练超大模型。但是相信90%的NLP算法工程师都没有机会参与其中，只有大厂寥寥几个部门有参与的资格。
然后，针对微调部分，相信接下来中大厂还需要一部分算法工程师去用业务数据来进一步预训练和微调超大模型（如果业界开源超大模型），毕竟去调用API，把业务数据拱手让人是不太可能的。
其次，针对强化学习部分，相信接下来这块是重点的业务范围，随着各个垂域的ChatGPT诞生，如何来进行自生性学习也是至关重要的。
最后，对于很多中小厂来说，调用API来进行可能是最终的结局了，能做的可能只有如何进行更好的 Prompt了。
总结来说，业务方向就这么几个：
- 分布式预训练
- 分布式微调
- 强化学习
- 蒸馏超大模型
- 编写适配业务的 Prompt
- 大模型推理部署
考虑到，如果在大模型的基础上仅仅针对业务数据来进行进一步预训练+微调的话，所需的资源其实并没有那么大，而这部分可能是未来绝大多数中大厂的必争之地。
所以，小伙，你知道你该学啥了不？回过头来再看我那篇文章zhuanlan.zhihu.com/p/87895563，现在更难了啊。
最后
从技术的角度来说，我相信ChatGPT只是一个开始，一个标志，标志着NLP正式进入全面商业化的时代，接下来期待CV，语音等领域的大模型诞生，之后才会是真正的百花齐放阶段。在可预见的未来，依托于这些大模型AI能力的公司将会如雨后春笋般出现。
我们可能又会进入一个创业的好时代。
最后，我表达下我的看法：我对 AI 的发展非常乐观，但是对算法工程师的发展表示悲观，但对高级算法工程师的未来表示极度乐观。
