写在前面
这个系列的笔记，将作为我过去一年多来在大模型领域一线实战的经验总结，以及作为大模型面试官的经验汇总，希望可以帮到更多打算踏入大模型算法领域的同学。
简要介绍一下自己的情况，8 年前通过自学入行人工智能，毕业加入阿里计算平台事业部，大规模机器学习系统，最近两年主要从事智能驾驶方向的大模型研究和实战。同时工作之余也做了一些算法教育相关的工作，辅导过一些学弟学妹。
为什么会想写这个系列
我是自学入行的，深知这里面的各种心酸，回想刚入门时，总是时不时在想，要是有人能将自己工作内容真实分享出来就好了。我准备面试时，也总是会想，要有个大佬能站在面试官的角度帮我分析一下这些题目就好了。
在我辅导过的学弟学妹中，大部分人也是同样的问题，因此才有了这个系列笔记的想法。我希望站在过来人的角度，给大家分享我的工作经验，还原大模型算法工作中用到的技术，以及从面试官的角度告诉你，为什么你的简历每次都石沉大海？为什么你每次面试都是炮灰？
为什么选择大模型方向
很简单，机会多，前景大
相比于深度学习等其他领域，大模型现在还处于洼地，有更大的需求。而且相比AI其他方向，大模型的优质资料实在太少，大多都是各种搬运和抄袭，很少有高质量的一线工作实战经验分享和面试总结
所以我会在24年重点做这一块，如果大家有什么好的建议，也可以私信我。
打算写哪些内容
目前的打算分成几个模块：工作实战、面试能力、技术概念、论文复现，大家有什么其他想看的，也可以私信我，尽量满足大家的需求
1. 工作实战
在工作实战这块，我会结合自己8年的算法工程师经验，给出一个大模型工程师的实际工作内容和技术要求
目前国内各家出了很多的国产大模型，但大部分公司做“基座”的并不多，更多的是聚焦大模型在各领域的落地
因此利用垂直领域数据+大模型微调是工作的重点
对于模型的选型，一定要结合公司的硬件架构水平来定，并不是越大越好
数据层面，大模型的微调对数据的质量要求非常高，这块花的时间往往占据60%以上
产品化层面，还要注重大模型的轻量化和大模型推理加速这些实战经验和技巧，平时多分析数据的badcase，总结问题，从业务数据的源头找到解决场景落地过程中问题的办法。
2. 面试能力
市面上有不少所谓的大模型面试题，不过说句实话，90%都比较垃圾，真实面试根本不会这么问
所以作为这个系列的重点，我会整理我作为面试官参与的多场大模型面试
精选出优质面试题目 【至少300道】 进行详细讲解
说明一下，这个讲解不仅仅是给个答案让你背下来那么简单，那样没多大意义
我会以面试官的视角告诉你，当面试官问出这个问题时，他想考察你什么？他期待的答案是什么？给你挖了哪些坑？在面试应该怎么引导面试官？
所谓知己知彼，搞清楚面试官的想法，你才能从更高维度去把控面试
很多同学看完之后就会恍然大悟，为什么你每次面试都被面试官血虐？为什么你每次面试都是炮灰？
3. 论文代码复现
很多同学可能认为进入产业界了，每天游走在各个繁忙的业务之间，根本没有时间看论文。
首先我想说，这个想法是极其错误的！
这么说吧，算法工程师是要求自我更新最快的一个工种。知识更新频率排序：算法工程师 > 软件工程师 > 硬件工程师
就拿大模型领域来说，如果你3个月没有追最新的论文，可能业界热点技术你就很难跟上了，除非花大量时间去恶补
对于我自己而言，基本每周都会follow最新论文列表，选择刷6～10篇不错的论文，花15～20分钟去速看
对于特别优秀的论文，我会花1个小时，甚至半天去精读，例如InstructGPT，DPO这种级别的，同时还会去复现论文思想，或者阅读相关的源码
如果看论文能理解到7分，那读完代码一定可以帮助你理解到9分
所以读到这里你不禁要问自己一个问题：为什么我掌握的深度不够？那一定是你论文读太少了。。
4. 技术概念
这块我会结合自己工作中的实际应用，尽可能的把大模型中的各种技术概念，做一个通俗易懂的讲解
大模型其实是很复杂的一个综合性领域，涉及的技术范围之广
首先你得会机器学习，还要会点深度学习，深度学习领域的NLP技术你必须得熟练掌握
然后就是大模型的预训练技术，提示工程技术，高效微调技术。。。
除了算法理论，你还得对工程架构和系统有所了解，因为随时有可能训练开发时遇到了问题要排查。
比如你要训练一个有几百亿参数的大模型，这时候你得上分布式来训练吧，所以就要了解分布式的通信技术，流水线技术，数据并行技术。
如果单个机器放不下，还需要用到模型并行技术，张量并行技术。如果发现训练速度太慢，一个任务要跑几个月，这肯定是不可接受的。这时候你还要会训练优化的技巧，比如访存优化相关的FlashAttention, PagedAttention, KV Cache，重计算等技术。
这还没完，模型距离真正产品上线还要做一个事儿，就是模型推理优化。达不到线上QPS怎么办？——优化你模型的模型延迟；吞吐率太小了怎么办？——优化你模型的并行度；模型太大了放不下怎么办？——减小模型的大小（量化/稀疏化/剪枝）。。把这些东西都完整的弄完了，这才算是一个合格的大模型产品上线了
写在最后
以上就是系列笔记内容的大体介绍，也给自己24年立下一个flag，如果大家还有其他想要进一步了解细节的技术，也可以私信我，如果我能力允许的话会加入到待更新列表中。
如果接下来的一年
没有突然几个月的封闭项目
导致断更
这个导图中的系列内容
大概率会成为掘金上
大模型算法技术和面试指南的干货之一
可能
没有之一
