系列文章

最近OpenAI的发布新功能介绍，连续12天直播，为了大家能收集到完整的视频（来源B站等其他视频网站），本期整理的是7-9天的内容介绍。 详细内容跳转《OpenAI Days12之7-9(中英字幕)》

最近OpenAI的发布新功能介绍，连续12天直播，为了大家能收集到完整的视频（来源B站等其他视频网站），本期整理的是4-6天的内容介绍。 详细内容跳转《OpenAI Days12之4-6(中英字幕)》

最近OpenAI的发布新功能介绍，连续12天直播，为了大家能收集到完整的视频（来源B站等其他视频网站），本期整理的是1-3天的内容介绍。 具体视频可以跳转...

无论是在机器学习，深度学习还是人工智能中，我们都在寻找一种模拟人脑的机制，注意力机制源于人脑，比如当我们欣赏一本书的时候，当我们对某个知识点感兴趣的时候，会映像深刻，可能会反复读某一段文字，但是对于其

解释黑箱模型和数据集 [Aequitas] https://github.com/dssg/aequitas 一个开源的偏见审计工具包，供数据科学家、机器学习研究人员和政策制定者审计机器学习模型中的歧

LLM 数据处理 data-juicer [https://github.com/modelscope/data-juicer] 一个一站式数据处理系统，使数据质量更高、更丰富、更易于（多模态）LLM

上一篇完成DPO的训练，但是模型的输出效果不好，因此在找原因，于是将理论重新过一遍，以发现每个环节需要优化的地方，本文就是理论知识：《Transformer模型中的位置编码》。

上一篇如何使用LoRA训练大模型，但是模型的效果不是很好，可以看如下对话： ... 对话的偏好不是我们想要的答案，所以需要继续微调训练，这篇文章就介绍DPO。

继续《从0开发大模型》系列文章，上一篇用全量数据做微调，训练时间太长，参数比较大，但是有一种高效的微调方式LoRA。 1、LoRA是如何实现的? 在深入了解 LoRA 之前，我们先回顾一下一些基本的线

继续写《从0开发大模型》系列文章，上一章主要数据数据预训练，让模型能学到句子接龙和部分语言理解能力，获取基座版本，但是用基座版本的模型的对话能力太弱了，需要用大量的数据微调，本文主要介绍如何用SFT训

最近在看深度学习的一些资料，发现有些基础知识比较模糊，于是重新整理了一下深度学习的基础知识。 1、基础知识 1.1 神经元 神经元是生物学的概念，神经网络的基本组成单元，神经元细胞有兴奋和抑制两种功能

在早期的图像分类中，通常流程是先人工提取特征，然后用对应的机器学习算法对特征进行分类，分类的准确率一般依赖特征选取的方法，甚至依赖经验主义。 Yann LeCun最早提出将卷积神经网络应用到图像识别领

在深度学习中，求导几乎是所有优化算法的关键步骤，但是对于单个值的求导比较简单，但是如果对于模型训练过程中每次都需要手动求导就很麻烦，因此深度学习框架都提供了自动导数（自动微分）。 1、PyTorch自

继续写《从0开发大模型》系列文章，本文主要介绍预训练过程。 预训练是目的是让模型学习知识，需要将预处理的数据（《机器学习|从0开发大模型之数据预处理》）中生成的 pretrain_data.bin 文

本文主要介绍数据的预处理。 1、找大模型的数据 前面写了一篇文章《ChatGPT|大语言模型训练有哪些开源数据集? 》（https://mp.weixin.qq.com/s?__biz=MzA3Njk

机器学习|从0开发大模型之Tokenizer训练 继续写《从0开发大模型》系列文章，本文主要介绍从头快速训练一个Tokenizer。 1、Tokenizer 什么是Tokenizer，作用是什么？对于

最近在忙一些AI相关的项目，也看了一些资料，而很多内容没有系统的总结，虽然研究生阶段是搞机器学习的，但是这个领域的发展太快了，一年不学就已经跟不上了😂，为了解决系统的总结一些知识点，于是我又开始了漫长

监控一直是我们在开发过程中老生常谈的话题，大多数开发认为监控是运维的工作，我们只需要关注业务逻辑，打印对应的日志，增加上报数据，或者是用一些轻量的开源监控即可，是这样么？ 其实随着云原生的架构演进，微

简介 mimalloc 是微软研究院在2019年发表并开源的一个新的内存分配库（https://github.com/microsoft/mimalloc）。

近期事情比较多，所以停更了半个月，非常抱歉，这半个月也在梳理一下自己的知识体系，寻找明年的一些规划。 今天还是继续《Kubernetes实践》，为了方便我和大家对一些知识点的理解，后续还是会在文章开始