系列文章

LLM 数据处理 data-juicer [https://github.com/modelscope/data-juicer] 一个一站式数据处理系统，使数据质量更高、更丰富、更易于（多模态）LLM

上一篇完成DPO的训练，但是模型的输出效果不好，因此在找原因，于是将理论重新过一遍，以发现每个环节需要优化的地方，本文就是理论知识：《Transformer模型中的位置编码》。

上一篇如何使用LoRA训练大模型，但是模型的效果不是很好，可以看如下对话： ... 对话的偏好不是我们想要的答案，所以需要继续微调训练，这篇文章就介绍DPO。

继续《从0开发大模型》系列文章，上一篇用全量数据做微调，训练时间太长，参数比较大，但是有一种高效的微调方式LoRA。 1、LoRA是如何实现的? 在深入了解 LoRA 之前，我们先回顾一下一些基本的线

继续写《从0开发大模型》系列文章，上一章主要数据数据预训练，让模型能学到句子接龙和部分语言理解能力，获取基座版本，但是用基座版本的模型的对话能力太弱了，需要用大量的数据微调，本文主要介绍如何用SFT训

最近在看深度学习的一些资料，发现有些基础知识比较模糊，于是重新整理了一下深度学习的基础知识。 1、基础知识 1.1 神经元 神经元是生物学的概念，神经网络的基本组成单元，神经元细胞有兴奋和抑制两种功能

在早期的图像分类中，通常流程是先人工提取特征，然后用对应的机器学习算法对特征进行分类，分类的准确率一般依赖特征选取的方法，甚至依赖经验主义。 Yann LeCun最早提出将卷积神经网络应用到图像识别领

在深度学习中，求导几乎是所有优化算法的关键步骤，但是对于单个值的求导比较简单，但是如果对于模型训练过程中每次都需要手动求导就很麻烦，因此深度学习框架都提供了自动导数（自动微分）。 1、PyTorch自

继续写《从0开发大模型》系列文章，本文主要介绍预训练过程。 预训练是目的是让模型学习知识，需要将预处理的数据（《机器学习|从0开发大模型之数据预处理》）中生成的 pretrain_data.bin 文

本文主要介绍数据的预处理。 1、找大模型的数据 前面写了一篇文章《ChatGPT|大语言模型训练有哪些开源数据集? 》（https://mp.weixin.qq.com/s?__biz=MzA3Njk

机器学习|从0开发大模型之Tokenizer训练 继续写《从0开发大模型》系列文章，本文主要介绍从头快速训练一个Tokenizer。 1、Tokenizer 什么是Tokenizer，作用是什么？对于

最近在忙一些AI相关的项目，也看了一些资料，而很多内容没有系统的总结，虽然研究生阶段是搞机器学习的，但是这个领域的发展太快了，一年不学就已经跟不上了😂，为了解决系统的总结一些知识点，于是我又开始了漫长

监控一直是我们在开发过程中老生常谈的话题，大多数开发认为监控是运维的工作，我们只需要关注业务逻辑，打印对应的日志，增加上报数据，或者是用一些轻量的开源监控即可，是这样么？ 其实随着云原生的架构演进，微

简介 mimalloc 是微软研究院在2019年发表并开源的一个新的内存分配库（https://github.com/microsoft/mimalloc）。

近期事情比较多，所以停更了半个月，非常抱歉，这半个月也在梳理一下自己的知识体系，寻找明年的一些规划。 今天还是继续《Kubernetes实践》，为了方便我和大家对一些知识点的理解，后续还是会在文章开始

本文主要介绍k8s的核心原理，包括浅析各个模块的运行逻辑和k8s中的网络通讯。 第一部分：模块 核心架构 以上是在k8s中的各个模块，下面就来详细介绍一下各个模块的作用和原理。 1、API Serve

Kubernetes简称k8s，由于篇幅的原因，所以将k8s拆分为4篇文章： Kubernetes基础知识 Kubernetes核心原理 Kubernetes实践 Kubernetes源码解析...

我们在​写Prompt可能经常遇到不准确或者无法获得外部知识，因此本文讲述CoT和ReAct如何运作并提高大语言模型准确性。 第一部分：CoT（思维链） 1、什么是CoT 通用的Prompt： CoT

上一篇文章讲了《性能优化（CPU和内存）》，这一节我们主要是聊聊网络优化。 ## 第一部分：网络性能度量 ### 1、设备度量 设备主要是指块设备，由于我们在开发过程中，需要磁盘操作，比如写日志等，所

上一篇文章讲了高性能编程的工具，这一篇我们基于前面的一些知识点和工具来聊一下Linux下的性能优化（本知识点分为两篇，当前主要介绍CPU和内存性能优化）。 第一部分：CPU和内存性能度量 系统调用 这