系列文章

最近在看深度学习的一些资料，发现有些基础知识比较模糊，于是重新整理了一下深度学习的基础知识。 1、基础知识 1.1 神经元 神经元是生物学的概念，神经网络的基本组成单元，神经元细胞有兴奋和抑制两种功能

在早期的图像分类中，通常流程是先人工提取特征，然后用对应的机器学习算法对特征进行分类，分类的准确率一般依赖特征选取的方法，甚至依赖经验主义。 Yann LeCun最早提出将卷积神经网络应用到图像识别领

在深度学习中，求导几乎是所有优化算法的关键步骤，但是对于单个值的求导比较简单，但是如果对于模型训练过程中每次都需要手动求导就很麻烦，因此深度学习框架都提供了自动导数（自动微分）。 1、PyTorch自

继续写《从0开发大模型》系列文章，本文主要介绍预训练过程。 预训练是目的是让模型学习知识，需要将预处理的数据（《机器学习|从0开发大模型之数据预处理》）中生成的 pretrain_data.bin 文

本文主要介绍数据的预处理。 1、找大模型的数据 前面写了一篇文章《ChatGPT|大语言模型训练有哪些开源数据集? 》（https://mp.weixin.qq.com/s?__biz=MzA3Njk

机器学习|从0开发大模型之Tokenizer训练 继续写《从0开发大模型》系列文章，本文主要介绍从头快速训练一个Tokenizer。 1、Tokenizer 什么是Tokenizer，作用是什么？对于

最近在忙一些AI相关的项目，也看了一些资料，而很多内容没有系统的总结，虽然研究生阶段是搞机器学习的，但是这个领域的发展太快了，一年不学就已经跟不上了😂，为了解决系统的总结一些知识点，于是我又开始了漫长

监控一直是我们在开发过程中老生常谈的话题，大多数开发认为监控是运维的工作，我们只需要关注业务逻辑，打印对应的日志，增加上报数据，或者是用一些轻量的开源监控即可，是这样么？ 其实随着云原生的架构演进，微

简介 mimalloc 是微软研究院在2019年发表并开源的一个新的内存分配库（https://github.com/microsoft/mimalloc）。

近期事情比较多，所以停更了半个月，非常抱歉，这半个月也在梳理一下自己的知识体系，寻找明年的一些规划。 今天还是继续《Kubernetes实践》，为了方便我和大家对一些知识点的理解，后续还是会在文章开始

本文主要介绍k8s的核心原理，包括浅析各个模块的运行逻辑和k8s中的网络通讯。 第一部分：模块 核心架构 以上是在k8s中的各个模块，下面就来详细介绍一下各个模块的作用和原理。 1、API Serve

Kubernetes简称k8s，由于篇幅的原因，所以将k8s拆分为4篇文章： Kubernetes基础知识 Kubernetes核心原理 Kubernetes实践 Kubernetes源码解析...

我们在​写Prompt可能经常遇到不准确或者无法获得外部知识，因此本文讲述CoT和ReAct如何运作并提高大语言模型准确性。 第一部分：CoT（思维链） 1、什么是CoT 通用的Prompt： CoT

上一篇文章讲了《性能优化（CPU和内存）》，这一节我们主要是聊聊网络优化。 ## 第一部分：网络性能度量 ### 1、设备度量 设备主要是指块设备，由于我们在开发过程中，需要磁盘操作，比如写日志等，所

上一篇文章讲了高性能编程的工具，这一篇我们基于前面的一些知识点和工具来聊一下Linux下的性能优化（本知识点分为两篇，当前主要介绍CPU和内存性能优化）。 第一部分：CPU和内存性能度量 系统调用 这

本文介绍Docker的网络，包括网桥，Overlay等，Docker网络需要处理容器之间，容器与外部网络和VLAN之间的连接，设置之初相对复杂，随着容器化的发展...

云原生技术生态是一个庞大的技术集合，为了便于大家对于Docker、Kubernetes、Prometheus、Envoy、CoreDNS、containerd、Fluentd、Vitess、Jaege

上篇文章主要是介绍《Linux高性能网络编程十谈|协程》，整理如何设计高性能网络编程，接下来的两篇文章主要介绍工具和性能问题分析的总结...

在讲协程之前，先解决上一篇文章《Linux高性能网络编程十谈|多进程和多线程》留下的思考题： （1）如果在多线程程序中fork()子进程，会发生什么，我们要考虑那些问题？ 首先我们会想到如果一个有多个

接着上篇《PyTorch简明教程上篇》，继续学习多层感知机，卷积神经网络和LSTMNet，具体实现如下：