课程笔记：2025李宏毅机器学习

编码器（Encoder） 功能定义 将输入数据（如句子、图像）转换为隐空间表示（Latent Representation）。Encoder的目标是为每个输入位置生成增强表示，因此输出长度自然等于输入

应用场景 输入 输入是a sequence of vectors，且长度可变 直接输入给传统神经网络，做不到 如果做变换，例如每个vector输入给一个神经网络，丢失全局信息 如果考虑一定window

Chain rule Steps Forward pass Backward pass summary

Tip 1: tuning your learning rate 需要监测Loss vs. # parameters updates的曲线，观察前几次的曲线走向 Adaptive learning r

History 1958: Perceptron 1980s: Multi-layer perceptron Not significantly different from DNN today 19

Introduction autoregressive vs. non-autoregressive 图像生成也可以采取类似文字生成的autoregressive策略 https://juejin.c

大模型的必要性：Emergent ability The performances increases rapidly after models scale to a certain level Ch

BERT：文字填空 vs. ChatGPT：文字接龙 Finetuning - 专才 使用方式：对预训练模型做改造 Head Finetuning：预训练模型的参数作为初始参数，基于新的训练数据，更新

Examples As described in https://juejin.cn/post/7231540022595207229, the output of generative learni

In concept, machine learning = find a function by itself Classified based on the output of the funct

课程笔记：2023李宏毅机器学习——ChatGPT原理 名称、本质、历史、训练流程、新的研究课题等等

Application stock market forecast self-driving car recommendation Step 1: Model Linear model:

Application credit scoring medical diagnosis handwritten character recognition Regression? Why not r

Step 1: Function set Target: $P_{w, b} (C_1|x)$ If target >= 0.5, output $C_1$ Else, output $C_2$ Ba