vkkt

统计学基础 协方差 1. 数学定义 协方差（Covariance）是概率论和统计学中用于衡量两个变量总体误差的指标。其数学公式为： $$ \text{Cov}(X, Y) ...

编码器（Encoder） 功能定义 将输入数据（如句子、图像）转换为隐空间表示（Latent Representation）。Encoder的目标是为每个输入位置生成增强表...

应用场景 输入 输入是a sequence of vectors，且长度可变 直接输入给传统神经网络，做不到 如果做变换，例如每个vector输入给一个神经网络，丢失全局信...

# 二分查找 有三种写法：闭区间、半开半闭区间、开区间，本质相同。 以闭区间为例： - 初始条件：0，n-1 - 循环条件：区间不为空，即left <= right - 更...

# 前/中/后序遍历 前/中/后序遍历的区别，本质上是根节点在左右子节点之前、之间、还是之后遍历。 遍历本质上有两种方式： - 深度优先dfs： - 深入到底+回溯，使用栈...

# 有效的括号 括号配对，栈的经典应用场景。左括号push右括号pop和匹配即可，python list就是栈。 细节： - pop前需要检查是否空列表，不能为空。 - 遍...

# 反转链表 核心：想清楚反转的每一步迭代状态、目的，以及相对应的要点。 状态：当前节点的上一节点已反转，也就是pre指向了pre的上一节点，pre和curr之间没有连接，...

如本系列第一篇文章所述，潜在结果框架（Potential Outcome Framework）主要解决的问题是因果效应评估（Causal Effect Estimatati...

因果推理的一大目标就是尽量消除混淆带来的偏倚（也就是那些非因果的关联关系），找出真正的因果关系。 Prerequisites 接合：https://juejin.cn/po...

辛普森悖论 从数据上很好理解，虽然在轻症和重症中，B疗法都更优（死亡率低）；但是A疗法的样本中，轻症病人更多，因此整体死亡率低于B疗法。 关键问题是：基于这个数据，我们应该...

更新中... AB实验基本要素 实验单元 多粒度 粒度从细到粗：元素、页面、对话、用户，细粒度 vs 粗粒度： 比较维度 细粒度 粗粒度 流量 大 小 用户体验连续性 差 ...

Chain rule Steps Forward pass Backward pass summary...

Tip 1: tuning your learning rate 需要监测Loss vs. # parameters updates的曲线，观察前几次的曲线走向 Adapt...

History 1958: Perceptron 1980s: Multi-layer perceptron Not significantly different fro...

Introduction autoregressive vs. non-autoregressive 图像生成也可以采取类似文字生成的autoregressive策略 ht...

大模型的必要性：Emergent ability The performances increases rapidly after models scale to a ce...

BERT：文字填空 vs. ChatGPT：文字接龙 Finetuning - 专才 使用方式：对预训练模型做改造 Head Finetuning：预训练模型的参数作为初始...

Examples As described in https://juejin.cn/post/7231540022595207229, the output of gen...

In concept, machine learning = find a function by itself Classified based on the outpu...

Step 1: Function set Target: $P_{w, b} (C_1|x)$ If target >= 0.5, output $C_1$ Else, o...