机器学习

ONNX 官方文档写得挺零碎的，好不容易找到量化的示例代码。32bit 的权重用 QUInt8 量化理论上能缩小到原来的四分之一大小。

最近在微调 Qwen VL 模型，使用 peft 库的 lora 进行微调。为了更高的推理效率，就把 lora 合并到了基底模型。但合并过后的模型输出效果非常差。

最近有多显卡训练的需求，于是研究了一下分布式训练。 大致来说分为 Data Parallelism 和 Model Parallelism 两种策略。

论文 Neural Networks Fail to Learn Periodic Functions and How to Fix It 提出了更适合周期性数据 Snake 激活。

小波变换，可以视为短时傅里叶变换的变体，用于更灵活地分析信号分频随时间的变化。小波变换等价于自动变化窗口大小的短时傅里叶变换：对于低频 窗口更宽，对于高频 窗口更窄。

习惯上位置编码的 theta 都会设置为 10000。但针对不同的问题或是极端情况，例如 ViT 序列相对较短，若仍然保持 10000 会极大浪费通道数量。

针对 Python 库 pytorch_tabnet 的 TabNetClassifier 模块，使用泰坦尼克号数据进行 TabNet 的训练过程与网络结构探究。

只需要一句 model.compile()，就可以加速 PyTorch 模型的推理和训练速度。 若想进一步细调模型编译行为，就需要传入参数了。

RMSNorm 是一种改进的 Layer Norm，不需要记录方差和均值，只需要一份权重，节省资源。 之前要用上 RMSNorm 都需要自己写一份。 把 PyTorch 更新到 2.4 版本，就可以通

不幸的是，PyTorch 并没有提供直接的查看 module 所在 device 的方法。原因是一个 module 内的 tensor 所在设备不一定是统一的。但可以换一个思路。

bottom——好看好用自定义程度高，Mac OS、Windows 和 Linux 跨平台兼容。CPU、内存、温度、网络等等等等一目了然，布局可自定义，用起来非常舒服。

后合成指数移动平均（post-hoc synthesized EMA）是 EMA 改进方法，可进一步提升模型能力。