Chirp

Florence2 是微软于 2024 年 6 月推出的专用于视觉任务的小体积语言模型，适用于目标检测、对象分割、提取文字等图片模态任务。

总览 ACE-Step 是文生音频模型。比 LLM 方法更快，目标是成为音频生成领域的 Stable Diffusion。好大的口气。

DCT 在图像视频音频压缩领域用得比 FFT 更多。由于其能量更集中的特性，适合拿来裁剪不重要的信息。 本文主要通过 DFT 到 DCT 的推导加深对 DCT 的理解。

HuggingFace 上的模型可以视为 git 仓库进行 clone。这样子能够下载所有文件。 不过有点慢，还会下载 git 元数据导致使用过多流量和磁盘空间。我想要一键只下载最新的这些文件。

总览 对 YOLO 的具体运作原理仍然不甚理解，来读下 ultralytics 库的代码吧。调试 YOLO v12 的推理，以及训练。

最近在微调 Qwen VL 模型，使用 peft 库的 lora 进行微调。为了更高的推理效率，就把 lora 合并到了基底模型。但合并过后的模型输出效果非常差。

用 transformers 库写模型时发现个很离谱的 bug。离谱不在于 bug 本身，而是 transformers 本身已经意识到这个 bug，但因为 “速度更重要” 而搁置不改了。

配置 CUDA_HOME，并且传入 no-isolation 参数，就可以正确安装了。 参考来源 https://github.com/Dao-AILab/flash-attention/issues

最近有多显卡训练的需求，于是研究了一下分布式训练。 大致来说分为 Data Parallelism 和 Model Parallelism 两种策略。