FT542

在训练垂直领域的 Video-Text 模型时，我们通常遵循 Data Ingestion -> Cleaning -> Chunking -> Embedding 的标准链路。

在训练垂直领域的 Video-Text 模型时，我们通常遵循 Data Ingestion -> Cleaning -> Chunking -> Embedding 的标准链路。但是问题很多。

在 CVPR 等顶会论文中，经常提到数据集的 Bias 问题。在视频领域，一个典型的 Bias 就是**“平台水印”**。 如果你的负样本（Negative Samples）大多来自无水印的电影切片

在多模态大模型（LMM）的训练中，我们需要海量的 Video-Text 对齐数据。然而，直接从公开网页抓取的数据往往带有平台水印（Watermark）或硬字幕，这会严重影响模型对画面语义的理解

1. 基于 Node.js 的 CI/CD 资源压缩流水线 依靠人工压缩图片是不靠谱的且难以维护。最佳实践是在 Git Hook 或 CI 构建阶段，引入自动化脚本对资源进行 WebP 转换和无损压缩

1. 拒绝临时文件：基于内存管道的帧提取 传统的 os.system('ffmpeg -i ...') 调用方式会产生大量磁盘 IO，导致处理速度受限于硬盘读写。

作为前端工程师，我们不仅要关注代码逻辑，还要管理媒体资产（Assets）的生产链路。通常的流程是：UI 给图 -> 前端切图 -> 压缩 -> 上线。

在使用 Python 的 pytesseract 或 PaddleOCR 进行文字识别时，我们经常遇到这样的 Bad Case：图片清晰度很高，但因为上面覆盖了一层淡淡的倾斜水印（Watermark）

做过 AIGC 模型训练的开发者都知道，Stable Diffusion 对训练集中的特征极其敏感。如果你的训练集Dataset中包含了大量带有角落水印、Logo 或文字覆盖的图片，训练模型会很麻烦