本篇文章为比赛第一名方案解析，该比赛涉及到多模态-动保
介绍：在这场比赛中，参赛者将分析原始图像和元数据来预测宠物照的“Pawpularity”，在PetFinder数据上训练和测试模型。
网址：www.kaggle.com/competition…
解决方案是一个 SVR（表格数据）和图像模型的集成。
- 对于表格型 SVR 部分，特征是通过使用 timm 和 openai clip 库从预训练架构中提取的，然后将多个预训练模型的嵌入连接起来，并在其上拟合 cuml SVR。结果数据集有数千列，仅使用 cuml SVR，我就能够在合理的时间内拟合该数据集。更棒的是，我从 timm 库中的大多数模型中提取了特征，并使用前向模型选择来选择最佳的模型用于 SVR。
提取特征 SVR CV: 16.92 - 解决方案的图像部分是一个标准的图像回归方法，拟合了一些 Vision transformers 和 CNN 模型，然后对预测进行集成。我最好的单个模型是 beit_large_patch16_224，CV（交叉验证）约为 17.38。
图像集成 CV：17.02
最终解决方案是两种方法的集成。
CV: 16.818 / 私人 LB: 16.8225（本地 CV 和私人 LB 非常接近，不确定是否只是运气）
