CatBoost 入门指南：类别特征不用再 One-Hot，Python 实战与 5 个坑
XGBoost 和 LightGBM 你已经调得很熟了，但只要数据里有一堆字符串类型的类别列，就免不了一段重复劳动：pd.get_dummies() 一下炸出几百列，或者 LabelEncoder 随手写上却悄悄引入了不存在的大小关系。
CatBoost 解决的就是这一件事——类别特征可以直接喂进去，不用你做任何编码。名字里的 "Cat" 就是 Categorical。
这篇文章讲清楚四件事：CatBoost 为什么敢直接吃类别特征、它的三板斧各自解决什么问题、Python 从训练到调参的完整代码、以及我踩过的 5 个坑。看完你能把手里的 XGBoost / LightGBM 代码低成本迁移过去，也知道什么场景下不该迁。
一、先说清楚：类别特征到底难在哪
把类别列塞进树模型，常见做法是 One-Hot 或 Label Encoding，但两者都有代价：
One-Hot 的问题：类别基数一高（比如"城市""商品 ID"），列数爆炸，树要在大量稀疏的 0/1 里找分裂，既慢又容易过拟合。
Label Encoding 的问题更隐蔽：你给"北京=0、上海=1、广州=2"编了号，树在找分裂阈值时会自然地按 ≤1 切——但北京和上海之间本没有数值大小关系，这个切分是凭空捏造的。
真正麻烦的其实是第三种做法。很多人会用目标编码（Target Encoding）：把每个类别替换成该类别下标签的均值。这个信号很强，强到会带来 target leakage——尤其当某个类别只出现一两次时，它的编码值几乎等于那一条样本的标签本身，模型直接背答案，线下指标虚高、线上拉垮。
CatBoost 的核心贡献，就是给出一个不泄漏的目标编码方案。
二、CatBoost 的三板斧
1. Ordered Target Statistics（排序目标统计）
这是 CatBoost 最关键的机制。它对每个样本算类别编码时，只用"排在它之前"的样本来计算，而不是用全量数据。
具体做法是：先对训练集做一次随机排列，然后逐样本累积——第 i 个样本的类别编码，只由排列中前 i-1 个同类别样本的标签均值算出。这样当前样本自己的标签永远不会进入它的编码值，leakage 从机制上被掐掉了。
代价是训练变慢、且依赖排列顺序，所以 CatBoost 实际会用多个排列取平均来稳住结果。
2. 对称树（Symmetric / Oblivious Trees）
LightGBM 的树是"非对称"的，左右子树可以长出完全不同的深度。CatBoost 反过来，整棵树每一层都用同一个分裂特征和同一个阈值——这就是"对称"。
好处很实在：
- 预测极快：判断一条样本走哪条路，等价于在每层做一次比较，可以向量化，也能直接编译成 CPU 指令。CatBoost 的推理速度常常比训练时的对手快一个量级。
- 天然抗过拟合：树的结构受限，模型复杂度上不去，等于自带正则。
代价是拟合灵活度下降，所以在小数据集上偶尔打不过 LightGBM 的精细分裂。
3. Ordered Boosting（有序提升）
传统的梯度提升有个隐藏偏差：每一轮算残差时用的模型，是用包含当前样本在内的数据训出来的，这会让梯度估计偏乐观。CatBoost 的训练模式里可以选择用"剔除当前样本的模型"来算梯度，缓解这个偏差。
注意：Ordered 模式只建议在小数据集上开（boosting_type='Ordered'）。数据一大，计算量吃不消，默认的 Plain 模式通常就够。
三、Python 实战：从安装到预测
安装与数据准备
pip install catboost
用一个自带类别特征的数据集演示（这里用 sklearn 的 adult 风格数据，你也可以换成自己的）：
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.metrics import roc_auc_score
from catboost import CatBoostClassifier, Pool
df = pd.read_csv("your_data.csv")
y = df["label"]
X = df.drop(columns=["label"])
# 关键一步：把类别列的「列名或索引」告诉 CatBoost
cat_features = ["city", "device", "channel", "occupation"]
X_train, X_valid, y_train, y_valid = train_test_split(
X, y, test_size=0.2, random_state=42, stratify=y
)
训练（最简写法）
model = CatBoostClassifier(
iterations=1000,
learning_rate=0.05,
depth=6,
loss_function="Logloss",
eval_metric="AUC",
cat_features=cat_features, # 直接传列名
random_seed=42,
verbose=100,
)
model.fit(
X_train, y_train,
eval_set=(X_valid, y_valid),
use_best_model=True, # 保留验证集最优轮
early_stopping_rounds=100,
)
proba = model.predict_proba(X_valid)[:, 1]
print("AUC:", roc_auc_score(y_valid, proba))
可以看到，全程没有做任何编码。cat_features 传列名（或列索引）就够了。
用 Pool 提速（推荐）
如果要在同一份数据上反复训练，Pool 会把类别特征的统计量预先算好缓存下来，能省掉重复计算：
train_pool = Pool(X_train, y_train, cat_features=cat_features)
valid_pool = Pool(X_valid, y_valid, cat_features=cat_features)
model.fit(train_pool, eval_set=valid_pool, use_best_model=True)
调参：真正值得动的几个
model = CatBoostClassifier(
iterations=2000,
learning_rate=0.03,
depth=6, # 对称树，4~8 足够，别超过 10
l2_leaf_reg=3, # 叶子 L2，抗过拟合的主力
border_count=128, # 数值特征分箱数，默认即可
bagging_temperature=0.5, # 类似贝叶斯 bagging，越大越随机
random_strength=1, # 分裂打分噪声，抗过拟合
one_hot_max_size=10, # 基数 ≤10 的类别走 one-hot
cat_features=cat_features,
task_type="CPU", # 有 GPU 改成 "GPU"
verbose=200,
)
其中 one_hot_max_size 是个容易忽略但很实用的参数：基数很小的类别（比如"性别"）走 One-Hot 反而更快更稳，CatBoost 会对这部分自动切回 One-Hot 处理。
特征重要性
import matplotlib.pyplot as plt
imp = model.get_feature_importance(prettified=True) # 需要用 Pool 训练才有名字
print(imp.head(15))
四、三剑客怎么选
| 维度 | XGBoost | LightGBM | CatBoost |
|---|---|---|---|
| 类别特征 | 需自行编码 | 支持 categorical_feature（内部做类似统计） | 原生支持，机制最严谨 |
| 训练速度 | 中 | 最快 | 较慢（排列统计开销） |
| 预测速度 | 快 | 快 | 最快（对称树） |
| 过拟合控制 | 靠正则参数 | 需调参会过拟合 | 自带正则，最省心 |
| 小数据集 | 一般 | 容易过拟合 | 表现最稳 |
| 调参成本 | 高 | 中 | 低（默认参数就很能打） |
| 生态/资料 | 最丰富 | 丰富 | 较少 |
一句话结论：类别特征多、数据量中等、想少调参 → 选 CatBoost；数据量大、追求训练速度 → 还在 LightGBM；需要社区方案和深度定制 → XGBoost。
五、我踩过的 5 个坑
1. 类别列里有 NaN，直接报错。 CatBoost 不接受类别列的缺失值（数值列的缺失它内部能处理）。类别列的空值必须先填成字符串常量：
X["city"] = X["city"].fillna("__MISSING__").astype(str)
2. 传了列名，但 fit 后又改了 DataFrame 的列顺序。
cat_features 传索引时是按位置的，列一变就错位。稳妥做法：一律传列名，或者干脆用 Pool 把数据和列绑定在一起。
3. verbose 不开，训练像卡死。
CatBoost 默认 1000 轮静默训练，终端毫无输出。第一次用建议 verbose=100，或者加上 plot=True（需要 matplotlib）直接看学习曲线。
4. 测试集类别里出现了训练集没见过的取值。 它会被当作特殊的"未知类别"处理，不会崩，但预测质量会掉。上线前建议统计一下新类别占比，高的话要重新训练或做映射兜底。
5. 把 cat_features 和独热编码一起用了。
既然交给 CatBoost 处理，就别再 get_dummies() 了，两套机制叠加只会让特征冗余、训练变慢。二选一。
最后
CatBoost 不是一个"全面超越 XGBoost"的东西，它精准解决的是类别特征 + 少调参这个具体场景。如果你的数据里有一堆字符串列，且你不想再为编码方式纠结，值得花半小时把现有代码迁过去试一次——通常你只需要加一行 cat_features=。
你现在树模型的类别特征是怎么处理的？One-Hot、目标编码，还是直接扔给 CatBoost？评论区聊聊你踩过的坑。
