29多类学习能力

• 多类分类的问题，其目标是学习预测器 h : → [k]。在本章中，我们讨论关于 0-1 损失的多级预测器的 PAC 可学习性.与第 6 章一样，本章的主要目标是:在（多类）PAC 模型中,可以学习哪些多类假设。• 量化此类假设类的样本复杂性。鉴于学习理论的基本定理（定理6.8），自然寻求将VC维度概括为多类假说类.

29.1纳塔拉詹的维度

• 我们表现出这样一个概括， 称为纳塔拉詹维度， 并陈述基于纳塔拉詹维度的基本定理的概括。 然后，我们演示如何计算几个重要假说类的纳塔拉詹维度。回想一下，学习理论基本定理的主要信息是，二进制分类器的假说类是可学习的（关于0-1损失），如果只有当它具有统一的收敛属性，然后它是由任何ERM学习者学习。在第13章，练习2中，我们已经表明，这种等价物会因某个凸起的学习问题而分解。本章的最后一节旨在表明，学习能力与统一收敛之间的等价性即使在与 0-1 损失的多类问题中也分解，这与二进制分类非常相似。事实上，我们构建了一个假设类，该类由特定的 ERM 学习者学习，但其他 ERM 学习者可能会失败，而统一的收敛属性不具有。纳塔拉詹维度 本节中，我们定义了纳塔拉詹维度，这是 VC 维度向多类预测器类别的概括。在整个这一节中，让H成为多类预测器的假设类：即，每个 h$\in \$H 是 X 到 [k] 的函数。我们说，如果存在两个函数 f0，则一组C$\in \$被H击碎，h （x） = f0 （x） 和f1 c →[k]这样 [对于每 x$\in \$C，f0(x) 6]f1(x)$\in \$ $\forall \$ $\in \$C.h （x） = f0 （x） 和$\forall \$x$\in \$C=B,h(x)定义 29.2 （纳塔拉詹维度） H 的纳塔拉詹维度， 表示 Ndim （H）， 是破碎集 C$\in \$X的最大尺寸。不难看出，在有两个类的情况下，恩迪姆（H）=VCdim（H）。因此，纳塔拉詹维度概括了VC维度。接下来，我们展示了纳塔拉詹维度使我们能够概括统计学学习的基本定理，[从二元分类到多类分类]。29.2 多类基本定理定理 29.3（多类基本定理）存在绝对常数 C1、C2>0,，如下所列。对于从 X 到 [k] 的函数的每个假设 H 类， 因此 H 的纳塔拉詹维度是 d， 我们有 1 个。H 具有与样品复杂性 C1 d + 日志(1\ $\delta \$)2$\leqslant$mH(,1\ $\delta \$)2$\leqslant$C2d日志 （k） + 日志 （1\ $\delta \$)2 .3. H 是 PAC 可学习的（假设可实现性），具有示例复杂性 C1 d + 日志（1\ $\delta \$)mH($\delta \$)$\leqslant$C2