大维度下基于源条件的核岭回归最优收敛率分析本文在神经网络研究的推动下，特别是神经正切核理论的背景下，研究了大维度设置中核

大维度下基于源条件的核岭回归最优收敛率分析

Haobo Zhang, Yicheng Li, Weihao Lu, Qian Lin; 26(219):1−63, 2025.

摘要

受神经网络研究的推动，特别是神经正切核理论的影响，我们研究了核岭回归在大维度下的行为，其中样本量 $n$ 与 $d^\gamma$ 成比例（ $\gamma > 0$ ）。给定一个与定义在单位球面 $\mathbb{S}^d$ 上的内积核相关联的再生核希尔伯特空间 $H$ ，我们假设真实函数 $f_{\rho}^*$ 属于某个 $s > 0$ 的插值空间 $[H]^s$ （源条件）。我们首先为最优选择的正则化参数 $\lambda$ 建立了核岭回归泛化误差的精确阶（上界和下界）。此外，我们证明了当 $0 < s < 1$ 时，核岭回归是极小极大最优的。而当 $s > 1$ 时，核岭回归未能达到极小极大最优性，表现出饱和效应。我们的结果表明，关于维度 $d$ 的收敛率呈现出周期性平台行为，而关于样本量 $n$ 的收敛率则表现出多重下降行为。有趣的是，我们的工作统一了近期在大维度设置下关于核回归的几项研究，这些研究分别对应于 $s = 0$ 和 $s = 1$ 的情况。

[abs][pdf][bib]

Mastodon