一起养成写作习惯！这是我参与「掘金日新计划 · 4 月更文挑战」的第7天，点击查看活动详情 对影响力函数进行学习
一、简介
机器学习系统经常被问到的一个关键问题 是“系统为什么做出这个预测？在本文中，我们通过跟踪模型的 通过其学习算法进行预测并返回 训练数据，模型参数最终导出的地方 从。正式确定训练点对 预测，我们问反事实：会发生什么 如果我们没有这个训练点，或者如果这个值 训练点略有改变？ 通过扰动数据和重新训练来回答这个问题 该模型可能非常昂贵。克服 这个问题，我们使用影响函数，一个经典的技术 来自强大的统计数据（Hampel，1974）告诉我们 当我们增加训练权重时模型参数如何变化 指向一个无穷小的量。这使我们能够“区分 通过训练”以封闭形式进行估计 各种训练扰动的影响。 尽管他们在统计方面有着丰富的历史，但影响功能 尚未在机器学习中广泛使用；据我们所知，最接近我们的作品是 Wojnowicz 等。 （2016），它介绍了一种近似方法 广义上与影响有关的量 线性模型。采用的一个障碍是这种影响 函数需要昂贵的二阶导数计算 并假设模型可微性和凸性， 这限制了它们在现代环境中的适用性 模型通常是不可微的、非凸的和高维的。 我们通过展示来应对这些挑战 我们可以使用有效地近似影响函数 二阶优化技术（Pearlmutter，1994； 马滕斯，2010； Agarwal 等人，2016 年），并且它们仍然存在 即使作为可微性的基本假设也是准确的 和凸度退化。 影响函数抓住了研究模型的核心思想 通过他们的训练数据的镜头。我们表明 它们是一种多功能工具，可以应用于各种 看似不同的任务：理解模型行为， 调试模型、检测数据集错误和创建 视觉上无法区分的对抗训练示例 可以翻转神经网络测试预测，训练 设置 Goodfellow 等人的类似物。 （2015 年）。
