一起养成写作习惯！这是我参与「掘金日新计划 · 4 月更文挑战」的第11天，点击查看活动详情
\textbf{安全性&鲁棒性 } 安全性&鲁棒性是指一个可靠的人工智能系统应该在不同的环境下实现稳定和持续的高精度。具体来说，模型应该对小扰动具有鲁棒性，因为真实世界的数据包含各种类型的噪声。近年来，许多研究表明，机器学习（ML）模型可以被设计的小扰动所愚弄，即对抗性扰动。从传统的机器分类器到深度学习模型，如CNN、GNN或RNN，没有一个模型对此类扰动具有足够的鲁棒性。当ML模型应用于安全关键任务时，如身份验证、自动驾驶、调度建议、故障预测，流量分析预测等，其安全问题引起了人们的关注。为了建立安全可靠的模型，研究对抗性示例和潜在原因是迫切和必要的。如智能列控，当受到不明数据的扰动时，模型的抗干扰能力和鲁邦性将直接影响到列车控制系统的稳定性和可靠性，以及在应对模型在突发事件干扰下的失效问题的处理。这要求模型算法具有解决抗灾和预防突发事件上的性能问题的能力。\par
当深度学习应用于现实世界的安全关键任务时，对抗性示例的存在会使模型变得更加危险，并可能导致严重后果。\par
在智慧城轨领域中，深度学习广泛应用于视觉，文本，图表数据。行车安去检测是一项重要任务，然而，当监控拍的照片在经过特殊雨雪天气或者经过遮挡物场景时，车辆驾驶员行车安全检测系统可能会对这种扰动无法识别，从而造成错误的扣分纪录。深度学习也广泛应用于身份验证任务，攻击者可以佩戴特殊玻璃假装是授权身份，以误导人脸识别模型；如果将一些将眼镜标记为目标身份的人脸样本插入训练集\cite{2017Targeted}，这种欺骗是可以实现的。在地铁出入口人员检查系统中，对于犯罪分子人脸识别和身份识别非常重要，如果系统对于异常人员检测不到位，可能会危害到人民群众的安全性，对于系统的鲁棒性能要求相对要高，然而，在一些真实场景中，穿对抗性T恤也可以避免人员检测\cite{HanXu2020Adversarial}。\par
城轨数据大多来自于系统实时产生的日志文件数据，或调度系统中的调度信息，攻击者一般无法参杂扰动数据对系统造成威胁。但是，对抗性攻击也发生在许多自然语言处理任务中，包括文本分类、机器翻译和对话生成。了解攻击手段和攻击方法也能让我们在设计模型和系统中有预先的防备知识。比如城轨问答服务系统中，需要我们防范对于系统训练时的文本数据是否参杂扰动性训练语句。在常规的自然语言处理系统中，对于机器翻译，对输入文本进行句子和单词解释，以制作对抗性示例\cite{2018Discrete}的攻击方法首先构建了一个包含大量单词和句子释义的释义语料库。为了找到输入文本的最佳释义，采用了贪婪的方法来搜索语料库中每个单词或句子的有效释义。此外，还提出了一种梯度引导方法来提高贪婪搜索的效率，In\cite{2019Say}中,这种方法严重威胁着作为黑匣子并采用强化学习框架，以有效找到有针对性的响应的触发输入的对话模型。黑匣子设置更严格，但更现实，而对生成响应的要求则适当放松。生成的响应在语义上预计将与目标响应相同，但不一定与它们完全匹配。\par
城轨网络系统是一个巨大的图结构，因此在图形数据处理方面，GNN等模型页广泛运用在此领域，例如车流预测，人流预测，晚点预测等。因此对于站点网络结构数据，熟悉常见的GNN攻击方式也必不可少。Zügner等人\cite{2018Adversarial}考虑通过修改节点连接或节点特征来攻击节点分类模型、图形卷积网络\cite{2016Semi}。在此设置中，允许对手添加或删除节点之间的边缘，或以有限的操作更改节点功能，以误导在扰动图上训练的GCN模型。这项工作\cite{D2019Adversarial}试图侵害图表，以便GCN的全局节点分类穿孔曼斯会下降——甚至几乎变得毫无用处,具体来说，他们使用元学习技术优化了作为GCN模型超参数的图形结构,攻击的目标\cite{2018Adversarial}是扰动图形结构，以破坏节点嵌入的质量，影响下游任务的性能，包括节点分类或链接预测。如图\ref{prognn}所示，Pro-GNN\cite{jin2020graph}试图在现实世界图的一些内在属性（如低阶和特征平滑度）的指导下，从扰动图中共同学习结构图和图神经网络。防御方法可以学习接近扰动邻接矩阵的干净邻接矩阵，并约束其规范，以保证低阶性能。同时，还使用特征平滑正则化器来惩罚相邻节点之间特征的快速变化。一个强大的GNN将建立在学习图表的基础上。\par
