深度学习各子领域略览及术语列表 (3)

开启掘金成长之旅！这是我参与「掘金日新计划 · 2 月更文挑战」的第 16 天，点击查看活动详情

16. AutoML
    1. 神经网络结构搜索NAS 大概来说就是不再由人工设置超参，而是直接给定一个搜索空间search space（一堆模型结构组成的空间），然后让模型自己根据模型优化结果来学它应该长成什么结构。 比较容易联想到ML中传统的网格搜索之类的。DL之所以一般不那么干就是因为那样时间久嘛（我以前做小图GNN的时候，因为跑得快，所以也上网格搜索来着，直到我后来来做了NLP……） 神经网络结构搜索(NAS)简介 - 知乎
17. attention（你给我解释解释，什么TMD叫TMD attention（持续更新ing...））
18. transformers（Transformer/Bert）
19. 小样本学习（N-way/shot就表示每类能看到几个训练集样本）
20. 零样本学习
21. 关系学习relational learning（relational learning关系学习）
22. 度量学习metric learning
23. 对比学习contrastive learning
24. 数据增强data augmentation
    1. NLP中常用的：回译
25. 数据抽样sampling
26. 对抗攻击
27. 对抗防御
28. 推荐系统recommendation system
    1. 协同过滤
29. 黑盒模型 / 白盒模型
30. 可解释性
31. rationale
32. 鲁棒性robustness
33. auto-encoder
34. GAN
35. 联邦学习federated learning
36. 多任务学习multi-task learning：就是在训练多种任务时共用一部分模型参数
37. 强化学习reinforcement learning Autonomous reinforcement learning on raw visual input data in a real world application Self-critical Sequence Training for Image Captioning
    1. sequential decision-making problems
    2. valuebased models
    3. policy-based models
    4. Q-learning
    5. Actor-Critic framework（策略policy函数-生成动作-环境交互，价值函数）
    6. asynchronous advantage actorcritic (A3C) algorithm：强化学习算法的训练方法 Asynchronous Methods for Deep Reinforcement Learning