本文已参与「新人创作礼」活动,一起开启掘金创作之路。
元学习
在学习的过程中,归纳学习本身的方法,比如梯度下降怎么走?神经网络结构要几层?
网络结构搜索
神经网络结构的优化问题,固定模型参数或结构参数的一者,然后调整另一者。
随机神经网络结构
随机生成网络,然后构造成神经网络,发现实现的能力和精心构造的结构是差不多的,说明神经网络的连接方式和能力没有什么关系,只要足够复杂即可,神奇
辨别模型:
从一个复杂的x到一个简单的y
生成模型:
简单x到复杂y。构成一个生成和辨别的博弈,两者之间开始博弈对抗,a生成,但是很差,b认为其不行,ab相互进步,b也能再最后加强对生成的判断
强化学习:
学习的过程和环境的一种交互,动作会改变环境(围棋下棋),环境会给动作一个回报(围棋的输赢)
无监督学习往往能够学到更多关于数据的信息、表示
好多时候都是先做无监督,然后再去做下游的有监督算法
对比学习:
让一个模型区别出来同一个照片已有是生成的还是真的
先对很多张照片做增强(加噪音),做无监督比较,再做有监督。
数据增强主要作用:
1.加大了数据量
2.让模型在上游是被迫建立起图像与其变形的之间的关系,使得其更具有广泛性
对抗训练:
故意让数据里有错,自己出生对抗样本,让模型自己去训练,使其对对抗样本有免疫力
数据定价:
分布式的方法建立模型,我把数据给你训练获得收益,怎么给我的数据定价?
shapley公式,多方合作过程中贡献度评价问题:
一个人的贡献取决于有我和没我的区别
不是模型算法本身,而是背后的思想比较重要!
也要关注未来人工智能对社会的风险,人工智能会让世界更加两极分化,贫富差距不均衡
作业课:
神经网络中的神经元个数是随便的,多少都可以