阅读 1442

Tensorflow 的Xavier initialization

如果深度学习模型的权重初始化得太小,那么信号将在每层间传递时逐渐缩小而难以产生作用。

如果权重初始化得太大,那信号将在每层间传递时逐渐放大并导致发散和失效

Xavier初始化器得作用,就是在初始化深度学习网络得时候让权重不大不小。

import numpy as np import sklearn.preprocessing as prep import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data def xavier_init(fan_in, fan_out, constant = 1): low = -constant * np.sqrt(6.0 / (fan_in + fan_out)) high = constant * np.sqrt(6.0 / (fan_in + fan_out)) return tf.random_uniform((fan_in, fan_out), minval=low, maxval=high, dtype=tf.float32)

推导过程属于均匀分布的内容

文章分类
人工智能
文章标签