【深度学习】嘿马深度学习笔记第5篇：神经网络与tf.keras,1.3 Tensorflow实现神经网络【附代码文档】

程序员一诺python
58 阅读1分钟

教程总体简介：卷积神经网络、2.4 BN与神经网络调优、2.4 经典分类网络结构、2.5 CNN网络实战技巧、3.1 迁移学习案例、假定最后一层CNN的层输出为(None, 8, 8, 2048)、取每一个特征图的平均值作为输出、用以替代全连接层、100为类别、在__init__中添加、总结、每日作业、1.1 项目演示、1.2 开发环境搭建、3.2 目标检测任务描述、商品物体检测项目介绍、3.3 R-CNN、3.4 Fast R-CNN、3.5 Faster R-CNN、YOLO与SSD、3.6 YOLO(You only look once)、3.7 SSD(Single Shot MultiBox Detector)、商品检测数据集训练、5.2 标注数据读取与存储、5.3 训练、5.4 本地预测测试、5.6 Web与模型服务对接逻辑、5.5 模型导出、Docker部署环境使用介绍、5.7 TF Serving 与 Web开启服务、TensorFlow Client对接模型服务、Web Server开启、项目总结、模型导出与部署、深度学习课程、1.1 深度学习与机器学习的区别、深度学习的应用场景、1.2 深度学习框架介绍、深度学习介绍、2.1 TF数据流图、TensorFlow介绍、2.2 图与TensorBoard、2.4 张量、2.5 变量OP、1.2 神经网络基础、1.3 神经网络基础、1.4 神经网络原理、神经网络与tf.keras、1.3 Tensorflow实现神经网络

项目完整code和文档，小伙伴们---->git仓库

全套教程部分目录：

神经网络与tf.keras

1.3 Tensorflow实现神经网络

学习目标

  • 目标

    • 掌握Tensorflow API的使用

  • 应用

    • 应用TF搭建一个分类模型

1.3.1 TensorFlow keras介绍

Keras 是一个用于构建和训练深度学习模型的高阶 API。它可用于快速设计原型、高级研究和生产，具有以下三个主要优势：

  • 方便用户使用，快速构建模型 Keras 具有针对常见用例做出优化的简单而一致的界面。它可针对用户错误提供切实可行的清晰反馈。

  • 模块化和可组 将可配置的构造块连接在一起就可以构建 Keras 模型，并且几乎不受限制。

  • 导入:

import tensorflow as tf
from tensorflow import keras
  • 1、获取相关现有数据集（无需自己去构造）

    • keras.datasets

      • mnist:手写数字
      • fashion_mnist：时尚分类
      • cifar10(100)：10个类别分类
fashion_mnist = keras.datasets.fashion_mnist

(train_images, train_labels), (test_images, test_labels) = fashion_mnist.load_data()

print(train_images, train_labels)
  • 2、构建模型
    • 在 Keras 中，您可以通过组合层来构建模型。模型（通常）是由层构成的图。最常见的模型类型是层的堆叠，keras.layers中就有很多模型，如下图：可以在源码文件中找到
    • tf.keras.Sequential模型(layers如下)
from tensorflow.python.keras.layers import Dense
from tensorflow.python.keras.layers import DepthwiseConv2D
from tensorflow.python.keras.layers import Dot
from tensorflow.python.keras.layers import Dropout
from tensorflow.python.keras.layers import ELU
from tensorflow.python.keras.layers import Embedding
from tensorflow.python.keras.layers import Flatten
from tensorflow.python.keras.layers import GRU
from tensorflow.python.keras.layers import GRUCell
from tensorflow.python.keras.layers import LSTMCell
...
...
...

  • Flatten:将输入数据进行形状改变展开

  • Dense:添加一层神经元

    • Dense(units,activation=None,**kwargs)

      • units:神经元个数
      • activation：激活函数,参考tf.nn.relu,tf.nn.softmax,tf.nn.sigmoid,tf.nn.tanh
      • **kwargs:输入上层输入的形状，input_shape=()

tf.keras.Sequential构建类似管道的模型

model = keras.Sequential([
    keras.layers.Flatten(input_shape=(28, 28)),
    keras.layers.Dense(128, activation=tf.nn.relu),
    keras.layers.Dense(10, activation=tf.nn.softmax)
])

  • 3、训练与评估

    • 通过调用model的 compile 方法去配置该模型所需要的训练参数以及评估方法。

    • model.compile(optimizer,loss=None,metrics=None, 准确率衡):配置训练相关参数

      • optimizer:梯度下降优化器(在keras.optimizers)

from tensorflow.python.keras.optimizers import Adadelta from tensorflow.python.keras.optimizers import Adagrad from tensorflow.python.keras.optimizers import Adam from tensorflow.python.keras.optimizers import Adamax from tensorflow.python.keras.optimizers import Nadam from tensorflow.python.keras.optimizers import Optimizer from tensorflow.python.keras.optimizers import RMSprop from tensorflow.python.keras.optimizers import SGD from tensorflow.python.keras.optimizers import deserialize from tensorflow.python.keras.optimizers import get from tensorflow.python.keras.optimizers import serialize from tensorflow.python.keras.optimizers import AdamOptimizer()




   * loss=None:损失类型,类型可以是字符串或者该function名字参考：

```python
from tensorflow.python.keras.losses import KLD
from tensorflow.python.keras.losses import KLD as kld
from tensorflow.python.keras.losses import KLD as kullback_leibler_divergence
from tensorflow.python.keras.losses import MAE
from tensorflow.python.keras.losses import MAE as mae
from tensorflow.python.keras.losses import MAE as mean_absolute_error
from tensorflow.python.keras.losses import MAPE
from tensorflow.python.keras.losses import MAPE as mape
from tensorflow.python.keras.losses import MAPE as mean_absolute_percentage_error
from tensorflow.python.keras.losses import MSE
from tensorflow.python.keras.losses import MSE as mean_squared_error
from tensorflow.python.keras.losses import MSE as mse
from tensorflow.python.keras.losses import MSLE
from tensorflow.python.keras.losses import MSLE as mean_squared_logarithmic_error
from tensorflow.python.keras.losses import MSLE as msle
from tensorflow.python.keras.losses import binary_crossentropy
from tensorflow.python.keras.losses import categorical_crossentropy
from tensorflow.python.keras.losses import categorical_hinge
from tensorflow.python.keras.losses import cosine
from tensorflow.python.keras.losses import cosine as cosine_proximity
from tensorflow.python.keras.losses import deserialize
from tensorflow.python.keras.losses import get
from tensorflow.python.keras.losses import hinge
from tensorflow.python.keras.losses import logcosh
from tensorflow.python.keras.losses import poisson
from tensorflow.python.keras.losses import serialize
from tensorflow.python.keras.losses import sparse_categorical_crossentropy
from tensorflow.python.keras.losses import squared_hinge

  * metrics=None, ['accuracy']

  • model.fit()：进行训练

    • (x=None,y=None, batch_size=None,epochs=1,callbacks=None)

    • x:特征值:

1、Numpy array (or array-like), or a list of arrays 2、A TensorFlow tensor, or a list of tensors 3、tf.data dataset or a dataset iterator. Should return a tuple of either (inputs, targets) or (inputs, targets, sample_weights). 4、A generator or keras.utils.Sequence returning (inputs, targets) or (inputs, targets, sample weights). ```

  * y:目标值

  * batch_size=None：批次大小

  * epochs=1：训练迭代次数

  * callbacks=None：添加回调列表（用于如tensorboard显示等）

model.compile(optimizer=tf.keras.optimizers.Adam(),
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

model.fit(train_images, train_labels, epochs=5)

model.evaluate(test_images, test_labels)

1.3.2 案例：实现多层神经网络进行时装分类

70000 张灰度图像，涵盖 10 个类别。以下图像显示了单件服饰在较低分辨率（28x28 像素）下的效果：

1.3.2.1 需求：

标签类别
0T 恤衫/上衣
1裤子
2套衫
3裙子
4外套
5凉鞋
6衬衫
7运动鞋
8包包

1.3.2.2 步骤分析和代码实现：

  • 读取数据集:

    • 从datasets中获取相应的数据集，直接有训练集和测试集
class SingleNN(object):

    def __init__(self):
        (self.train, self.train_label), (self.test, self.test_label) = keras.datasets.fashion_mnist.load_data()

  • 进行模型编写

    • 双层：128个神经元，全连接层10
avatar
文章
阅读
粉丝