AlexanderJLiu

TFRecord 是 TensorFlow 生态中一个重要的组件，其本质上是一种文件格式，用于存储二进制序列的内容。 TFRecord 文件由序列化后的 protobuf 数据构成，可以直接供 TensorFlow 程序读取并用于模型训练。 对于文本格式的数据文件而言，其存储和…

打开数据输入文件的句柄。 从文件中取出一定数量 (batch) 的数据。 使用取出的数据进行模型训练。 重复步骤 2-3 直至训练完成。 可以看到在这种同步的实现方式下，当从文件获取数据时，模型训练是处于空闲状态的，而当对模型进行训练时，数据输入流程又处于空闲状态。训练的总体时…

TensorFlow Serving 是基于 Protocol Buffer 协议来进行 GPRC 通信的，其源码中以 proto 为后缀的文件里定义了一系列数据结构 (message) 以及 RPC 服务 (service) ，它们分别用来表示数据交换的格式以及执行远程操作的…

官方推荐使用 Docker 来完成 TensorFlow Serving 服务的搭建，这是最容易也是最直接的搭建方式。为便于操作，本文也采取了这种搭建方式。 在搭建 Serving 服务时，首先要确保系统已经安装了 Docker 程序，然后通过命令 docker pull te…

模型的结构或配置：它指定了模型中包含的层以及层与层之间的连接方式。 一系列权重矩阵的值：用于记录模型的状态。 优化器：用于优化损失函数，可以在模型编译 (compile) 时指定。 一系列损失以及指标：用于调控训练过程，既包括在编译时指定的损失和指标，也包括通过 add_los…

机器学习和深度学习的模型中往往包含成千上万个参数，其中有的参数可以通过模型训练并利用反向传播算法来进行优化，比如模型中的权重 (weights) 和偏差 (bias) 等，我们称之为参数 (parameters)。还有一些参数不能通过模型训练来进行优化，比如学习率 (learn…

首先我们来实现一个基于 Keras 的多节点分布式训练的端到端示例，从宏观上对多节点分布式训练有一个大概的了解。这里使用了 MultiWorkerMirroredStrategy 分布式策略，其代码如下所示： 在分布式训练中，所有 worker 节点所执行的训练代码都是一致的，…

根据模型在单个节点训练过程中遇到的不同问题，其分布式训练可以分为模型并行 (Model Parallelism) 和数据并行 (Data Parallelism) 两种模式。 模型并行是指将模型切分为多个部分并将各个部分放置到不同的节点进行训练的分布式模式。因为当模型很复杂，参…

在上一篇 Keras 模型构建的文章中，我们介绍了在 TensorFlow 2.x 版本中使用 Keras 构建模型的三种方法，那么本篇将在上一篇的基础上着重介绍使用 Keras 模型进行本地训练、评估以及预测的流程和方法。 Keras 模型有两种训练评估的方式，一种方式是使用…