🏆🏆🏆教程全知识点简介：1.深度学习概述包括深度学习与机器学习区别、深度学习应用场景、深度学习框架介绍、项目演示、开发环境搭建（pycharm安装）。2. TensorFlow基础涵盖TF数据流图、TensorFlow实现加法运算、图与TensorBoard（图结构、图相关操作、默认图、创建图、OP）、张量（张量概念、张量的阶、张量数学运算）、变量OP（创建变量）、增加其他功能（命名空间、模型保存与加载、命令行参数使用）、逻辑回归案例。3. 神经网络基础包括playground使用、多个神经元效果演示、深层神经网络。4. 神经网络与tf.keras。5. 梯度下降算法改进涵盖指数加权平均、动量梯度下降法、RMSProp算法、Adam算法、TensorFlow Adam算法API、学习率衰减、标准化输入、神经网络调优、批标准化。6. 卷积神经网络包括CNN原理、CIFAR类别分类（API使用、步骤分析代码实现缩减版LeNet）、卷积神经网络学习特征可视化。7. 经典分类网络结构涵盖LeNet解析、AlexNet、卷积网络结构优化、Inception结构、pre_trained模型VGG预测（VGG模型使用、步骤代码）。8. CNN网络实战技巧。9. 迁移学习案例包括基于VGG的五种图片类别识别迁移学习（数据集迁移需求、思路步骤、训练时读取本地图片类别、特征图平均值输出替代全连接层）。10. 目标检测包括目标检测任务描述、目标定位实现思路、产品物体检测项目介绍、R-CNN（Overfeat模型、SPPNet）、Faster R-CNN（RPN原理）、YOLO（单元格grid cell、非最大抑制NMS、训练）、SSD。11. 产品检测数据集训练涵盖标注数据读取存储（xml读取本地文件存储pkl、解析结构、one_hot编码函数）、训练（案例训练结果、多GPU训练代码修改）、本地预测测试（预测代码）、模型导出（keras模型TensorFlow导出）。12. 模型部署包括Web与模型服务对接逻辑、Docker部署环境、TF Serving与Web开启服务（安装Tensorflow Serving、commodity模型服务运行）、TensorFlow Client对接模型服务、Web Server开启。
📚📚仓库code.zip 👉直接-->： gitlab.com/yinuo_112/A… 🍅🍅
✨ 本教程项目亮点
🧠 知识体系完整：覆盖从基础原理、核心方法到高阶应用的全流程内容
💻 全技术链覆盖：完整前后端技术栈，涵盖开发必备技能
🚀 从零到实战：适合 0 基础入门到提升，循序渐进掌握核心能力
📚 丰富文档与代码示例：涵盖多种场景，可运行、可复用
🛠 工作与学习双参考：不仅适合系统化学习，更可作为日常开发中的查阅手册
🧩 模块化知识结构：按知识点分章节，便于快速定位和复习
📈 长期可用的技术积累：不止一次学习，而是能伴随工作与项目长期参考
🎯🎯🎯全教程总章节
🚀🚀🚀本篇主要内容
产品检测数据集训练
5.2 标注数据读取与存储
学习目标
-
目标
- 无
-
应用
-
应用XML工具进行标签数据读取以及存储
-
5.2.1 案例：xml读取本地文件存储到pkl
-
ElementTree工具使用，解析xml结构
-
保存物体坐标结果以及类别
-
pickle工具导出
-
5.2.1.1 解析结构
- 导入
from xml.etree import ElementTree
- 处理XML库
-
import xml.etree.ElementTree as ET
- tree = et.parse(filename)：形成树状结构
- tree.getroot():获取树结构的根部分
- root.find与findall()进行查询XML每个标签的内容.text
-
定义解析xml结构类，
class XmlProcess(object):
def __init__(self, data_path):
self.path_prefix = data_path
self.num_classes = 8
self.data = dict()
进行preprocess_xml处理
def preprocess_xml(self):
# 找到文件名字
filenames = os.listdir(self.path_prefix)
for filename in filenames:
# XML解析根路径
tree = ElementTree.parse(self.path_prefix + filename)
root = tree.getroot()
bounding_boxes = []
one_hot_classes = []
size_tree = root.find('size')
width = float(size_tree.find('width').text)
height = float(size_tree.find('height').text)
# 每个图片标记的对象进行坐标获取
for object_tree in root.findall('object'):
for bounding_box in object_tree.iter('bndbox'):
xmin = float(bounding_box.find('xmin').text)/width
ymin = float(bounding_box.find('ymin').text)/height
xmax = float(bounding_box.find('xmax').text)/width
ymax = float(bounding_box.find('ymax').text)/height
bounding_box = [xmin, ymin, xmax, ymax]
bounding_boxes.append(bounding_box)
class_name = object_tree.find('name').text
# 将类别进行one_hot编码
one_hot_class = self.on_hot(class_name)
one_hot_classes.append(one_hot_class)
image_name = root.find('filename').text
bounding_boxes = np.asarray(bounding_boxes)
one_hot_classes = np.asarray(one_hot_classes)
# 存储图片标注的结果对应的名字，以及图片的标注数据（4个坐标以及onehot编码）
image_data = np.hstack((bounding_boxes, one_hot_classes))
self.data[image_name] = image_data
one_hot编码函数
def on_hot(self, name):
one_hot_vector = [0] * self.num_classes
if name == 'clothes':
one_hot_vector[0] = 1
elif name == 'pants':
one_hot_vector[1] = 1
elif name == 'shoes':
one_hot_vector[2] = 1
elif name == 'watch':
one_hot_vector[3] = 1
elif name == 'phone':
one_hot_vector[4] = 1
elif name == 'audio':
one_hot_vector[5] = 1
elif name == 'computer':
one_hot_vector[6] = 1
elif name == 'books':
one_hot_vector[7] = 1
else:
print('unknown label: %s' % name)
return one_hot_vector
使用preprocess进行本地保存到pickle文件
if __name__ == '__main__':
xp = XmlProcess('/Users/huxinghui/workspace/ml/detection/ssd_detection/ssd/datasets/commodity/Annotations/')
xp.preprocess_xml()
pickle.dump(xp.data, open('./commodity_gt.pkl', 'wb'))
5.3 训练
学习目标
-
目标
- 无
-
应用
-
应用API完成产品数据集的训练过程
-
5.3.1 案例训练结果
- 文件
5.3.2 案例思路
-
image_generator：获取图片数据标注数据生成器
- 标注数据分割
-
初始化模型参数以及冻结部分结构
-
compile与fit_generator
5.3.2.1 获取Generator
导入工具
from utils.detection_generate import Generator
from utils.ssd_utils import BBoxUtility
from nets.ssd_net import SSD300
import numpy as np
import pickle
定义类，进行初始化网络基础参数
class SSDTrain(object):
def __init__(self, num_classes=9, input_shape=(300, 300, 3), epoch=50):
self.num_classes = num_classes
self.input_shape = input_shape
self.epoch = epoch
# prior box读取工具
priors = pickle.load(open('./datasets/prior_boxes_ssd300.pkl', 'rb'))
self.bbox_util = BBoxUtility(self.num_classes, priors)
self.path_prefix = './datasets/commodity/JPEGImages/'
self.model = SSD300(self.input_shape, num_classes=self.num_classes)
def image_generator(self):
# 获取标记数据，分成训练集与测试集
gt = pickle.load(open('./datasets/commodity_gt.pkl', 'rb'))
keys = sorted(gt.keys())
num_train = int(round(0.8 * len(keys)))
train_keys = keys[:num_train]
val_keys = keys[num_train:]
# Generator获取数据
gen = Generator(gt, self.bbox_util, 16, self.path_prefix,
train_keys, val_keys
