深度学习与大模型Transformer

130 阅读11分钟

国家“十四五”规划中,“智能”“智慧”相关表述高达57处,这表明在当前我国经济从高速增长向高质量发展的重要阶段,以人工智能为代表的新一代信息技术,将成为我国“十四五”期间推动经济高质量发展、建设创新型国家的重要技术保障和核心驱动力之一。当前,ChatGPT的火热发展,其基础技术就是来源于深度学习。

ChatGPT是一种基于深度学习的人工智能模型,其核心技术是神经网络。ChatGPT使用多层神经网络来学习和预测自然语言序列的概率分布,以实现对话生成和自然语言处理等任务。深度学习是一种多层神经网络的机器学习方法,可以通过大量数据的训练来学习复杂的特征和模式,并实现高效的分类和预测。

为积极响应科研及工程人员的需求,根据《国务院关于推行终身职业技能培训制度的意见》提出的“紧跟新技术、新职业发展变化,建立职业分类动态调整机制,加快职业标准开发工作”要求,中国管理科学研究院现代教育研究所(www.zgyxdjy.com)联合北京龙腾亚太教育咨询有限公司特举办“深度学习核心技术实践与图神经网络新技术应用研修班”。本次培训采用全实战培训模式。

本次培训由北京龙腾亚太教育咨询有限公司承办并进行相关费用收取及发票开具。具体通知如下:

一、

**

培训


专家

**:

来自中国科学院自动化技术研究所、北京理工大学等科研机构和大学的高级专家,拥有丰富的科研及工程技术经验,长期从事人工智能、机器学习、深度学习、大数据分析等领域的教学与研究工作。

二、

时间

**

地点


:

**

20

**

23



7



27




2023年7



31



上海(同时转线上直播)

**

**

27



报到发放上课材料



28


-


31


日上课


**

**

、培训特色:

**

1、采用深入浅出的方法,结合实例并配以大量代码练习,重点讲解深度学习框架模型、科学算法、训练过程技巧。

2、能够把握深度学习的技术发展趋势,可以熟练掌握深度学习核心技术、实践技巧,同时针对工作中存在的疑难问题进行分析讲解和专题讨论,有效的提升学员解决复杂问题的能力;

3、掌握深度学习

**

大模型


Transformer


训练网络搭建与配置、掌握数据价值的深度挖掘。

**

4、

掌握图神经网络模型及框架

PyTorch

5、实践手写字体识别、叶片分类等案例,动手练习让AI自己玩游戏。

6、根据自己的科研项目及课题研究,灵活掌握应用深度学习五大框架模型。

注:

其它开源的公开数据集:

ImageNet、MS-COCO、UCF101、HMDB51、PASCAL VOC、Open Images等。

**

、参会对象:

**

各省市、自治区从事人工智能、深度学习、计算机视觉、人脸识别、图像处理、行人检测、自然语言处理等领域相关的企事业单位技术骨干、科研院所研究人员和大专院校相关专业教学人员及在校研究生等相关人员,以及深度学习、计算机视觉广大爱好者。

五、费用标准:

A类:5680元/人(含报名费、培训费、资料费、A类证书费),住宿可统一安排,费用自理。

1、

培训费由组织培训班的施教机构负责收取并提供培训发票。

2、上课前一周汇款可享受9折优惠,或报名5人以上可享受9折优惠,两个优惠不同时享用。报名8人以上享受8.8折优惠。

3、参加线上、线下培训学员均可享受视频录播回放权益,

及本人再次免费参加线下同主题课程学习权益

六、颁发证书:

A

参加相关培训并通过考

的学员,由中国管理科学研究院

现代教育研究所

颁发

**

《深度学习开发与应用工程师》

**

(高级)专业能力认证证书,

可通过

官方网站查询,该证书可作为有关单位任职、职称评定、专业技术人员能力评价、考核的重要依据。

注:

**

请学员提交


电子版彩照(大于


2


0KB



红蓝底皆可




身份证复印件和学历证明复印件


至报名邮箱


**

七、注意事项

1、指定报名邮箱:

2044115758

@

qq

.com

2

、报名成功后,

会务组在报到前一周发具体报到通知及行车路线

3

、学员需自

电脑一台,配置

w

in

10

64

位系统、

8

G

及以上

内存

硬盘空间预留

100G

附件:具体课程安排

关键点

人工智能、深度学习的发展历程

**

度学习


大模型


Transformer

**

神经网络

训练方法

卷积神经网络,卷积核、池化、通道、

激活函数

循环神经网络,长短时记忆

LSTM、门控循环单元GRU

参数初始化方法、损失函数

Loss、过拟合

对抗生成网络

GAN

迁移学习

TL

学习

RF

神经网络

GNN

一、算法和场景融合理解

1

.

空间相关性的非结构化数据,

CNN算法

典型的图像数据,像素点之间具有空间相关性,例如图像的分类、分割、检测都是

CNN算法。

2

.

时间相关性的非结构化数据,

RNN算法

这类场景普遍的一个现象就是数据之间具有时序相关性,也就是数据之间存在先后依赖关系。例如自然语言处理、语音相关算法都是基于

RNN算法

欧氏数据结构

GNN

。这

类场景

型的

可以

用图来表示。

例如

社交网络等。

案例摘要讲解

医疗

领域:

流行疾病、肿瘤等相关疾病

检测

遥感

领域

遥感影像中的场景识别

石油勘探

:如

石油油粒大小检测

轨道

交通:

地铁密集人流检测

检测领域

故障检测

公安领域

:如犯罪行为分析

国防领域

:目标检测、信号分析、态势感知

经济领域:

票预测

二、数据理解及处理

分析典型场景中的典型数据,结合具体的算法,对数据进行处理

1.结构化数据,如何对数据进行读取,进行组织。

2.图像数据,在实际应用过程中的处理方法,怎样做数据的预处理、进行数据增强等。

3.时序信号,将单点的数据如何组合成一个序列,以及对序列数据处理的基本方法。

三、技术路径设计

针对具体的场景设计特定的神经网络模型,对典型数据适配的网络结构进介绍。

1.DNN模型搭建的基本原则

2.CNN模型中常见的网络结构,以及参数分析。

3.RNN中支持的一些基本算子,如何对序列数据进行组织。

四、模型验证及问题排查

简单的算法或者模型对典型的场景进行快速验证,并且针对一些频发的问题进行讲解。

模型收敛状态不佳

分类任务重最后一层激活函数对模型的影响

五、高级

-模型优化的原理

不同的模型需要采用的优化函数以及反向传播中参数的优化方法

1.模型优化的算法介绍,基于随机梯度下降的算法介绍。

2.不同场景适应的损失函数介绍。

3.针对典型场景的反向传播梯度的推到过程。

六、高级

-定制化思路

结合往期学员的一些项目,简单介绍一下解决一个具体问题的思路。

遥感成像中,地块农作物种类的识别。

实操解析与训练

第一阶段:

神经

网络

实践

实验

**

:神经


网络

**

1

.

神经网络

基本概念理解

epoch

batch size

学习率、正则、噪声、

激活

2

.

同的数据生成

模型、

调整网络参数、调

网络规

3

.

神经

网络分类问题

4.不

同数据

特征

的作用分析

隐含层神经元数目

5.过拟

高频问题:

1

.

输入数据

与数据特征

2

.

模型设计的过程中的参数与功能

的关系

关键点:

1

.

掌握神经网络

基本概念

2

.

学会搭建简单的神经网络结构

理解神经

网络参数

实操解析与训练

二阶段

深度

学习三

编程

思想

实验:

Keras

**

实践

**

1

.

理解

Keras基本原理

2

.

学会

Keras编程思想

3

.

三种

不同的深度神经网络构建编程方式

4.给定数据

集,

Keras独立完成实际的工程项目

高频问题:

1

.

如何

编程实现深度神经网络

种开发方式的具体使用

关键点:

1

.

掌握

Keras编程

2

.

采用

三种不同方式编写深度神经网络

实操解析与训练

三阶段:

CNN实践

实验:图

**

像分类

**

1

.

使用

CNN解决图像分类问题

2

.

搭建

Alex

Net

3.VGG16/19

4.GoogleNet 5.ResNet

高频问题:

1

.

CNN更复杂的模型在哪里可以找到代码

关键点:

1

.

使用卷积神经网络做图像分类

常见开源代码以及适用的问题

实验

**


视频人物行




**

1.基于C3D的视频行为识别方法

基于

LSTM的视频行为识别方法

3.基于Attention的视频行为识别方法

高频问题:

1

.

2

D卷

积与

3

D卷

2.视频

的时空特征

关键点:

1.C3D网络

的构建

2.Attention

机制

实操解析与训练

第四

阶段:

R-

CNN及

YOLO

实践

实验

**


目标


检测

**

1.目标

检测发展

代表性方法

阶段目标检测方法

R-CNN

系列

模型

一阶段

目标检测方法

YOLO系

模型

高频问题:

1.提名

与分类

BBOX实现策略

YOLO Loss函数

关键

**

点:

**

1.提名

方法

ROI Pooling

SPP Net 4.RPN 5.YOLO

实操解析与训练

第五

阶段:

RNN实践

实验

**


股票预测

**

1.股票

数据分析

步预测

3.异

步预测

高频问题:

1.历史

数据的使用

关键

**

点:

**

1.构建

RNN

2.采

Keras编程实现

实操解析与训练

第六

阶段:

Encoder-Decoder

实践

实验

**



噪分析

**

1.自

编码器

噪自编码器

高频问题:

1.噪声

的引入与去除

关键

**

点:

**

1

.

设计

去噪自编码器

实验

**


图像


标题生成

**

结合计算机视觉和机器翻译的最新进展,利用深

神经网络生成真实的图像标题。

1.掌握

Encoder-Decoder结构

2.学会

Seq2seq

结构

3

.图像

CNN +

RNN

4.图像标题生成模型

高频问题:

1

.

如何能够

根据图像生成文本

关键点:

1.提

取图像特征

CNN,生成文

RNN

2.构建

Encoder-Decoder结构

实操解析与训练

第七

阶段:

GAN实践

实验

**


艺术



作品


生成

**

生成

对抗

网络原理

GAN

生成模型、判别模型的设计

**

频问题


**

1.生成

模型与

判别

模型的博弈过程

关键

**

点:

**

1.掌握

GAN的

思想

与原理

根据

学会设计生成模型与判别模型

实操解析与训练

第八

阶段:

强化

学习实践

实验

**


游戏


分析

**

1.游戏

场景分析

2.强

化学习的

素分析

3.深

度强化学习

高频问题:

DNN 与DQN 2.

探索

与利用

关键

**

点:

**

1.深

度强化学习的原理

根据

实际需

设计

深度强化学习模型

实操解析与训练

第九

阶段:

积神经

网络

实践

实验

**


社交网络


分析

**

1.图

神经网络

原理

2.图

积神经

网络的思想

3.设计

图卷

积神经

网络进行社交网络分析

**

频问题


**

1.如何

神经网络

原理

实际

编程

关键

**

点:

**

1. 掌握图神经

网络

原理

图卷

积神经

网络

编程

实现

实操解析与训练

第十

阶段:

Transformer实践

实验

**




Transformer的


对话生成

**

Transformer原理

2. 基

Transformer的

对话生成

3

.

基于

Transformer 的

应用

高频问题:

1

.

如何

应用自注意力机制

2.如何应

用于自然

语言

处理

计算机视觉

关键点:

1

.

self-

Attention

机制

2.position

更多内容请关注微信公众号:人工智能技术与咨询或登录中国人工智能培训网