自然语言处理入门

118 阅读1分钟

1 自然语言处理入门-

自然语言处理(Natural Language Processing, 简称NLP)是计算机科学与语言学中关注于计算机与人类语言间转换的领域.

2 自然语言处理的发展简史

image.png

image.png

image.png

image.png

image.png

3 自然语言处理的应用场景

语音助手
机器翻译
搜索引擎
智能问答
1 文本预处理
1.1 文本预处理及其作用
文本语料在输送给模型前一般需要一系列的预处理工作,才能符合模型输入的要求,
1.2 文本预处理的主要环节
 文本处理的基本方法
 文本张量表示方法
 文本语料的数据分析
 文本特征处理
 数据增强方法
1.3 文本处理的基本方法
分词
词性标注
命名实体识别
1.4 文本张量的表示方法
one-hot编码
word2vec
word embedding
1.5 文本特征处理
 添加n-gram特征
 文本长度规范
1.6 数据增强方法
同译数据增强法