自然语言处理

在NLP-统计语言模型中简要介绍了统计语言模型的原理和实现方法，以bigram为例，计算了 的概率，这是比较理想的情况，而现实与理想的差

语言模型是自然语言处理的基础，在自然语言的很多任务中都有较好的应用，}$ $\color{green}{ 如机器翻译、输入提示、文本生成、分词中判断最优分词情况等

在文本中，如果需要对其进行相似度计算或者其他计算时，文字是无法直接进行计算的，所以就需要对文本进行量化处理，也就是进行数字编码才能对文本进行计算，而one hot就是其中一种出现比较早也比较简单的编码

TF-IDF（term frequency–inverse document frequency）是一种统计方法，用来衡量字词对于文本的重要程度

本文主要讲述一种比较传统的分词算法--最大正向匹配算法，所谓的最大正向，也就是从句子左侧开始匹配，匹配到的词以最大长度为准，当然有最大正向，也就有最大逆向，双向等等

编辑距离在NLP中是一种比较比较实用，且原理简单的一种算法，一般用于拼写纠错，相似度计算等，特别是在搜索领域，通过计算输入词与候选词的编辑距离，可以一定量的帮助用户进行拼写纠错