在AI时代，我们希望计算机能够拥有视觉、听觉、行动以及语言的智能，而相对于听和看以及行动，语言是我们人类区别于其他动物的最重要特征之一。语言是我们思维的载体，也因此我们对于语言的理解和处理，变得尤为重要。

自动文本摘要技术系列博客（四）

目前做分词比较流行的是用深度学习来做，比如用循环神经网络和条件随机场，也有直接用条件随机场或隐马尔科夫模型的。前面也实现过上面几种，效果挺不错，基于隐马尔科夫模型的差一点，条件随机场的效果较好，而加入深度学习的效果最好。 而最最传统的分词做法很多都是基于字典的，然后通过最大匹配…

中文分词指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程；在英文中，单词之间是以空格作为自然分界符，汉语中词没有一个形式上的分界符。

自动文本摘要技术系列博客（二）

自动文本摘要技术系列博客（六）

之前我们已经分享了一篇《用sklearn做自然语言处理-1》，今天我们继续将sklearn一些高级用法。今天我们使用yelp网站评论数据集做一些探索，除了上一篇文章中用到的特征抽取知识，本文还会有。

自动文本摘要技术系列博客（七）

自然语言处理（NLP）是数据科学中最有趣的子领域之一，越来越多的数据科学家希望能够开发出涉及非结构化文本数据的解决方案。尽管如此，许多应用数据科学家（均具有STEM和社会科学背景）依然缺乏NLP（自然语言处理）经验。