科技老丁哥

前面我们学习了很多用NLP进行文本的分词，文本分块，创建词袋模型等，这些步骤可以认为是NLP文本处理的基础，此处我们来看NLP的一个非常重要的应用，对文本使用监督学习进行自动分类。 1. 20 Newsgroups数据集介绍 本文要使用NLP中非常经典的一个数据集：20 New…

词形还原也是将单词转换为原来的相貌，和上一篇文章中介绍的词干提取不一样，词形还原要难的多，它是一个更加结构化的方法，在上一篇中的词干提取例子中，可以看到将wolves提取为wolv等，这些肯定不是我们所期望的。那么此处我们使用NLP词形还原的方式来将英语单词还原。 1. NLP…

文本分块是将一大段文本分割成几段小文本，其目的是比如想获取一段文本中的一小部分，或分割得到固定单词数目的小部分等，经常用于非常大的文本。注意文本分块和分词不一样，分词的目的是把一段文本分割成单词，而文本分块的目的是把一大段文本分割成多个小段文本。 1. NLP文本分块 在不用的…

词袋模型（Bag Of Words, BOW)和词向量（Word Embedding, 也叫词嵌套等）是自然语言处理和文本分析的两个最常用的模型。 词袋模型将一段文本看成一系列单词的集合，由于单词很多，故而这段文本就相当于一个袋子，里面装着一系列单词。故而计算机的NLP分析就是…

文本分块是将一大段文本分割成几段小文本，其目的是比如想获取一段文本中的一小部分，或分割得到固定单词数目的小部分等，经常用于非常大的文本。注意文本分块和分词不一样，分词的目的是把一段文本分割成单词，而文本分块的目的是把一大段文本分割成多个小段文本。 1. NLP文本分块 在不用的…

电影推荐系统内部最关键的部件是推荐引擎，和汽车的发动机一样，推荐引擎的作用是产生数据动力，提供数据计算方案。从本质上说，推荐引擎时一个能预测用户兴趣点的模型。对于不同的具体项目要求，推荐引擎也是不一样的，本文主要介绍专门用于电影推荐系统的推荐引擎构建方法。 推荐引擎非常重要，比…

在构建推荐引擎时，一般需要计算两个用户之间的相似度，以便找到与数据库中特定用户相似的用户。计算相似度的方法有很多种，其中比较常见的两种是计算欧几里得距离和皮尔逊相关系数，本文分别讲述使用这两种方法来计算用户之间的相似度。 1. 计算两个用户的欧氏距离 欧几里得距离是欧几里得空间…

在上一篇文章中我们学习了构建KNN分类器模型，但是KNN不仅可以用于分类问题，还可以用于回归问题，本章我们来学习KNN回归模型的构建和训练。 1. 准备数据集 此处我们使用随机函数构建了序列型数据集，其产生方式是用函数np.sinc()来产生y值。 用plt将该数据集绘制到图表…

KNN(K-nearest neighbors)是用K个最近邻的训练数据集来寻找未知对象分类的一种算法。其基本的核心思想在我的上一篇文章中介绍过了。 1. 准备数据集 此处我的数据集准备包括数据加载和数据可视化，这部分比较简单，以前文章中使用了多次，直接看数据分布图。 2. 构…