junelyn

1. HBase集成MapReduce（重点 难点） HBase表中的数据最终都是存储在HDFS上，HBase天生的支持MR的操作，我们可以通过MR直接处理HBase表中的数据，并且MR可以将处理后的结果直接存储到HBase表中。 2. HBase集成Hive（重点） Hive…

本次主要围绕HBase的原理性知识点进行讲解。主要包括以下几个方面 1. HBase的数据存储原理（20分钟） 2. HBase读数据流程（10分钟） 2、根据要查询的namespace、表名和rowkey信息。找到写入数据对应的region信息 从storeFile中读取到数…

📖 1. Flink简介 Apache Flink 是一个分布式大数据处理引擎，可对有界数据流和无界数据流进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算 任何类型的数据都可以形成一种事件流。信用卡交易、传感器测量、机器日志、网站或移…

在推荐系统的建模过程中，我们将用到python库 Surprise(Simple Python RecommendatIon System Engine)，是scikit系列中的一个(很多同学用过scikit-learn和scikit-image等库)。 其中基于近邻的方法(协…

我们这里依旧使用最基础的音乐信息，我们认为同一个歌单中的歌曲，有比较高的相似性，同时都是做单的同学喜欢的。 主流的python推荐系统框架，支持的最基本数据格式为movielens dataset，其评分数据格式为 user item rating timestamp，为了简单…

1、首先晒流程图：

集成学习（ensemble learning）指的是将多个学习器进行有效地结合，组建一个“学习器委员会”，其中每个学习器担任委员会成员并行使投票表决权，使得委员会最后的决定更能够四方造福普度众生~...~，即其泛化性能要能优于其中任何一个学习器。 集成学习的基本结构为：先产生一…

一般分析场景有：启动速度的快慢;偶尔出现响应慢于平均水平或者出现卡顿。 内存的占用，低延时，吞吐量。 2、配置启动后，在文件夹下产生gc1.log。more 文件夹。可以看到： 从日志中，可以看到一些GC的日志信息，比如初始化堆大小和最大堆栈大小。 从图中，我们可以看到GC的停…

可视化工具：在测试时，或性能调试的时候使用。