hike

val rdd: RDD[(String,Int)] = sc.val rdd1: RDD[(String, Iterable[Int])] = rdd.val rdd2: RDD[(String, Int)] = rdd1.mapValues(_.val cleanF = sc...

RDD转换算子算子单Value类型1 map（1）案例：从服务器日志数据agent.6 groupBy（1）案例：将List("Hello","hive", "hbase", "Hadoop")根据单词首写字母进行分组。（2）案例：按照agent.val wordCount: R...

将数据根据指定的规则进行筛选过滤，符合规则的数据保留，不符合规则的数据丢弃。val rdd: RDD[Int] = sc.val rdd1: RDD[Int] = rdd.rdd1.collect().当数据进行筛选过滤后，分区不变，但是分区内的数据可能不均衡，生产环境下，可能会...

RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据处理模型。默认情况下，Spark可以将一个作业切分多个任务后，发送给Executor节点并行计算，而能够并行计算的任务数量称之为并行度。这个数量可以在构建RDD时指...

什么是高阶函数编程，所谓的高阶函数，其实就是将函数当成一个类型来使用，而不是当成特定的语法结构。println("fun1...println("fun1...万物皆对象，但是对象都有类型，就意味着函数对象也有类型，f1的类型是Function，后面的0为参数个数，泛型为返回值类...

Rnnlogic:在知识图谱上学习进行推理的逻辑规则简要信息摘要1 介绍2 相关工作3 模型3.1 概率形式化3.2 参数3.3 优化3.4 实验4.1 实验设置4.本文研究了知识图推理逻辑规则的学习。逻辑规则在用于预测时提供了可解释的说明，并能够推广到其他任务，因此对学习至关重...

为建模多关系数据转换嵌入简要信息重要内容概括摘要1 介绍2 基于翻译的模型3 相关工作4 实验4.1 数据集4.2 实验设置4.3 链接预测4.​ 在低维向量空间中嵌入多关系数据的实体和关系。​ 对KBs中的多关系数据进行建模，提供高效的工具，不需要额外的知识，通过自动添加新的事...

数据仓库（ Data Warehouse ），是为企业所有决策制定过程，提供所有系统数据支持的战略集合。通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本、提高产品质量等。数据仓库，并不是数据的最终目的地，而是为数据最终的目的地做好准备。这些准备包括对数据的：清洗，...

无论是同步提交还是异步提交offset，都有可能会造成数据的漏消费或者重复消费。先提交offset后消费，有可能造成数据的漏消费；而先消费后提交offset，有可能会造成数据的重复消费。（2）确保数据的消费和提交两个操作是原子性的，要么同时成功，要么同时失败。原子化绑定的前提是提...