大数据之路

我发觉网上找到的解决内容大部分不说明什么原因，导致大家并不知道是为何，只是跟着解决。有的人可能确实是系统目录挂载的分区出现问题，就解决了，而有的人出问题的并不是系统挂载的目录，就解决不了。

prometheus是谷歌用golang语言开发的一款开源的监控软件，使用安装在远程机器上的exporter，通过HTTP协议从远程的机器收集数据并存储在本地的时序数据库上。

当想使用本地开发环境运行flink读写线上hive数据来运行时报错。我使用maven管理的开发环境依赖。由于代码发布到测试环境集群上跑时并没有报错，而测试环境对应的依赖都是使用放在上面的依赖jar的，

Scala提供的隐式转换和隐式参数功能，是非常有特色的功能。是Java等编程语言所没有的功能。它可以允许你手动指定将某种类型的对象转换成其他类型的对象，或是给一个类增加方法。通过这些功能，可以实现非常

下面的错误是我在将本地代码打包以后使用服务器将flink的任务代码提交到yarn以后产生的,主要的原因是服务器使用的flink依赖环境中缺少相应的环境依赖。我们需要到flink官网中找到这些依赖下载下

一、函数式编程 谈到编程方式有指令式编程、过程化编程、函数式编程，函数式编程在使用时主要的思想就是把运算过

简介 Scala是一门多范式的编程语言，一种类似java的编程语言，是可扩展语言，并集成面向对象编程和函数式编程的各种特性的混合功能编程语言。 S

简介 特质就像是java的implement，是scala中代码复用的基础单元，它可以将方法和字段定义封装起来，然后添加到类中与类继承不一样的是，类继承要求每个类都只能继承一个超类，而一个类可以添加任

1、继承extends scala使用extends关键字来实现继承。可以在子类中定义父类中没有的字段和方法，或者重写父类的方法。 示例1：实现简

apply在pandas里非常好用的，那在pyodps里如何去使用，还是有一些区别的在pyodps中要对一行数据使用自定义函数，可以使用 apply 方法，axis 参数必须为 1，表示在行上操作

表（Table） HBase 中的数据以表的形式存储。同一个表中的数据通常是相关的，使用表主要是可以把某些列组织起来一起访问。表名作为 HDFS- table的主键，table中的记录==按照rowk

这个问题,一般是在sparksql中做row转换时候出错,最好一步步排错。这里要说的是, row:Row是先做了一次强制类型转换(asInstanceOf),row的实际类型是Seq[T],但是不能

OLAP名为联机分析，又称多维分析，什么是多维分析，指的是多种不同的维度审视数据，进行深层次分析。 进行分析必不可少对数据进行下钻、上卷、切片、切块、旋转等操作，为了更加直观，我们可以使用立方体来表

一、删除 删除hive数据时，首先明确你使用删除数据还是连同表结构也要删除，如果只是要删除数据可以选择truncate来清空表中的数据，如果要对表

1、IP设置 使用下面命令修改添加示例内容 命令： 修改添加的内容示例： 重启网络服务 2、关闭防火墙 在root用户下执行以下命令关闭防火墙 3

一、类 1、类的定义 scala是支持面向对象的，也有类和对象的概念。 示例：定义一个User类，并添加成员变量/成员方法，创建一个Main ob

关于Kafka版本选择 这里使用的Kafka的版本是0.10.1版本，我们主要分析的Kafka的核心源码流程，对于这个来说变化不是很大。同时我们选

一、引导 提问：你了解事件的乱序吗？乱序是怎么产生的呢？在flink流处理中是以什么事件类型判定乱序的呢？ 当一条一条的数据从产生到经过消息队列传输，然后Flink接受后处理，这个流程中数据都是按照数

如果复制集是由三个节点组成的，且三个节点均可投票，只要其中两个节点能够互相沟通那么复制集就能选举出新的主节点。如果有两个节点不可用了，那么剩下的节点将为 从节点 ，因为它不能与复制集中多数节点进行沟通

Kibana是一个开源的分析和可视化平台，设计用于和Elasticsearch一起工作。你用Kibana来搜索，查看，并和存储在Elasticsearch索引中的数据进行交互。你可以轻松地执行高级数据