大数据菜鸡

1 Flink的并行度了解吗？Flink的并行度设置是怎样的？ Flink中的任务被分为多个并行任务来执行，其中每个并行的实例处理一部分数据。这些并行实例的数量被称为并行度...

简单介绍一下 Flink Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。F...

假设用户编写了一个MapReduce程序，并将其打包成xxx.jar文件，并提交作业，该作业的运行过程如图所示： 这个过程分为以下5个步骤： 作业提交与初始化。 用户提交作...

1.Flink基础 1. 简单介绍一下 Flink Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制...

集群时间同步 时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。 配置时间同步具体实操： 1 ）时间服务器...

Hive中如何处理JSON格式数据 Hive 处理json数据总体来说有三个办法： 使用内建的函数get_json_object、json_tuple 使用自定义的UDF(...

消息丢失的案例： Leader接收消息后，更新Leader的LEO，但是Remote-LEO和HW并没有更新。 如果生产者设置acks=1，则表示此消息已经发送成功。如果a...

为什么要自定义函数 常见的自定义函数 如何编写UDF 案例 自定义函数，根据出生日期求年龄 导入依赖 编码实现 将项目打成jar包 上传到HDFS上 在Hive中添加jar...

1.Hive的架构 2 Hive和数据库比较 Hive 和数据库除了拥有类似的查询语言，再无类似之处。 1）数据存储位置 Hive 存储在 HDFS 。数据库将数据保存在块...

1)      在VMware中新建虚拟机 2)      默认即可,不需要做任何修改，直接下一步 3)      选择稍后安装操作系统，然后下一步 4)      选择安...

例题.在有序表{7,14,18,21,23,29,31,35,38}中查找18. 【解析】 对于折半查找有序表里面其中的一个元素的话我们需要注意以下几点 弄清楚了上面的2个...

1、解析URL字符串的： parse_url 用法： 举例 ： 2、字符串连接函数（需要String类型）： concat和concat_ws 用法： 举例： 3、当前的系...

spark一般都是部署到yarn上使用的，所以就说y问的最多的就是arn的提交流程，两种模式最大的区别就是driver端的执行位置 Yarn Client 模式* 第一步，...

YARN调度策略大揭秘 YARN调度策略，即存在于resourceManager中, 主要为了进行资源的调度。一共有三大类调度器，分别是FIFO、 Capacity Sch...

默认的系统YUM源，需要连接国外apache网站，网速比较慢，可以修改关联的网络YUM源为国内镜像的网站，比如网易163,aliyun等 1)        安装wget,...

--1.学生表 --- Student(S,Sname,Sage,Ssex) --S 学生编号,Sname 学生姓名,Sage 出生年月,Ssex 学生性别 --2.课程表...

分享大数据常见的面试题 一、mr的shuffle流程 说到mr的Shuffle，那么首先要明确shuffle属于哪个阶段。shuffle就是从Map端输出到Reduce输入...

集群部署 1 ） 解压安装包 [user1@hadoop102 software]$ tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/modu...

数据仓库的分层，你知道吗？ 数据仓库更多代表的是一种对数据的管理和使用的方式，它是一整套包括了数据建模、ETL（数据抽取、转换、加载）以及作用调度等在内的完整的理论体系流程...

Zookeeper内部原理 节点类型 stat结构体 czxid-创建节点的事务zxid：每次修改ZooKeeper状态都会收到一个zxid形式的时间戳，也就是ZooKee...