大数据

本文已参与「新人创作礼」活动，一起开启掘金创作之路 一、前言 本篇文章主要讲解Ambari Server端的高可用搭建。注意，是Ambari的Server，而不是Hadoop集群的应用。截止目前为止（

本文已参与「新人创作礼」活动，一起开启掘金创作之路 scala JDBC 方式连接 impala 代码以及pom.xml文件中的依赖 背景 用cala JDBC 方式连接 impala 代码以及pom

本文已参与「新人创作礼」活动，一起开启掘金创作之路 创建mysql 为Azkaban创建数据库： 为Azkaban创建一个mysql用户。例如，： Mysql数据包大小可能需要重新配置。默认情况下，M

本文已参与「新人创作礼」活动，一起开启掘金创作之路 Azkaban 安装部署 背景 截止 ambari HDP2.6.5官方还没有支持Azkaban的的安装，但是项目中用到了，为了方便管理，将Azka

本文已参与「新人创作礼」活动，一起开启掘金创作之路 ambari HDP2.6.5 安装FLINK1.9 背景 截止 ambari HDP2.6.5官方还没有支持flink的的安装，但是项目中用到了，

本文已参与「新人创作礼」活动，一起开启掘金创作之路 ambari2.7.3 安装 impala 接着上面第四步开始 5.hdfs增加配置 修改core-site.xml 修改hdfs-site.xml

本文已参与「新人创作礼」活动，一起开启掘金创作之路 ambari2.7.3 安装 impala 安装过程中因为要去cloudera官网下载impala的rpm文件，安装过程比较慢，可能会失败，多试几次

本文已参与「新人创作礼」活动，一起开启掘金创作之路 背景 需要在idea中调式spark sql连接hive 步骤 1. 复制hive-site.xml\ 将Spark-Home/conf目录下的hi

本文已参与「新人创作礼」活动，一起开启掘金创作之路 背景 因为ambari上kafka版本过低，需要卸载安装新的kafka，卸载ambari上kafka报错 问题 Config inconsisten

本文已参与「新人创作礼」活动，一起开启掘金创作之路 背景 最近加入了掘金，在搬csdn上的文章ansible 实现自动化部署ambari（纯离线）时发现之前的问题一直没解决，加上最近又部署一套集群，细

本文已参与「新人创作礼」活动，一起开启掘金创作之路 八、附件-配置文件 1. my.cnf 2. ambari.repo 3. HDP.repo 4. HDP-UTILS.repo 5. ambari

本文已参与「新人创作礼」活动，一起开启掘金创作之路 六、编写playbook playbook支持yaml文件格式，语法也遵循yaml格式vim installAmbari.yaml 七、附件-脚本

本文已参与「新人创作礼」活动，一起开启掘金创作之路 前言 本文有本人指导，Mr.Lu_1实践完成 一、业务场景 大规模集群（几十上百台服务器）搭建ambari，频繁更换登录服务器操作不便并且容易出现操

本文已参与「新人创作礼」活动，一起开启掘金创作之路 @[toc] 一更换spark版本 因为要使用的carbondata对spark版本有要求，项目中使用的carbondata版本为2.0.1

本文已参与「新人创作礼」活动，一起开启掘金创作之路 @[TOC](Carbon Thrift Server HA) Carbon Thrift Server 先决条件 大数据集群环境 spark 2.

org.apache.hadoop.hive.serde2.SerDeException: java.io.IOException: Start of Array expected

本文已参与「新人创作礼」活动，一起开启掘金创作之路 Yarn ResourceManager GC overhead limit exceeded 问题 解决办法 最简单有效的修改ResourceMa

本文已参与「新人创作礼」活动，一起开启掘金创作之路 手动清理centos7 buff/cache 占用过高

本文已参与「新人创作礼」活动，一起开启掘金创作之路 curl 获取json数据 shell脚本： 问题处理 第一次标红，是数据格式是{“data”[{}]}获取{*} *的内容 第一次sed（未红）是

本文已参与「新人创作礼」活动，一起开启掘金创作之路 使用curl获取json数据 存入hive 外部分区表时，加载分区带有数字的字符，数据异常变成科学计数法