我爱吃胡萝卜

protobuf协议简介 Protocol Buffers，是Google公司开发的一种数据描述语言，类似于XML能够将结构化数据序列化，可用于数据存储、通信协议等方面。它...

方式 特点 insertInto 1.指定的hive表已经是存在的 2.dataframe的结构顺序和Hive表schema的顺序是一致的； saveAsTable 1.如...

1 执行airflow db init报错: mysql specified key too long 创建db时指定格式utf8mb3，如 CREATE DATABASE...

很多时候为了避免一个任务占用过多的执行资源，阻塞其他任务的执行，需要对单个任务设置执行节点数量的上/下限。 参考官方文档，可以按照以下两种方式进行配置： 1 开启动态分区 ...

1 查看context命令 2 设置context命令 3 获取指定namespace下所有的pod信息 4 进入容器...

PrestoDB支持的认证方式有3种（前提都是要打开https服务）： Kerberos LDAP Password file 本篇博客下面主要介绍Password fil...

认证/代理用户的概念 在Hadoop认证体系中有认证用户和代理用户的设计，其中认证用户用于认证，而代理用户则是实际访问服务/数据的用户，会用于鉴权与审计。 livy imp...

大多数场景下，大数据环境会使用Kerberos进行安全加固。正如配置文件livy.conf.template所描述的Livy支持的认证方式有Kerberos和自定义认证。 ...

为了方便服务的维护和扩展，我们使用容器化的方式部署ranger。 前提条件 准备好ranger-2.1.0-admin.tar.gz文件 准备好mysql-connecto...

Ranger描述 Apache Ranger提供了一个集中式的安全管理框架，用户可以通过操作Ranger Admin页面来配置各种策略，从而实现对Hadoop生成组件，比如...

如果不是使用CDH/CDP提供的大数据全家桶（已经集成好sentry/ranger），我们在选择大数据安全组件时，既要考虑到功能，也要注意到组件间的版本兼容性。 1 开源安...

Confluent Kafka, Schema Registry, Rest API, 本地测试, Connectors...