首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
我爱吃胡萝卜
掘友等级
数据开发
大数据
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
0
文章 0
沸点 0
赞
0
返回
|
搜索文章
最新
热门
Confluent Kafka Protobuf 测试(rest api)
protobuf协议简介 Protocol Buffers,是Google公司开发的一种数据描述语言,类似于XML能够将结构化数据序列化,可用于数据存储、通信协议等方面。它不依赖于语言和平台并且可扩展
Spark Dataframe数据写入hive方式
方式 特点 insertInto 1.指定的hive表已经是存在的 2.dataframe的结构顺序和Hive表schema的顺序是一致的; saveAsTable 1.如果表不存在,会自动创建表结构
Airflow常见报错
1 执行airflow db init报错: mysql specified key too long 创建db时指定格式utf8mb3,如 CREATE DATABASE airflow CHARA
Spark执行节点的配置
很多时候为了避免一个任务占用过多的执行资源,阻塞其他任务的执行,需要对单个任务设置执行节点数量的上/下限。 参考官方文档,可以按照以下两种方式进行配置: 1 开启动态分区 如果Spark集群开启动态分
K8S 常用命令
1 查看context命令 2 设置context命令 3 获取指定namespace下所有的pod信息 4 进入容器
PrestoDB自定义安全认证
PrestoDB支持的认证方式有3种(前提都是要打开https服务): Kerberos LDAP Password file 本篇博客下面主要介绍Password file认证的代码逻辑和配置。 1
Livy开启impersonate功能
认证/代理用户的概念 在Hadoop认证体系中有认证用户和代理用户的设计,其中认证用户用于认证,而代理用户则是实际访问服务/数据的用户,会用于鉴权与审计。 livy impersonate场景 一个典
Livy自定义安全认证
大多数场景下,大数据环境会使用Kerberos进行安全加固。正如配置文件livy.conf.template所描述的Livy支持的认证方式有Kerberos和自定义认证。 本博客将简单介绍如何给Liv
Apache Ranger系列二:Ranger服务容器化
为了方便服务的维护和扩展,我们使用容器化的方式部署ranger。 前提条件 准备好ranger-2.1.0-admin.tar.gz文件 准备好mysql-connector-java-8.0.29.
Apache Ranger系列一:Ranger安装
Ranger描述 Apache Ranger提供了一个集中式的安全管理框架,用户可以通过操作Ranger Admin页面来配置各种策略,从而实现对Hadoop生成组件,比如HDFS、YARN、Hive
下一页
个人成就
文章被阅读
2,562
掘力值
131
关注了
0
关注者
0
收藏集
0
关注标签
3
加入于
2023-08-22