首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
ns7381
掘友等级
软件开发
JAVA/BIGDATA/GO/CLOUD
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
127
文章 127
沸点 0
赞
127
返回
|
搜索文章
ns7381
赞了这篇文章
周二鸭
没职位 @没公司
·
3年前
关注
Java沙箱机制的实现——安全管理器、访问控制器
我们知道如果默认不作任何配置,我们所写的程序是可以直接访问机器上的任意资源的,例如操作文件、网络请求等。而当我们把程序运行在服务器时,如果不对程序加以限制,那么将大大增加系...
4
1
分享
ns7381
软件开发
·
2年前
关注
sql语法解析
编译原理概念BNF范式 自然语言存在不同程度的二义性。这种模糊、不确定的方式无法精确定义一门程序设计语言。必须设计一种准确无误地描述程序设计语言的语法结构,这种严谨、...
2
评论
分享
ns7381
软件开发
·
2年前
关注
hive-6 常见问题处理
1. 内存溢出 该语句会进行全表全分区扫描,如果该表的分区数很多,数据量很大,可能就会出现客户端内存不足的报错。 注:客户端报内存溢出的判断依据,通过查看客户端输出来的日志...
1
评论
分享
ns7381
软件开发
·
2年前
关注
hive-5. Task相关的一些计算公式
hive.exec.orc.split.strategy 默认 HYBRID, 参数控制在读取ORC表时生成split的策略。 HYBRID策略为:当文件的平均大小大于ha...
1
评论
分享
ns7381
软件开发
·
2年前
关注
hive-4.源码metastore
1. 加载配置,解析命令行参数,使用apache-commons-cli包做命令行参数解析 2. 执行startMetaStore,去启动thrift server...
3
评论
分享
ns7381
软件开发
·
2年前
关注
hive-4.源码-client
1. prepare 2. init 3. executeDriver SET/RESET/DFS/CRYPTO/ADD/LIST/LLAP_CLUSTER/LLAP_CA...
1
评论
分享
ns7381
软件开发
·
2年前
关注
hive-3. 权限
设计目的并不是为了防止恶意用户访问(操作)未经授权的数据,帮助用户避免一些意料之外的操作行为,另外授权机制并不完善,在很多指令方面都没有进行授权确认,比如授权指令Grant...
2
评论
分享
ns7381
软件开发
·
2年前
关注
hive-2. 使用
Please make sure it is the hive’s principal, not the user’s. And when you kinit, it sh...
1
评论
分享
ns7381
软件开发
·
2年前
关注
hive-1. 安装
7. 执行hive测试 在tez目录下修改pom.xml,首先将hadoop version改为当前运行的Hadoop版本. (可选):因为tez-ui依赖node.js以...
1
评论
分享
ns7381
软件开发
·
2年前
关注
mapreduce-6.reduce
调整参数为:mapred.reduce.parallel.copies(default 5)。 所以这个参数比较适合map很多并且完成的比较快的job的情况下调大,有利于r...
1
评论
分享
ns7381
软件开发
·
2年前
关注
mapreduce-5.map
The main() for MapReduce task processes. Map端的shuffle过程是对Map的结果进行分区、排序、溢写、合并分区,最后写入磁盘;...
1
评论
分享
ns7381
软件开发
·
2年前
关注
mapreduce-4. AppMaster
The Map-Reduce Application Master. The state machine is encapsulated in the implementa...
1
评论
分享
ns7381
软件开发
·
2年前
关注
mapreduce-3.client
The job submitter's view of the Job. It allows the user to configure the job, submit i...
2
评论
分享
ns7381
软件开发
·
2年前
关注
mapreduce-2.进程调试信息
Clientexport HADOOP_OPTS="$HADOOP_OPTS -agentlib:jdwp=transport=dt_socket,server=y,sus...
1
评论
分享
ns7381
软件开发
·
2年前
关注
mapreduce-1.概览
Map 在MapTask执行时,其输入数据来源于HDFS的Block。例如一个目录下有三个文件大小分别为:5M 10M 150M 这个时候其实会产生四个Mapper处理的数...
2
评论
分享
ns7381
软件开发
·
2年前
关注
kafka
| Topic主题 | 每条发布到 Kafka 集群的消息都有一个类别,这个类别被称为 Topic。 | | Partition分区 | topic物理上的分组,一个top...
1
评论
分享
ns7381
软件开发
·
2年前
关注
zookeeper-5.使用场景
发布者将数据发布到ZK节点上,供订阅者动态获取数据,实现配置信息动态更新。例如全局的配置信息,服务式服务框架的服务地址列表等就非常适合使用。 心跳检测:检测系统和被检测系统...
2
评论
分享
ns7381
软件开发
·
2年前
关注
zookeeper-4.持久化
在配置Zookeeper集群时需要配置dataDir目录,其用来存储事务日志文件。也可以为事务日志单独分配一个文件存储目录:dataLogDir。若配置dataLogDir...
1
评论
分享
ns7381
软件开发
·
2年前
关注
zookeeper-3.zab原理
Zab协议有两种模式,恢复模式(选主)和广播模式(同步)。 当服务启动或者在领导者崩溃后,Zab就进入了恢复模式,当领导者被选举出来,且大多数Server完成了和leade...
1
评论
分享
下一页
个人成就
文章被点赞
245
文章被阅读
36,947
掘力值
1,771
关注了
4
关注者
12
收藏集
16
关注标签
16
加入于
2020-09-07