首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
Meet相识
掘友等级
大数据开发
|
美团点评
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
2
文章 2
沸点 0
赞
2
返回
|
搜索文章
最新
热门
Spark调优-初级
下列Hive参数对Spark同样起作用。 当大表JOIN小表时,如果小表足够小,可以将大表分片,分别用小表和每个大表的分片进行JOIN,最后汇总,能够大大提升作业性能。 spark.sql.autoBroadcastJoinThreshold 默认值为26214400(25M)…
Spark 调优之SparkUI详解
这里是具体的Spark任务分配的每一个task的执行情况,点击可以进入yarn平台查看具体的日志信息,一般的错误日志都可以在driver的日志中查看,不过有些需要看具体的执行机,如内存溢出等。
logback日志写入kafka遇到的那些坑
百度了一下,发现,原因是:==log4j-over-slf4j和slf4j-log4j12是跟Java日志系统相关的两个jar包,当它们同时出现在classpath下时,就可能会引起堆栈溢出异常。== 这样问题就迎刃而解了。
慕课网Flask高级编程实战-5.Flask中的多线程和线程隔离技术
资源是稀缺的,进程是竞争计算机资源的基本单位。 一台计算机至少要有一个进程。 单核CPU用眼只能执行一个应用程序吗?No,他可以在不同的应用程序直接进行切换。由于切换的时间非常短,短到人类无法感知到,所以造成了一种假象,一个进程可以同时执行多个进程。 多核CPU可以真正意义上的…
springboot 集成elasticsearch遇到的坑
最近开始学习elasticsearch,所以就想着在springboot里面集成一下elasticsearch,结果遇到了不少麻烦,下面总结一下,但愿大家和自己以后都少走弯路首先声明下,本人开始学习e
Spark 调优之SparkUI详解
这里是具体的Spark任务分配的每一个task的执行情况,点击可以进入yarn平台查看具体的日志信息,一般的错误日志都可以在driver的日志中查看,不过有些需要看具体的执行机,如内存溢出等。
Hive 入门
压缩:GZIP,LZO,Snappy,Bzip2... hive.exec.reducers.bytes.per.reducer 这个参数控制一个job会有多少个reducer来处理,依据的是输入文件的总大小。默认1GB。(即每个reduce任务处理的数据量。) hive.ex…
Es-Search Api 详解
Term Frequency(TF)词频,即单词在该文档中出现的次数。词频越高,相关度越高 Inverse Document Frequency(IDF)逆向文档频率,与文档频率相反,简单理解为1/DF。即单词出现的文档数越少,相关度越高
JsonView 使用方法
第一步:使用接口声明视图第二步:在值对象的get方法上指定视图第三步:在Controller方法上指定视图
使用presto数据库在字符数字比较中遇到的坑
公司的sql查询平台提供了HIVE和Presto两种查询引擎来查询hive中的数据,由于presto的速度较快,一般能用presto跑就不用hive跑(有的时候如果使用了hive的UDF就必须用hive了),然而昨天发生了一件血案。 有一个需求需要统计某个时间小于100000s…
下一页
个人成就
文章被点赞
98
文章被阅读
128,151
掘力值
1,773
关注了
9
关注者
79
收藏集
1
关注标签
20
加入于
2017-09-29