美洲大鲤鱼

赞

13

|

搜索文章

Spark为什么会出现异常内存溢出？内存不够了不是会自动写磁盘吗

赞过

评论

1

请教一个spark sql的问题！！！！！！原表数据结构
{
trace_id: xxx,
linkList: [
{
link_id: xxx,
traceIdx: xxx,
city: xxx
},
{
link_id: xxx,
traceIdx: xxx,
city: xxx
}
]
}

select
trace_id,
linkList.linkId,
linkList.traceIdx
from table
查询的很快。但是数据结构返回的不对(下面这样)。我希望保持原数据结构
{
trace_id: xxx,
link_id: [
xxx,
xxx
],
traceIdx: [
xxx,
xxx
]
}

我实际需要的是下面这样的返回值
{
trace_id: xxx,
linkList: [
{
link_id: xxx,
traceIdx: xxx
},
{
link_id: xxx,
traceIdx: xxx
}
]
}

请问一下怎么实现呀，spark sql新人求教

展开

评论

点赞

关注了

关注了标签

抖音是怎么做到刷视频不会重复的，是每个人都有个布隆过滤器吗？我一直刷视频，前面看过的视频，下次在召回阶段还是会被召回，然后在过滤的时候过滤掉吗？这样召回内容里我刷过的视频是不是会越来越多，长时间下去就会有类似深度分页的问题，请问一下，抖音头条是怎么解决这个问题的呢

技术交流圈

等人赞过

18

9

关注了

关注了

关注了

关注了

关注了

关注了

关注了

#1024一起掘金# 1024

评论

点赞

#1024一起掘金# 这里是干嘛的

等人赞过

1

5

赞了这篇沸点

划水组长 @海边的小公司

·

人生有许多难关要过

等人赞过

4

47

赞了这篇沸点

bug开发

·

#1024一起掘金# Let's go party party all night oh oh~

等人赞过

3

43

赞了这篇沸点

#1024一起掘金# 不快乐

等人赞过

5

43

赞了这篇沸点

《Jetpack Compose：Android全新UI编程》 @联想

·

Android 14 正式版出来了，大家都适配了么

客户端开发

等人赞过

9

53

赞了这篇沸点

前端开发 @云南见手青

·

#1024一起掘金#
后台管理更新日志
2023-10-19
添加标签页的操作，设计好标签页的缓存功能（完美解决哟）

等人赞过

6

52

赞了这篇沸点

bug开发

·

#1024一起掘金# 今晚发版不知道又要到几点咯

等人赞过

8

51

加入于

2020-10-25