首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
智海观潮
掘友等级
微信公众号《智海观潮》
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
0
文章 0
沸点 0
赞
0
返回
|
搜索文章
智海观潮
16天前
关注
Kafka高性能揭秘 - Kafka中sequence IO、PageCache、SendFile的应用详解 - 面试
大家都知道Kafka是将数据存储于磁盘的,而磁盘读写性能往往很差,但Kafka官方测试其数据读写速率能达到600M/s,那么为什么Kafka性能会这么高呢?首先produc...
0
评论
分享
智海观潮
16天前
关注
Spark SQL解析查询parquet格式Hive表获取分区字段和查询条件
首先说一下,这里解决的问题应用场景:sparksql处理Hive表数据时,判断加载的是否是分区表,以及分区表的字段有哪些?再进一步限制查询分区表必须指定分区?这里涉及到两种...
0
评论
分享
智海观潮
16天前
关注
笔试编程 | 快速排序、冒泡、选择、插入、希尔、大顶堆、归并排序 (二)
1.快速排序(这里给出两种实现方法) 2.选择排序(这里给出两种实现方法) 3.冒泡排序 4.插入排序 5.希尔排序 6.大顶堆排序 7.归并排序...
0
评论
分享
智海观潮
16天前
关注
笔试编程 | 二分查找、数组、排序 (一)
今天先分享一些笔试中经常遇到的一些编程题,包括解题思路和代码实现,下图是本次分享的大纲: 二分查找法 二分查找又称折半查找, 它是一种效率较高的查找方法。前提:(1)必须采...
0
评论
分享
智海观潮
21天前
关注
聊聊如何准备找工作 - 面试求职
自身 首先,我们首先要明确自己的需求是什么,以及要对自己的综合实力做一个系统、合理的评估,一鼓作气,拿下心仪的offer。 1.工作地点 这个对于已经工作几年甚至更长时间的...
0
评论
分享
智海观潮
22天前
关注
一站式AI Agent开发、优化和管理平台 — 字节扣子之Coze Loop和Coze Studio
最近字节开源了扣子(Coze)的2个核心项目:Coze Loop(扣子罗盘)和Coze Studio(扣子开发平台),且采用Apache 2.0许可证。加上此前已经开源的开...
0
评论
分享
智海观潮
24天前
关注
Spark闭包 | driver & executor程序代码执行
Spark中的闭包 闭包的作用可以理解为:函数可以访问函数外部定义的变量,但是函数内部对该变量进行的修改,在函数外是不可见的,即对函数外源变量不会产生影响。 其实,在学习S...
0
评论
分享
智海观潮
24天前
关注
Spark SQL | 目前Spark社区最活跃的组件之一
Spark SQL是一个用来处理结构化数据的Spark组件,前身是shark,但是shark过多的依赖于hive如采用hive的语法解析器、查询优化器等,制约了Spark各...
0
评论
分享
智海观潮
24天前
关注
Kafka作为消息系统的系统补充
Kafka概述 Apache Kafka由Scala和Java编写,基于生产者和消费者模型作为开源的分布式发布订阅消息系统。它提供了类似于JMS的特性,但设计上又有很大区别...
0
评论
分享
智海观潮
24天前
关注
分布式流平台Kafka
提到Kafka很多人的第一印象就是它是一个消息系统,但Kafka发展至今,它的定位已远不止于此,而是一个分布式流处理平台。对于一个流处理平台通常具有三个关键能力:1.发布和...
0
评论
分享
智海观潮
24天前
关注
Hive Join优化
在阐述Hive Join具体的优化方法之前,首先看一下Hive Join的几个重要特点,在实际使用时也可以利用下列特点做相应优化:1.只支持等值连接2.底层会将写的HQL语...
0
评论
分享
智海观潮
24天前
关注
对Spark硬件配置的建议
对于Spark开发人员来说,一个比较普遍的问题就是如何合理的配置Spark的硬件?当然如何合理的对Spark集群进行硬件配置要视情况而定,在这里给出以下建议: 存储系统 在...
0
评论
分享
智海观潮
24天前
关注
Apache Hive
Apache Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供一种HQL语言进行查询,具有扩展性好、延展性好、高容错等特点,多...
0
评论
分享
智海观潮
24天前
关注
重要 | Spark分区并行度决定机制
最近经常有小伙伴留言,核心问题都比较类似,就是虽然接触Spark有一段时间了,但是搞不明白一个问题,为什么我从HDFS上加载不同的文件时,打印的分区数不一样,并且好像spa...
0
评论
分享
智海观潮
24天前
关注
Java并发队列与容器
【前言:无论是大数据从业人员还是Java从业人员,掌握Java高并发和多线程是必备技能之一。本文主要阐述Java并发包下的阻塞队列和并发容器,其实研读过大数据相关技术如Sp...
0
评论
分享
智海观潮
24天前
关注
Redis从入门到精通
【前言:本文主要介绍redis,内容丰富且实用,旨在帮助大家对redis有一个更深入、全面的了解以及在实际工作中更好的应用redis,篇幅较长,建议大家收藏,仔细阅读】Re...
0
评论
分享
智海观潮
24天前
关注
Spark和MapReduce任务计算模型
【前言:本文主要从任务处理的运行模式为角度,分析Spark计算模型,希望帮助大家对Spark有一个更深入的了解。同时拿MapReduce和Spark计算模型做对比,强化对S...
0
评论
分享
智海观潮
24天前
关注
重要 | Spark和MapReduce的对比
首先纠正一个误区:在浏览Spark官网时,经常能看到如下这张图: 从上图可以看出Spark的运行速度明显比Hadoop(其实是跟MapReduce计算引擎对比)快上百倍!相...
0
评论
分享
智海观潮
4年前
关注
不可不知的资源管理调度器Hadoop Yarn
Yarn(Yet Another Resource Negotiator)是一个资源调度平台,负责为运算程序如Spark、MapReduce分配资源和调度,不参与用户程序内...
0
1
分享
智海观潮
4年前
关注
Hadoop调优 | NameNode主备宕机引发的思考
大家都知道在双十一这些电商大型营销活动期间,电商网站的访问量等是平时的N倍。每当这个时候到来,无论是开发还是运维人员都严阵以待生怕服务出现问题。很不幸,笔者的一个朋友在一家...
0
2
分享
下一页
个人成就
文章被点赞
10
文章被阅读
15,696
掘力值
540
关注了
0
关注者
13
收藏集
0
关注标签
2
加入于
2020-04-17