首页
沸点
课程
数据标注
HOT
AI Coding
更多
直播
活动
APP
插件
直播
活动
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
登录
注册
字节跳动青训营
夏末秋至sll
创建于2022-07-25
订阅专栏
本专栏为第一次参加字节的青训营所记笔记
暂无订阅
共13篇文章
创建于2022-07-25
订阅专栏
默认顺序
默认顺序
最早发布
最新发布
HDFS高可用与高扩展机制(2)| 青训营笔记
这是我参与「第四届青训营 」笔记创作活动的第14天 9.3 元数据高扩展性 1.元数据扩展性挑战 1.1 元数据节点扩展性的挑战 HDFS NameNode是个集中式服务,部署在单个机器上,内存和磁盘
HDFS高可用与高扩展机制(1)| 青训营笔记
这是我参与「第四届青训营 」笔记创作活动的第13天 9.1 元数据高可用 1.高可用的需求 1.1服务高可用的需求 故障类型:硬件故障、软件故障、人为故障 灾难:数据中心级别不可用:机房断电、机房空调
HDFS原理与应用(2)| 青训营笔记
这是我参与「第四届青训营 」笔记创作活动的第12天 8.3 关键设计 分布式存储系统基本概念 1)容错能力:能够处理绝大部分异常场景,例如服务器宕机、网络异常、磁盘故障、网络超时等。 2)一致性模型:
HDFS原理与应用 | 青训营笔记
这是我参与「第四届青训营 」笔记创作活动的第11天 8.1 HDFS 基本介绍 HDFS:hadoop distributed file system 1.Windows单机文件系统 2.Linux单
Presto架构原理与优化介绍(2) | 青训营笔记
这是我参与「第四届青训营 」笔记创作活动的第10天 7.3 Presto重要机制 1.多租户资源管理 Case介绍 假设某个用户提交一个sql: 提交方式: Presto-cli 提交用户: zhan
Presto架构原理与优化介绍(1) | 青训营笔记
这是我参与「第四届青训营 」笔记创作活动的第9天 7.1 概述 1.大数据与OLAP的演进 什么是大数据?大数据=大规模的数据量? 关于大数据这里我们参考马丁希尔伯特的总结:大数据其实是在2000年后
大数据shuffle原理与实践(3) | 青训营笔记
这是我参与「第四届青训营 」笔记创作活动的第8天 6.3 Shuffle过程 Shuffle实现的发展历程 Spark 0.8及以前Hash Based Shuffle Spark 0.8.1为Has
大数据shuffle原理与实践(2) | 青训营笔记
这是我参与「第四届青训营 」笔记创作活动的第7天 6.4 push shuffle 1.为什么要push shuffle Avg l0 size太小,造成了大量的随机10,严重影响磁盘的吞吐 M *
大数据shuffle原理与实践(1) | 青训营笔记
这是我参与「第四届青训营 」笔记创作活动的第6天 6.1 shuffle概述 1.MapReduce概述 2004年谷歌发布了《MapReduce:Simplified Data Processing
流计算中的Window计算 | 青训营笔记
这是我参与「第四届青训营 」笔记创作活动的第4天 4.1 概述 1.流式计算与批式计算的比较 数据价值:实时性越高,数据价值越高 实时性和精准性往往不能两全 2.批处理 批处理模型典型的数仓架构为T十
流/批/OLAP 一体的Flink引擎介绍 | 青训营笔记
这是我参与「第四届青训营 」笔记创作活动的第2天 一、Flink概述 1.1 Apache Flink诞生背景: 1)什么是大数据:指无法在一定时间内用常规软件工具对其进行获取,存储,管理,处理的数据
Spark 原理与实践 | 青训营笔记
这是我参与「第四届青训营 」笔记创作活动的第5天 5.1 大数据处理引擎Spark介绍 1.大数据处理技术栈 2.常见大数据处理链路 3.开源大数据处理引擎 4.什么是Spark? 官网: 5.Spa
Exactly Once语义在Flink中的实现 | 青训营笔记
这是我参与「第四届青训营 」笔记创作活动的第3天 3.1 数据流和动态表 1.随处可见的流式数据 2.传统SQL和流处理 3.概述——数据流和动态表的转换 数据流-动态表-连续查询-动态表-数据流(输