林路

这是我参与「第四届青训营 」笔记创作活动的第15天 一.Shuffle概述 1.MapReduce概述 在Map、Shuffle、Reduce三个阶段 2.Map阶段 在单机上进行的针对一小块数据的计

这是我参与「第四届青训营 」笔记创作活动的第14天 一.大数据处理引擎Spark介绍 1.大数据处理技术栈 分布式文件存储系统：hdfs 字节TOS 亚马逊S3对象存储 分布式消息系统：Kafka k

这是我参与「第四届青训营 」笔记创作活动的的第13天 一.元数据高可用 1.高可用的衡量 服务可用性指标：MTTR MTTF(平均故障的时间) MTBF(两次故障的时间) 可用性的年化： 全年不可用时

这是我参与「第四届青训营 」笔记创作活动的第12天 一.定义 1.可视化 2.数据可视化作用 信息展示 数据探索 沟通媒介 二.原理 1.流程 抽象数据 可视化设计 渲染和显示 交互性 2.数据 数据

这是我参与「第四届青训营 」笔记创作活动的第11天 一.机器学习 1.机器学习 机器学习就是把无序的数据转换为有用的信息 从数据中自动分析获得模型，并利用模型对未知数据进行预测 2.机器学习算法 监督

这是我参与「第四届青训营 」笔记创作活动的第10天 一.企业数据架构 1.数据集成-业务数据收集-CDC 2.数据集成-业务数据收集-Log 数据流向：client/server log->数据系统

这是我参与「第四届青训营 」笔记创作活动的第9天 一.Kubernetes简介 1.特点：便捷、可拓展、开源 目的：管理容器应用和服务 作用声明式配置和自动化 2.K8S核心概念：Pod、Deploy

这是我参与「第四届青训营 」笔记创作活动的第8天 一.YARN概述 1.调度系统演进：调度系统解决的问题 用有限资源解决有限资源无法满足的需求时就需要调度 调度系统主要解决资源请求和可用资源间的映射问

这是我参与「第四届青训营 」笔记创作活动的第7天 一.分布式系统 1.挑战 数据规模越来越大 服务的可用性要求越来越高 快速迭代的业务要求系统足够易用 2.理想分布式系统 高性能：可拓展、低时延、高吞