大数据

前言介绍 关于大数据面试岗位，经过近十多年的发展，对于大数据岗位的分工逐渐细化，从最开始的数据开发工程师，到拆分为离线开发和流计算开发，到拆分为基础组件开发、大数据运维、大数据产品等等一系列的细分岗位

在上一篇离在线混部架构模型文章中，我们讲到了大数据离在线混部的架构模式，同时也整体回顾了一下大数据架构的演变历程，概括性的来看，从数据处理范式中更多的是做批流一体、存算分离等方向演进，这种能力可以视为

在大数据场景下，现在主流的技术架构还是以Hadoop生态为主，其中yarn作为分布式资源调度系统，核心功能就在于如何合理的分配机器资源（这里的资源指的是CPU和内存）然后将资源分配给特定的计算作业

HDFS 机架感知介绍 HDFS 机架感知是一种逻辑上的网络架构设计，它主要是用来区分不同节点的网络拓扑情况下，保证数据是能够高性能写入和查询的一种机制，毕竟跨网络的数据读写是有网络带宽消耗的

本文介绍Apache SeaTunnel 以及关于Apache SeaTunnel的部署和使用，Apache SeaTunnel 是新一代高性能、分布式、海量数据集成工具，支持上百种数据源