木子共田

1. PostgreSQL 事务日志WAL WAL segment file内部划分为N个page(Block)，每个page大小为8192 Bytes即8K，每个WAL segment file第1个page的header在PG源码中相应的数据结构是XLogLongPageH…

1.SparkStreaming有什么好处？1）解耦2）缓冲2.消息队列常见场景1）系统之间解耦合2）峰值压力缓冲3）异步通信3.kafka的架构4.kafka的消息存储和生产消费模型1）一个topi

1.下载2.解压3.改名4.修改server.properties5.发送到ht-2和ht-3节点6.修改ht-2和ht-3的server.properties7.启动zookeeper(三台节点执行

2.Spark Streaming处理数据时，首先启动一个job，这个job使用一个task来一直接收数据，将一段时间内接收到的数据封装在一个batch中，batch没有分布式计算特性，被封装到一个RDD中，这个RDD又被封装在DStream中，生成DStream之后，Spar…

2.与RDD类似，Dataframe也是一个分布式数据容器，然而Dataframe更像传统数据库的二维表格，除了数据以外，还掌握数据的结构信息，即schema。同时，与Hive类似，Dataframe也支持嵌套数据类型（struct，array，map）。从API易用性的角度上…

1.RDD是什么？2.RDD五大特性3.算子Transformation举例sample运行结果filter运行结果join运行结果leftOuterJoin运行结果rightOuterJoin和le

3.得到RDD val rdd = sc.textFile... 是在一个worker进程所管理的节点上为某Application启动的一个进程，该进程负责运行任务，并且负责将数据存在内存或者磁盘上。每个应用都有各自独立的executors 每个应用程序的运行环境由一个Dirv…

基于Standalone的两种提交方式转到bin目录1.client2.cluster基于Yarn的两种提交方式1.yarn-client2.yarn-cluster

1. Spark是什么？ 2. Spark为什么这么快？ 3. Spark的特点 4. Spark的技术栈 6. Java版的wordcount