涤生大数据

         前面写了一篇大数据行业介绍，后台有很多小伙伴私信我大数据该如何学，简历该如何优化？尤其很多准备转行大数据的小伙伴，初级入门者，有较多困惑，简历写得天花乱坠，面试总是一面就挂，学习没有重点，找不到突破方向等等。1.1.     为什么我一定要强调方向的选择，因为在...

        中国的IT行业因为有人口福利，所以但凡有个细分领域可以互联网+的，搞个应用服务，能有个日活10w+都可以活的很好了，当然像抖音那种现象级的APP日活过亿的，早已赚的盆满钵满。中国的IT行业的蓬勃发展，蛋糕之大，让所有IT行业从业者的收入总体处于行业前列，可比拟的只...

背景： 集群规模上千节点，5台JournalNode节点，现在因为需要维修，下线其中一台JournalNode进行维修。1.      在namenode的HA机制下，两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。JournalN...

1.       公司集群上千物理节点，存储容量100PB+,当前使用50PB左右，YARN的计算内存150Tb+,CPU 30000 Cores+。当前使用的CDH集群，因为性能瓶颈，需要迁移到自建的apache Hadoop3集群。CDH集群默认的是Fair Schedule...

1.      集群报块丢失的原因很多，如物理磁盘损坏，节点不正常下线退役，集群高负载时如内存打满卡死，网络拥堵，系统本身问题等造成节点掉线，如cdh集群的agent和server失去联系，非正常下线，心跳超时等原因造成yarn界面出现块丢失现象。1.1.     所有Datan...

1.在root用户下，查看MySQL是否安装 [root@10-90-49-139-jhdxyjd ~]# rpm -qa|grep -i mysql    mysql-community-common-5.7.26-1.el7.x86_64 mysql-community-cl...

1. 1.1. val config = new SparkConf().setAppName("ip_ana").val result = sc.textFile("dataset/access_log_sample..map(item => (item..filter(ite...

1.1. val conf = new SparkConf().setMaster("local[6]").val interimRDD = sc.textFile("dataset/access_log_sample..map(item => (item..filter(ite...

4. // 1. val conf = new SparkConf().// 2. val source: RDD[String] = sc.textFile("hdfs://node01:8020/dataset/wordcount.val words: RDD[String]...