Summer_morning_sun

接上一篇大数据服务器环境准备。 1. 安装大数据集群前的环境准备 至此三台机器已完全打通，jdk也已经安装完成，接下来就可以开始安装hadoop和zookeeper的集群了。 3. hadoop集群的安装 由于CDH的所有安装包版本都给出了对应的软件版本，一般情况下是不需要自己…

在Map方法之后，Reduce方法之前的过程为Shuffle。 为了让Reduce可以并行处理Map的结果，必须对Map的输出进行一定的排序与分割，然后再交给对应的Reduce，而这个将Map输出进行进一步整理并交给Reduce的过程就是Shuffle。 OutputColle…

随着国内互联网行业的发展，万亿规模的超大集群虽然已不像几年前那么凤毛麟角，但是也并不多见，尤其是涉及超万亿规模的超大集群性能故障排查的机会就更加稀少。而这次我所进行的超万亿规模的HadoopNameN

最近我想在网站上下载几首音乐放到我的u盘里听，但是上网上一找，各大音乐网站下载歌曲（尤其是好听的歌曲）都需要vip。 对于像我这样的穷人来说，肯定是不会花几十块钱去下载几首音乐啦，而且作为程序员，充钱去下载音乐那也是不可能的，于是我花了一天时间，上网找了各种资料来学习一下怎样才…

学习Java7之前的HashMap与ConcurrentHashMap原理的笔记。 HashMap可以说是JDK中一个的经典的轮子，其中有许多非常实用的方法，但是逻辑最复杂的，还是put(K key,

一、在讲这个问题之前，我想先简单说一下我理解的MySql的架构以及sql语句的执行流程。 这一步对于开发者来说，就是用配置好的数据库用户名与密码去连接数据库。比如，Java的JDBC，这里直接用SpringBoot的配置来举例 在每次查询之前都会校验查询者的用户身份。 ② 第二…

01.线程池10年前单核CPU电脑，假的多线程，像马戏团小丑玩多个球，CPU需要来回切换。现在是多核电脑，多个线程各自跑在独立的CPU上，不用切换效率高。线程池的优势:线程池做的工作只要是控制运行的线

Redis是一个内存数据库，所有的数据将保存在内存中，这与传统的MySQL、Oracle、SqlServer等关系型数据库直接把数据保存到硬盘相比，Redis的读写效率非常高。但是保存在内存中也有一个很大的缺陷，一旦断电或者宕机，内存数据库中的内容将会全部丢失。为了弥补这一缺陷…

我们知道，线程需要的时候要进行创建，不需要的时候需要进行销毁，但是线程的创建和销毁都是一个开销比较大的操作。 虽然我们程序员创建一个线程很容易，直接使用 new Thread() 创建就可以了，但是操作系统做的工作会多很多，它需要发出 系统调用，陷入内核，调用内核 API 创建…