名字想好没

在实际的项目开发过程中我们会经常遇到一个项目操作多个数据库的问题，也就是多数据源的问题。那么本篇文章将通过一个具体的例子来讲解如何在SpringBoot+Mybatis+Druid+MySQL项目中实现多数据源的配置。 在本例中我们将会新建两个数据库（dbone和dbtwo）,…

上篇文章我们简要介绍了一下Avro是啥，以及其几种数据类型。那么通过这篇文章我们一起来实践一下Avro在MapReduce中的使用。 本篇文章是一个简单的用例，使用的例子是一个txt文件中存储了大量的学生信息，这些学生有姓名、年龄、爱好和班级信息，我们要做的事情就是通过MapR…

Avro是一个独立于编程语言的数据序列化系统。这个项目由Ddoug Cutting（Hadoop之父）创建，目标是解决Hadoop中Writable类型缺乏语言的可移植性的不足。Avro模式通常采用JSON来写，数据则采用二进制格式编码，也可采用基于JSON的数据编码方式。 A…

说到Java，大概很多人都知道GC。Java有自动的垃圾回收机制，当然了，在这篇文章里面就不去深究GC的具体实现了。那么以后了垃圾自动回收，我们是不是就在也不用担心内存泄露的问题了呢。这种问题的答案一般来讲都是否定的。那么这篇文章我们就一起来跟着《Effective Java》…

前面我们介绍了在Ubuntu上安装Hadoop单机版。但是我们知道，Hadoop在实际工作中都是以集群的形式存在的，毕竟需要处理大量的数据，单机的处理速度显然不能满足。所以这篇文章我们就来介绍一下如何在Ubuntu上搭建Hadoop 集群。 你可能很奇怪我要搭建的是Hadoop…

在我们的集群环境搭建过程中可能会很需要SSH免密登录，互相之间传文件只需要一个SCP命令，连密码都不用输，很方便。那么这篇文章我们就来了解一下怎么配置免密登录。 我这里所谓的手动配置是相对于脚本批量设置而言的。我们准备了两台Ubuntu虚拟机A和B。 A中生成公私钥对，执行下面…

在国内使用ubuntu的过程中由于网络的问题可能会有些包下载速度很慢，但是阿里云为我们提供了仓库服务，我们可以将Ubuntu的默认的软件源修改为阿里云的就可以了明显的提高软件的下载速度了。 我们先来看下修改一台机器的源。一台机器操作比较简单，也用不着使用脚本去操作。 备份原来的…

MapReduce是一种编程模型，"Map（映射）"和"Reduce（归约）"，是它们的主要思想，我们通过Map函数来分布式处理输入数据，然后通过Reduce汇总结果并输出。其实这个概念有点类似于我们Java8中的StreamApi，有兴趣的同学也可以去看看。 MapReduc…

当一个对象能够被重用的时候，就不要去创建新对象。我们先来考虑一个比较简单的例子 这个语句在每次被调用的时候都会创建一个全新的String实例，而且参数stringette自身也是一个String实例。所以一般建议使用下面的方式来申明一个String 下面通过几个例子来说明一下为…