大数据干饭人

一个不太恰当的比喻：Java像白话文，Scala像文言文。 一开始学Scala的时候可能会感觉各种不适应，尤其是写惯了C++/Java这样的语言后。感觉更重要的思想跟编程习惯上的改变。一旦写多了熟练使用了，那就一个字 真香！ scala语言，从词法上就与Java语言不同。支持完…

1. Kafka 简介 1. 简介 Apache Kafka 是一个分布式的流处理平台。它具有以下特点： 2. 基本概念 Kafka 的基本数据单元被称为 message(消息)，为减少网络开销，提高效率，多个消息会被放入同一批次 (Batch) 中后再写入。 Kafka 的消…

消费者（Consumer）负责订阅Kafka中的主题（Topic），并且从主题上拉取消息。Kafka中还存在消费者组（Consumer Group）的概念。每一个消费者都有一个对应的消费者组。当消息发布到主题后，会被投递给订阅它的消费者组中的一个消费者。 Kafka支持两种消息…

今天是spark专题第二篇文章，我们来看spark非常重要的一个概念——RDD。 在上一讲当中我们在本地安装好了spark，虽然我们只有local一个集群，但是仍然不妨碍我们进行实验。spark最大的特点就是无论集群的资源如何，进行计算的代码都是一样的，spark会自动为我们做…

1. 前言 刚刚入行 Java 的同学经常有这种疑问： Spring 和 Spring Boot 有什么关系？它们之间有什么区别？今天来探讨一下这个问题。 2. Spring Framework Spring 通常指的是 Spring Framework 。通常 Java 开发…

1.1 ElasticSearch是一个基于Lucene的搜索服务器。 它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。ElasticSearch是用Java开发的， 并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计…

同理，世界上只有两种代码：高效代码和低效代码；世界上只有两种人：编写高效代码的人和编写低效代码的人。如何编写高效代码，是每个研发团队都面临的一个重大问题。所以，作者根据实际经验，查阅了大量资料，总结了"Java高效代码50例"，让每一个Java程序员都能编写出"高效代码"。 直…

上一篇文章我们主要介绍了什么是 Kafka，Kafka 的基本概念是什么，Kafka 单机和集群版的搭建，以及对基本的配置文件进行了大致的介绍，还对 Kafka 的几个主要角色进行了描述，我们知道，不管是把 Kafka 用作消息队列、消息总线还是数据存储平台来使用，最终是绕不过…