命运qyw手中

对于 Scala 语言其实很早有所耳闻，但没有真正进一步了解，只知道这门语言在大数据领域很火。正如前几年大数据开发的兴起，也着实让这门基于 JVM 的语言火了一把。由于近期开始参与公司的大数据项目，面对大数据量计算处理需求，基于目前自己 Java 的技术栈远远不够，不得不引入 …

SPI ，全称为 Service Provider Interface，是一种服务发现机制。它通过在ClassPath路径下的META-INF/services文件夹查找文件，自动加载文件里所定义的类。 这一机制为很多框架的扩展提供了可能，比如在Dubbo、JDBC、Sprin…

而本文探讨的Apache Hudi，对应的场景是数据的实时，而非处理的实时。它旨在将Mysql中的时候以近实时的方式映射到大数据平台，比如Hive中。 而流式计算一般是基于窗口，并且窗口逻辑相对比较固定。 而笔者所在的公司有一类特殊的需求，业务分析比较熟悉现有事务数据库的数据结…

团队内部要分享HBase的知识，之前研究了一段时间，知识比较零散，这一次就系统化的整理一番，之后在想到Hbase的时候，看着一篇就够了。 Hbase是一种NoSQL数据库，这意味着它不像传统的RDBMS数据库那样支持SQL作为查询语言。Hbase是一种分布式存储的数据库，技术上…

Kafka 可以建立流数据管道，可靠性的在系统或应用之间获取数据。 建立流式应用传输和响应数据。 在大型系统中，会需要和很多子系统做交互，也需要消息传递，在诸如此类系统中，你会找到源系统（消息发送方）和 目的系统（消息接收方）。为了在这样的消息系统中传输数据，你需要有合适的数据…

看完本文，你将明白为什么一个简单的消息队列，能够有那么多的知识点；能够了解到Kafka的主要功能和应用场景；能够了解到Kafka的主要技术术语。了解到什么叫本分！ 作为一个分布式消息系统，Kafka要有本分思想。它要搞清楚自己的定位，明白是为谁创造什么样的价值，依赖谁活着，自己…

下文分别使用以上三种方式实现以下功能： 1. 调用String的concat方法 2. 调用JavaBean的属性 3. 访问对象公共属性 4. 获取People的name值， 5. 比较name值是不是hry的结果

Row Key 是用来检索记录的主键。想要访问 HBase Table 中的数据，只有以下三种方式： 进行全表扫描。 Row Key 可以是任意字符串，存储时数据按照 Row Key 的字典序进行排序。这里需要注意以下两点： 因为字典序对 Int 排序的结果是 1,10,100…

某天运营反馈，点了一次保存，但是后台出现了3条数据，我当时就想，不应该啊，这代码我几万年没动了，我当时就叫他先别操作了，保留一下现场，我去排查一下。 他沉默了很久没说话，然后抓起桌子上用剩下来的纸擦了擦鬓角留下的汗水，咽了一下口水说，是的我改过，我把之前dubbo的xml配置方…