Kotlin 1.5 宣布了一个重磅特性 value class，提高代码的可读性同时，还可以提高性能，因为编译器会对它进行更深层次的优化，减少对象的创建。

Spark SQL是Apache Spark中的最重要的功能之一。在 SQL的使用上，Spark SQL和其它适用于大规模离线数据的SQL引擎 (例如Presto/Apache Hive) 是相似的。

在 Java 之后，JVM 平台上出现了一些其他的编程语言，Scala 和 Kotlin 可以算是其中的佼佼者。Scala 已成为大数据领域的明星，Kotlin 在 2017 年 Google IO 大会之后，俨然也成为了安卓平台潜力巨大的官方支持语言。他们都被冠以“更好的Ja…

本文由 GodPan 发表在 ScalaCool 团队博客。 Akka是一个构建在JVM上，基于Actor模型的的并发框架，为构建伸缩性强，有弹性的响应式并发应用提高更好的平台。本文主要是个人对Akka的学习和应用中的一些理解。 Akka的核心就是Actor，所以不得不说Act…

本文由 Shaw 发表在 ScalaCool 团队博客。 Play! 是一种高效率的 Java 和 Scala Web 应用程序框架，它能够用来开发「响应式」 Web 应用，同时它也集成了现代 Web 应用程序开发所需的组件和 API。本文将介绍一下 Play! 的基本性质以及利…

spark2.0开始引入dataframe作为RDD的上层封装，以屏蔽RDD层次的复杂操作，本文使用spark milib中ml机器学习库进行新闻文本多分类预测，包含数据预预处理，分词，标签和特征向量化转换、多分类模型训练（包含朴素贝叶斯、逻辑回归、决策树和随机森林），分类预测…

scala、spark 使用过程中，各种测试用例以及相关资料整理

对于 Scala 语言其实很早有所耳闻，但没有真正进一步了解，只知道这门语言在大数据领域很火。正如前几年大数据开发的兴起，也着实让这门基于 JVM 的语言火了一把。由于近期开始参与公司的大数据项目，面对大数据量计算处理需求，基于目前自己 Java 的技术栈远远不够，不得不引入 …

在 Overview 里我们初步介绍了 DAG 型的物理执行图，里面包含 stages 和 tasks。这一章主要解决的问题是： 一个直观想法是将前后关联的 RDDs 组成一个 stage，每个箭头生成一个 task。对于两个 RDD 聚合成一个 RDD 的情况，这三个 RDD…