zhongqi2513

已删！

Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用并行框架，是专为大规模数据处理而设计的快速通用的大数据处理引擎及轻量级的大数据处理统一平台。 当我们在谈 Spark 的时候可能是指一个 Spark 应用程序，替代 Ma…

上面介绍到 Netty是一款 高性能的网络通讯框架，那么我们为什么要使用Netty,换句话说，Netty有哪些优点让我们值得使用它，为什么不使用原生的 Java Socket编程，或者使用 Java 1.4引入的 Java NIO。接下来分析分析 Java Socket编程和 …

从整体上来说，通过逻辑回归模型，我们将在整个实数范围上的x映射到了有限个点上，这样就实现了对x的分类。因为每次拿过来一个x，经过逻辑回归分析，就可以将它归入某一类y中。 这个函数名称是我自己一个习惯性的叫法，这里我们简单的介绍几种常见的函数。 这个函数对于分类是否足够好呢？至少…

things you need know before you touch Spark and before you decide to use spark in your next project.

做过数据清洗ETL工作的都知道，行列转换是一个常见的数据整理需求。在不同的编程语言中有不同的实现方法，比如SQL中使用case+group，或者Power BI的M语言中用拖放组件实现。今天正好需要在pyspark中处理一个数据行列转换，就把这个方法记录下来。 首先明确一下啥叫…

Apache Spark 是当今最流行的开源大数据处理框架。和人们耳熟能详的 MapReduce 一样，Spark 用于进行分布式、大规模的数据处理，但 Spark 作为 MapReduce 的接任者，提供了更高级的编程接口、更高的性能。除此之外，Spark 不仅能进行常规的批…