Spark
3篇文章 · 0订阅
  • pyspark：standalone(独立集群环境)--搭建和使用
    1/准备环节 2/登录到master节点服务器（以下所有操作都是在master节点上操作的） <1>到官网下载spark安装包(确定操作系统和版本号)，并且上传到master节点服务器 <2>解压 <
    Spark
    pyspark：standalone(独立集群环境)--搭建和使用
  • PySpark实战指南：大数据处理与分析的终极指南【上进小菜猪大数据】
    上进小菜猪，沈工大软件工程专业，爱好敲代码，持续输出干货。 大数据处理与分析是当今信息时代的核心任务之一。本文将介绍如何使用PySpark（Python的Spark API）进行大数据处理和分析的实战
    大数据
  • 在 mac 上建立 Python 的 Kafka 与 Spark 环境
    「Producer-Consumer」问题是资工系很常用来解释讯息交换的一种范例，用生产者跟消费者间的关系来描述讯息的传递。生产者负责产生资料并放在有限或是无限的缓冲区让等待消费者来处理。串流资料（Streaming Data）本质上就是一端不断的丢出资料，另一端需要持续地进行…
    Kafka