Spark
2篇文章 · 0订阅
  • Spark-Spark Streaming例子整理(一)
    本文主要讲解了Scala和Java二种方式实战Spark Streaming开发，StreamingContext、DStream、Receiver深度剖析，基于HDFS的SparkStreaming案例实战，SparkStreaming数据源Flume实际案例
  • Spark streaming消费Kafka的正确姿势
    在游戏项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了spark streaming从kafka中不断拉取数据进行词频统计。本文首先对spark streaming嵌入kafka的方式…
    Java