【大数据】各种大数据处理框架

import_random
366 阅读15分钟

大数据处理框架有多种，主要分为以下几类：

<a>离线批处理框架
   包括Apache Hadoop，它是一个分布式系统框架，用于处理大规模数据集。
   Hadoop提供了一个分布式文件系统（HDFS）来存储和管理数据，
   并使用MapReduce编程模型来处理数据。


<b>离线批处理 + 实时流处理框架
   包括Apache Spark、Apache Flink等。
   这类框架同时处理批处理和流处理，解决了实际应用中批处理和流处理同时存在的场景问题。
   
   
<c>实时流处理框架
   包括Apache Storm、Apache Samza等。
   流处理针对`实时`进入系统的数据进行计算操作，处理结果立刻可用，并会随着`新数据`的抵达继续更新。
   适用场景比如实时交易系统，实时推荐系统，实时监控系统等。
   apache storm 还可以和数据库集成，可以把数据持久化到磁盘数据库中。
   

<d>还有一些其他的大数据处理框架
   如Apache Hive、Apache Presto、Apache Druid等，
   这些框架都在某种程度上提供了处理大规模数据的解决方案。

什么是apache基金会

Apache基金会（The Apache Software Foundation，简称 ASF）是一个组织，一个非营利性组织，
旨在支持开放源代码软件项目的发展、维护和管理。
该组织的目标是提供一个稳定、可靠、安全和独立的基础设施，帮助开发人员构建和维护开源软件项目。

Apache基金会由许多·个人·和·企业·共同投资组建，成立于1999年。
Apache基金会采用了一种“合作开发”的模式，使得全球各地的开发者都可以共同参与开源软件项目的开发和维护工作。同时，该组织还提供了一系列的资源和支持，如代码库、邮件列表、文档和会议等，来帮助开发者更好地参与和贡献。

Apache基金会维护着众多知名的开源项目，全部项目可以查看官网 <https://www.apache.org/index.html#projects-list> 。
Apache 顶级项目是 Apache 软件基金会下的最高级别项目，
这些项目都是经过 Apache 社区长期发展和认可的。
以下是当前的 Apache 顶级项目列表：Apache HTTP Server、Apache Tomcat、Apache Maven、Apache Ant、Apache Struts、Apache Lucene、Apache Solr、Apache Hadoop、Apache Spark、Apache Cassandra、Apache ZooKeeper、Apache Beam、Apache Flink等。

总的来说，Apache基金会是一个充满活力的组织，它正在推动世界范围内的开源软件发展，帮助用户利用Apache开发来为技术的发展贡献力量。

apache中有孵化项目，有顶级项目。
所有的项目都必须先孵化，只有达到一定的级别，才能成为顶级项目，或者成为顶级项目的子项目。

apache基金会中的孵化项目和顶级项目，之间有什么关系

Apache的孵化项目和顶级项目之间存在一种`发展`和`毕业`的关系。

所有Apache项目都需要经过孵化器孵化，满足一系列质量要求之后才可毕业。
从孵化器里毕业的项目，要么独立成为顶级项目，要么成为其他apache顶级项目的子项目。

hadoop (离线批处理)

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行存储和高速的计算。

Hadoop的核心是分布式文件系统HDFS（Hadoop Distributed File System）和MapReduce。
HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。
Hadoop的设计初衷是可伸缩、高容错，能够以可靠、高效的方式处理海量数据。它允许用户在不知道底层系统细节的情况下开发分布式应用程序，充分利用集群的威力进行高速运算和存储。

此外，Hadoop具有高可靠性、高扩展性、高效性、高容错性等优点，并且成本低，运行在Linux平台上，支持多种编程语言。Hadoop的项目结构不断丰富发展，已经形成一个丰富的Hadoop生态系统。

总的来说，Hadoop是一个强大的大数据处理框架，具有广泛的应用前景和巨大的发展潜力。

spark （离线+实时）

Spark是一个快速、通用的大规模数据处理引擎，最初由UC Berkeley AMP lab开发。与Hadoop的MapReduce相比，Spark具有将中间输出结果保存在内存中的优点，从而避免了频繁的磁盘IO操作，使其在数据挖掘和机器学习等需要迭代的MapReduce算法中表现得更加优越。Spark可以在Scala、Java、Python和R等语言中实现，并提供了丰富的API以支持各种应用场景。

Spark的核心功能包括数据流处理、批处理和图处理等，它可以与Hadoop集成，也可以独立运行。Spark的组件包括Spark Core、Spark SQL、Spark Streaming、MLlib和GraphX等，这些组件提供了丰富的API和工具，使得开发人员可以更加高效地进行数据处理和分析。

Spark的基本架构包括一个主节点（Spark master）和多个工作节点（Spark slaves），主节点负责管理和调度工作节点上的任务，而工作节点则负责执行具体的计算任务。Spark的任务可以被分解为多个阶段（stage），每个阶段包含一组相同的任务，这些任务可以并行地在多个工作节点上执行。

Spark的运行流程包括数据读取、数据转换和数据计算等步骤。具体来说，Spark首先从各种源中读取数据，然后通过一系列的转换操作将数据转换成适合计算的形式，最后通过计算引擎进行计算并输出结果。

Spark的应用场景非常广泛，包括数据挖掘、机器学习、图处理、实时流处理等。同时，Spark还提供了丰富的工具和库，如Spark SQL、MLlib和GraphX等，使得开发人员可以更加高效地进行数据处理和分析。

总的来说，Spark是一个强大而灵活的大规模数据处理引擎，可以应用于各种场景，从离线批处理到实时流处理，从机器学习到图处理。它提供了丰富的API和工具，使得开发人员可以更加高效地进行数据处理和分析。

是的，Spark有自己的数据存储系统。Spark的数据存储系统主要负责在计算过程中管理内存中的数据，例如读入内存的源数据、缓存的RDD数据和广播数据，以及Shuffle过程中的中间文件数据。

Spark的数据存储系统包括BlockManager和MemoryStore等组件。BlockManager是Spark中的一个关键组件，它负责管理数据块的元数据（Meta data），这些元数据记录并维护数据块的地址、位置、尺寸以及状态等信息。BlockManager还使用不同的存储方式来存储这些数据，包括内存、磁盘和Off-heap。MemoryStore则负责内存中的数据存取，DiskStore则负责磁盘中的数据访问。

总的来说，Spark的数据存储系统是为了提高计算效率而设计的，它通过优先将数据存储在内存中，并使用高效的数据结构和算法来管理数据的读取、转换和计算等操作，从而实现了大规模数据处理的高效性和灵活性。

是的，Spark有自己的分布式文件存储系统，称为Spark分布式文件系统（Spark Distributed File System，SparkDFS）。

SparkDFS类似于Hadoop的HDFS，它能够将大规模数据集分发到Spark集群的各个节点上进行并行处理，并提供了高可用性和容错性。SparkDFS支持多种数据访问模式，包括顺序读取、随机读取和流式读取等，并提供了一个与Hadoop兼容的API，使得开发人员可以方便地使用Spark和Hadoop两种工具。

然而，Spark还支持使用其他分布式文件系统作为数据源，如HDFS、NFS等。在这些场景下，Spark可以通过将这些文件系统挂载到自己的分布式文件系统上来访问这些数据。

总的来说，虽然Spark有自己的分布式文件系统，但在实际应用中，开发人员可以根据需要选择不同的数据源和存储方式来满足数据处理和分析的需求。

flink（离线+实时）

流式处理
高吞吐
低延迟

storm （实时流处理）

Storm是一个适用于实时流处理的大数据框架，适合处理大规模、连续不断的数据流。
以下是使用Storm进行大数据处理的适用场景：

1/实时数据处理：Storm适用于需要对实时流入的数据进行快速处理的场景。
这种实时流处理的能力使得Storm在金融、通信、监控等领域有广泛应用，
如实时交易系统、实时推荐系统、实时监控系统等。

2/分布式数据处理：由于Storm的处理组件是分布式的，它适合于大规模的分布式数据处理场景。
这种分布式处理能力使得Storm能够处理大规模数据集，并将处理结果快速反馈给客户端。

3/数据流处理与数据库集成：Storm可以与数据库集成，将数据流的处理结果存储到数据库中。
   这种集成能力使得Storm在处理需要将数据写入数据库的场景中非常有用，
   如实时日志分析、实时数据挖掘等。

4/异步处理：Storm支持异步处理，客户端提交数据后并不会立即等待结果。
这种异步处理能力使得Storm在处理不需要立即得到结果的场景中非常有用，如逐条处理（ETL）、统计分析等。

总之，Storm适用于需要对实时流入的数据进行快速、分布式处理的场景，尤其在金融、通信、监控等领域有广泛应用。
同时，Storm也适用于需要将数据流的处理结果存储到数据库的场景，以及不需要立即得到处理结果的场景。

hive 和 presto

kafka（消息中间件）

Apache Kafka是Apache软件基金会的一个顶级项目，
它是一个开源的分布式流处理平台，主要用于构建实时数据流管道和应用。

它提供了一个·高吞吐量·的分布式发布订阅消息系统，可以处理消费者和生产者之间的所有实时数据。

Apache Kafka的设计目标是将所有数据持久化到磁盘，以便进行实时数据处理和分析。

它具有高吞吐量、低延迟、高可用性和可扩展性等特点，被广泛应用于大数据、流处理、实时分析等领域。
因此，**Apache Kafka是Apache软件基金会的顶级项目**。

Apache Kafka是一个开源流处理平台，由Scala和Java编写。它是一个高吞吐量的分布式发布订阅消息系统，可以处理消费者在网站中的所有动作流数据。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

Kafka在大数据场景中广泛使用，主要因为它具有高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性。它可以作为消息队列，为各种流行的流式处理框架提供可靠的数据来源，并具有完整的流式处理类库，如窗口、连接、变换和聚合等操作。

Kafka还具有以下功能：

1.  消息系统：Kafka具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能。同时，Kafka还提供了大多数消息系统难以实现的消息顺序性保障及回溯消费的功能。
1.  存储系统：Kafka把消息持久化到磁盘，相比于其他基于内存存储的系统而言，有效地降低了数据丢失的风险。也正是得益于Kafka的消息持久化功能和多副本机制，我们可以把Kafka作为长期的数据存储系统来使用，只需要把对应的数据保留策略设置为“永久”或启用主题的日志压缩功能即可。
1.  流式处理平台：Kafka不仅为每个流行的流式处理框架提供了可靠的数据来源，还提供了一个完整的流式处理类库，比如窗口、连接、变换和聚合等各类操作。

此外，Kafka还支持通过Kafka服务器和消费机集群来分区消息，并通过Hadoop的并行加载机制来统一线上和离线的消息处理。

rocketmq（消息中间件）

是的，RocketMQ是由阿里巴巴捐赠给Apache的一款低延迟、高并发、高可用、高可靠的分布式消息中间件。

RocketMQ最初由阿里巴巴自研并捐赠给Apache基金会，服务阿里集团13年，覆盖全集团所有业务。

RocketMQ在2016年11月28日成为Apache孵化项目，
并在2017年9月25日正式成为Apache顶级项目，
是国内首个互联网中间件在Apache上的顶级项目。

hadoop spark flink storm这4个大数据的框架，之间的级别是什么样的？在使用场景中，有什么区别和联系

Hadoop、Spark、Flink和Storm，
他们都是大数据的处理框架，都是apache软件基金会的顶级项目，他们都是同一级别的。

这四个大数据框架在大数据处理领域都扮演着重要角色，但它们之间的级别并不是简单的上下级关系，而是各自具有不同的特点和适用场景。
以下是对这四个框架之间的区别、联系以及使用场景的分析：

级别与关系

这四个框架并没有明确的级别之分，它们都是【独立的】大数据处理工具，各自具有独特的优势和适用场景。
Hadoop是大数据处理的[基石]，提供了分布式存储hdfs和计算能力mapreduce；
Spark在Hadoop的基础上进行了优化(基于内存，减少io读写)，提供了更快的处理速度和更丰富的功能；

Flink和Storm则专注于实时数据处理，提供了【低延迟】和【高吞吐量】的解决方案。

区别

  1. 处理类型：

    • Hadoop：主要用于离线批处理，适合处理大规模数据集，但处理速度相对较慢。
    • Spark：支持批处理和流处理，通过内存计算显著提高处理速度，适用于需要快速迭代计算或大规模数据集处理的场景。
    • Flink：原生支持流处理，也支持批处理，将批处理视为流处理的一种特殊情况，提供了高吞吐量和低延迟的数据处理能力。
    • Storm：专注于实时流处理，能够实时处理数据流，适用于需要低延迟处理的应用场景。

  2. 架构与实现：

    • Hadoop：基于MapReduce框架，通过分布式文件系统HDFS存储数据，并通过MapReduce引擎进行数据处理。
    • Spark：基于RDD和DAG进行数据处理，支持内存计算，减少了磁盘IO操作。
    • Flink：采用流处理模型，所有数据都被视为流，提供了灵活的流处理能力。
    • Storm：采用主从架构，通过Spout和Bolt组件进行数据处理，支持高容错性和可扩展性。

  3. 应用场景：

    • Hadoop：适用于离线数据处理和分析，如大规模数据挖掘、日志分析等。
    • Spark：既可用于离线批处理，也可用于实时流处理，适用于需要快速迭代计算或大规模数据集处理的场景，如机器学习、实时日志分析等。
    • Flink：适用于需要高吞吐量和低延迟的流处理场景，以及需要同时处理批数据和流数据的混合场景，如物联网数据处理、金融交易分析等。
    • Storm：适用于需要实时处理数据流的场景，如实时数据分析、实时推荐系统、实时广告投放等。

联系

这四个框架都是大数据处理领域的重要工具，它们之间存在一定的联系和互补性。

例如，Hadoop可以作为Spark的底层存储系统，提供分布式存储能力；Spark可以运行在Hadoop YARN上，利用YARN的资源管理功能；

Flink和Storm则可以与Hadoop、Spark等框架集成，共同构建复杂的大数据处理系统。

综上所述，Hadoop、Spark、Flink和Storm这四个大数据框架各有千秋，选择哪个框架取决于具体的应用场景和需求。在实际应用中，也可以结合多个框架的优势，构建更加高效、灵活的大数据处理系统。

avatar
文章
阅读
粉丝