大数据-hdfs
3篇文章 · 0订阅
  • hive 说明与使用
    hive 说明与使用 hive 介绍 hive 基于 hadoop 数据仓库的工具 hive 使用 hql 语言操作; hql 语句有点类似 sql, 最终在 hadoop 节点上运行 hive 优点
    Hadoop Apache Hive 大数据
    hive 说明与使用
  • 带你入坑大数据（二） --- HDFS的读写流程和一些重要策略
    Distributed FileSystem顾名思义是一个分布式文件系统，它会通过RPC的方式远程过程调用NameNode里的open方法，这个open方法有什么作用呢，就是获取要读的文件的file block locations，也就是文件的block的位置，在上一讲我们也已…
    HDFS
  • HDFS（一）架构及文件读写流程
    Hadoop 中有三大组件：HDFS、MapReduce、YARN，HDFS 负责大文件存储的问题，MapReduce 负责大数据计算，而 YARN 负责资源的调度，接下来的文章我会一一介绍这几个组件。今天我们先来聊聊 HDFS 的架构及文件的读写流程。 HDFS 设计的目的是…
    大数据