大数据
8篇文章 · 0订阅
  • HDFS写过程分析
    下面，我们从 DFSOutputStream 类开始，说明其内部实现原理。 打开一个 DFSOutputStream 流，Client 会写数据到流内部的一个缓冲区中，然后数据被分解成多个 Packet，每个 Packet 大小为 64k 字节，每个 Packet 又由一组 c…
    HDFS
  • Hadoop单步debug追源码
    参考Mac编译Hadoop源码编译好Hadoop源码后，就可以单步debug追源码了。 以单步debug追datanode源码为例。 会报文件不存在。因为此时JVM是hang住的（等待调试器连接，见下），还没有执行main方法，也就没有创建log文件。 转去配置IDEA。 ID…
    Debug Hadoop 源码
  • WAL(Write Ahead Log)预写日志
    WAL(Write Ahead Log)预写日志，是数据库系统中常见的一种手段，用于保证数据操作的原子性和持久性。 在计算机科学中，预写式日志（Write-ahead logging，缩写 WAL）是关系数据库系统中用于提供原子性和持久性（ACID 属性中的两个）的一系列技术。…
    MySQL
  • 带你入坑大数据（三） --- MapReduce介绍
    简单回顾一下HDFS的写流程，MapReduce基础知识及机制了解，更详细的可以到我主页之后的MapReduce章节去查看
    HDFS
  • 大数据存储格式的进化之旅
    同时欢迎关注我们的公众号：OPPO_tech，与你分享OPPO前沿互联网技术及活动。 自03年开始，大数据三驾马车纷至沓来，同志们第一次拥有了分布式计算存储能力。 然而计算机的世界毕竟是机器的世界，你好懂了，机器就不好懂了。存储查询应用的效率的问题终于还是浮出了水面，大数据存储…
    大数据
  • 前端领域的 Docker 与 Kubernetes
    看完本文希望读者能够了解到，Docker 的基本原理，Kubernetes 是怎么工作的， 对于前端 Kubernetes 有哪些优势与玩法。 Docker 和传统部署方式最大的不同在于，它将不会限制我们使用任何工具，任何语言，任何版本的 runtime，Docker 将我们的…
    Docker Kubernetes
    前端领域的 Docker 与 Kubernetes
  • Kubernetes(一) 跟着官方文档从零搭建K8S
    本文将带领读者一起, 参照着Kubernetes官方文档, 对其安装部署进行讲解. Kubernetes更新迭代很快, 书上、网上等教程可能并不能适用于新版本, 但官方文档能. 如何阅读Kubernetes官方安装指南并搭建一个Kubernetes环境. Kubernetes安…
    Kubernetes
    Kubernetes(一) 跟着官方文档从零搭建K8S
  • spark入门笔记
    用户编写的Spark程序，通过一个有main方法的类执行,完成一个计算任务的处理。它是由一个Driver程序和一组运行于Spark集群上的Executor组成 弹性分布式数据集。RDD是Spark的核心数据结构，可以通过一系列算子进行操作。当RDD遇到Action算子时，将之前…
    Spark