大数据
9篇文章 · 0订阅
  • 一篇文章搞懂 HBase 的内部原理
    绝对的一篇文章就能搞懂 HBase 的底层实现基本原理，图文并茂，逻辑清晰，格式工整，进来看一看吧~
    HBase
  • HBase 存储原理
    底层存储结构如下，行式存储是存储玩一行，接着存储下一行，而列式存储是把一列数据存储在一起，由于列数据不存在一列存完了的概念，所以列数据与列数据之间不是紧挨着的，而是相互分离的。 上面对行式存储与列式存储的介绍是从比较宽泛的角度出发的，并不是说 HBase 是列式存储，它的内部设…
    HBase
  • Spark调优指南
    本文是关于Spark优化性能与内存使用的最佳实践，翻译整理自Tuning - Spark 3.3.2 Documentation。由于spark内存计算的特性，很多因素都会影响Spark的表现：CPU
    Spark 性能优化 大数据
  • Flink 流批一体在字节跳动的探索与实践
    文章由火山引擎云原生计算产品经理-付振雄在 2022 全球互联网架构大会（GIAC）上的演讲整理而成。
    Flink 机器学习 大数据
  • hive 字符串提取&json格式解析
    在数据存储时研发端经常为了方便很多字段为了冗余存储了文本格式：json或者固定分隔符，但数仓和数据分析在处理又要进行取出单独的某个字段使用，本文会详解下平时在工作中遇到的问题与处理方法。
    大数据
  • No.16 【漫谈数据仓库】 拉链表
    设计 人工智能 SQL
  • No.12 【漫谈数据仓库】维度建模
    设计 数据库 SQL
  • Hadoop Yarn的架构和原理
    「这是我参与11月更文挑战的第13天，活动详情查看：2021最后一次更文挑战」。 1. yarn的基本介绍和产生背景 YARN是Hadoop2引入的通用的资源管理和任务调度的平台，可以在YARN上运行
    大数据 Hadoop 后端
  • Hive的数据存储格式
    Hive支持的数据格式主要有：TEXTFILE 、SEQUENCEFILE、ORC、PARQUET。 左边图为逻辑表，右边第一个为行式存储，第二个为列式存储。 因为每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量，每个字段的数据类型一定是相同的，列…
    Apache Hive