大数据
7篇文章 · 0订阅
  • Spark内存管理模型详解
    Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。 一个Spark Application一般包括Driver和Executor两种JVM进程…
    后端 Apache Spark
  • 写给大数据开发初学者的话 | 附教程
    经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、
    后端
  • 在 Yarn 的 UI 页面你可以看到什么？
    前面我们说了Yarn 是一个资源调度平台，负责为运算程序提供服务器计算资源，方便我们编写的 Spark、flink、MapReduce 这些应用在它上面运行。如果还不知道它是什么的，请移步《Apache Hadoop YARN 的架构与运行流程》。 那么我们有木有办法看到 Ya…
    Yarn
  • Kafka源码篇 --- 可能是你看过最详细的RecordAccumulator解读
    此时我们要拉取一个version的值，并把一个 needUpdate 参数修改为true，然后去唤醒 Sender 线程去拉取元数据，而这需要通过一个网络组件 NetworkClient 和Broker通信。 在此同时，主线程会进行阻塞，等待元数据的到来。而当元数据拉取完成后，…
    Kafka
  • 目录：我的大数据学习笔记
    可以通过长按二维码关注我的公众号，不过会先在掘金更新后同步过去。 PC端的这个右侧的目录找东西确实好找点，我每次写也非常注意看这块排版工不工整🤣，用这里去直接跳到对应的内容真的还算方便，所以就想着做个目录，以后如果写了新的，也会在这篇写上标题。 按照不同技术框架的划分形式。已…
    大数据
  • 让 AI 无处不在：滴滴与蚂蚁金服开源共建 SQLFlow
    2018 年 1 月，Oracle 的官方博客上发表了一篇文章，标题是“It's Pervasive：AI Is Everywhere”。作为全球最著名的商业数据库系统提供商，Oracle 在这篇文章里历数了 AI 在企业信息系统中的发展空间。在面向最终用户的互联网行业，巨头们…
    开源 数据库
  • 马蜂窝数据仓库的架构、模型与应用实践
    最近几年，数据中台概念的热度一直不减。2018 年起，马蜂窝也开始了自己的数据中台探索之路。 数据中台到底是什么？要不要建？和数据仓库有什么本质的区别？相信很多企业都在关注这些问题。 我认为数据中台的概念非常接近传统数据仓库+大数据平台的结合体。它是在企业的数据建设经历了数据中…
    大数据