冰心的小屋

上图是一个简化的大数据处理流程图，大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。下面我们逐一对各个环节所需要的技术栈进行讲解： 大数据处理的第一步是数据的收集。现在的中大型项目通常采用微服务架构进行分布式部署，所以数据的采集需要在多台服务器上进行，且…

数据模型是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。有了适合业务和基础数据存储环境的模型，那么大数据就能获得以下好处： 性能：良好的数据模型能帮助我们快速查询所需要的数据，减少数据的 I/O 吞吐。 成本：良好的数据模型能极大地减少不必要的数据冗余，也能…

企业级的数据集群往往有PB 级的数据、成百上千的各类型运算任务 在一套集群上运行。 所以它的维护是充满挑战的： 庞大的数据量、复杂的运算逻辑、相互关联的大数据组件、数以万计的运行任务 都是要克服

持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第22天，点击查看活动详情 前言 作为技术人，我是不怎么八卦的，奈何这次国家重拳整理的是“大数据乱象”，manor作为大数据专业的学

写在前面：我是「云祁」，一枚热爱技术、会写诗的大数据开发猿。昵称来源于王安石诗中一句 [ 云之祁祁，或雨于渊 ] ，甚是喜欢。 写博客一方面是对自己学习的一点点总结及记录，另一方面则是希望能够帮助更多对大数据感兴趣的朋友。如果你也对 数据中台、数据建模、数据分析以及Flink/S...

看到一些java开发工程师，对java后端薪酬太悲观了。认为换去大数据领域就会高工资。觉得java后端没有前途。我从事java后端开发，对大数据领域工作有些了解，但不深入。本文描述一下我对java后端和是否转大数据开发的个人见解。 大家看到大数据工资高，其实是大数据领域包含了建…

操作系统作为所有程序的载体，对应用的性能影响是非常重要的。然而计算机各个组件之间的速度，是非常不均衡的。拿CPU和硬盘的速度来说，比兔子和乌龟的速度差别还要大。 下面将简单的介绍CPU、内存、I/O的