数据社

在构建实时数仓的过程中，如何快速、正确的同步业务数据是最先面临的问题，本文主要讨论一下如何使用实时处理引擎Flink和数据湖Apache Iceberg两种技术，来解决业务...

大家好，我是一哥，最近看到有号主整理的武汉和成都的互联网公司，一哥也想整理一下郑州的“互联网”公司，在郑州其实叫“IT公司”更合适，希望能给一线城市想回郑州的读者一些帮助。...

大家好，我是一哥。今天跟大家聊聊程序员35岁以后的方向怎么选？ 程序员大都有一个品质：好学！技术专家这类人大多痴迷于程序，就像痴迷于游戏一样。把自己写的代码看成孩子一样，一...

按照官方提供的功能架构图理解，因为logi-kafka-manager的定位是kafka集群全方位管控系统，它以kafka集群为主体，封装和集成了kafka对外提供的用户A...

关联规则挖掘可以让我们从数据集中发现项与项之间的关系，它在我们的生活中有很多应用场景，“购物篮分析”就是一个常见的场景，这个场景可以从消费者交易记录中发掘商品与商品之间的关...

其实不止是作为数据新人会面临这样的“困境”，很多数据工程师都有着这样的困惑，干了一两年感觉没意思，抱怨天天就是“提数”。一哥之前写过一篇文章《数仓工程师如何避免沦为“提数机...

作为一名程序员，要想成为一名出色的工程师，要从以下三点加强。 思考可以是技术架构上的设计优化，也可以是业务逻辑上的改进创新。在接到每一次任务时候，你要去想自己到底要解决一个...

在数据分析过程中，你是否有这种困惑呢？，如果有，那请你接着读完本文。 作为数据分析师，慢慢的会发现自己的很大一部分工作是让数据仓库工程师“提数”，但是数据仓库工程师可不止会...

按照官方提供的功能架构图理解，因为logi-kafka-manager的定位是kafka集群全方位管控系统，它以kafka集群为主体，封装和集成了kafka对外提供的用户A...

对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务，若分配给它多个Executor，可是却没有任何任务分配给它，而此时有其他的应用...

大数据集群迁移这件事，不知道有多少同学做过(反正我是第一次)。我说的不是简单的把一个集群的数据拷贝到另一个集群上，我指的是整个数据处理平台与相关的前台业务的迁移工作，是从一...

Lambda架构背后的需求是由于MR架构的延迟问题。MR虽然实现了分布式、可扩展数据处理系统的目的，但是在处理数据时延迟比较严重。实际上如果内存和CPU足够强大，MR也可以...

曾经有公众号的小伙伴后台联系我，咨询一些问题。有一个粉丝问过这样一个问题： 收到收到这条消息，我很欣喜。首先，作为一个刚毕业两年的同学，能有这种居安思危的想法，已经超越了很...

2、主机准备。 修改虚拟机的网络设置、禁用SElinux、修改主机名、关闭防火墙、ssh免密、开启http服务、设置时钟同步；对于网络的要求是：NAT模式下，所有主机在同网...

Apache Zeppelin是一个让交互式数据分析变得可行的基于网页的开源框架。Zeppelin提供了数据分析、数据可视化等功能。 Zeppelin 是一个提供交互数据分...

若是在虚拟机上配置（须满足内存>6G，磁盘划分/至少40G，/data/10G），保证NAT模式下所有主机在同网段，且能访问外网。修改IP、网关、DNS； 首先，修改ifc...

记得第一次参与大数据平台从无到有的搭建，最开始任务调度就是用的Crontab，分时日月周，各种任务脚本配置在一台主机上。crontab 使用非常方便，配置也很简单。刚开始任...