数据社

在构建实时数仓的过程中，如何快速、正确的同步业务数据是最先面临的问题，本文主要讨论一下如何使用实时处理引擎Flink和数据湖Apache Iceberg两种技术，来解决业务数据实时入湖相关的问题

关联规则挖掘可以让我们从数据集中发现项与项之间的关系，它在我们的生活中有很多应用场景，“购物篮分析”就是一个常见的场景，这个场景可以从消费者交易记录中发掘商品与商品之间的关联关系，进而通过商品捆绑销售或者相关推荐的方式带来更多的销售量。 支持度是个百分比，它指的是某个商品组合出…

大家好，我是一哥。今天跟大家聊聊程序员35岁以后的方向怎么选？ 程序员大都有一个品质：好学！技术专家这类人大多痴迷于程序，就像痴迷于游戏一样。把自己写的代码看成孩子一样，一直努力让自己的代码更完美，运行更高效，不允许有一点瑕疵。在项目期间，总能废寝忘食的加班，在调试完所有功能后…

作为一名程序员，要想成为一名出色的工程师，要从以下三点加强。 思考可以是技术架构上的设计优化，也可以是业务逻辑上的改进创新。在接到每一次任务时候，你要去想自己到底要解决一个什么问题？解决的价值是什么？目标是什么？有哪几种方案能够解决问题？要学会不断问自己为什么，而这也恰恰是我们…

大数据集群迁移这件事，不知道有多少同学做过(反正我是第一次)。我说的不是简单的把一个集群的数据拷贝到另一个集群上，我指的是整个数据处理平台与相关的前台业务的迁移工作，是从一个机房到另一个机房。 刚开始接到迁移通知，想着没什么问题，一个月应该可以搞定(毕竟无知者无畏)。可是当着手…

之前我讲过一个业务重要？还是技术重要，后来收到评论恢复，工作3年以上的同事大多认为业务和技术同等重要。作为一个数据人，我一直想讲业务比数据更重要，但一直怕遭到热衷技术同学的鄙视，这句话一直没敢说。其实，数据人都知道，现在很多大会包括老板，一直都在提“数据赋能价值”。作为员工，我…

前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》，今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的，运用HDFS作为数据存储，计算框架分为批处理、流处理。 我们都知道，没有大数据之前，…

自助分析平台是构建在大数据平台之上的，依托于大数据平台的数据研发能力，通过统一的数据服务，实现对数据查询、分析的统一管理，为企业业务分析提供高效的数据决策支持，同时也避免数据工程师陷入繁杂的提数需求中。自助分析平台是有计算机基础的业务人员能够快速上手的前端产品，既要有大数据的处…

大数据时代这个词被提出已有10年了吧，越来越多的企业已经完成了大数据平台的搭建。随着移动互联网和物联网的爆发，大数据价值在越来越多的场景中被挖掘，随着大家都在使用欧冠大数据，大数据平台的搭建门槛也越来越低。借助开源的力量，任何有基础研发能力的组织完全可以搭建自己的大数据平台。但…