大数据
9篇文章 · 0订阅
  • 转转用户画像平台实践
    本文主要是针对转转用户标签画像的建设实践，主要从标签的构建，标签的生产加工，存储设计， 用户洞察，用户分群以及ID-MAPPING等几个方面阐述了一些经验和思考。
    大数据
    转转用户画像平台实践
  • 大数据在线离线一体化解决方案最佳实践
    简介：本文重点介绍大数据产品集通用解决方案，即大数据在线计算+离线计算一体化解决方案，并通过真实案例模拟来说明此通用解决方案在具体项目中是如何落地的。 概述 本方案重点要落地的业务是中央网信办网络安全
    云计算 大数据
    大数据在线离线一体化解决方案最佳实践
  • 企业级数据湖最佳实践
    简介：2021云栖大会云原生企业级数据湖专场，阿里云智能高级解决方案架构师周皓为我们带来《企业级数据湖最佳实践》的分享。 本文主要分享了数据湖的核心能力及几个最佳实践案例。 以下是精彩视频内容整理：
    Java 云原生
    企业级数据湖最佳实践
  • Flink+ 数据湖 Iceberg 的体验
    现在业界对数据胡Flink+Iceberg的关注度相对高，而且还能看到一些公司在生产环境上的使用。通过对这个技术的相关调研，本文对比了这个技术点相比于Hive和Kafka的一些优点。
    Flink 运维 后端
  • 大数据学习笔记2：现代数据湖之Iceberg
    最近Iceberg有点小火，在这里也是根据自己看到的资料做个笔记输出一下。数据湖的定义就不说了，不了解的小伙伴可以看我之前做的笔记大数据学习笔记1：数仓、数据湖、数据中台。
    大数据 后端
    大数据学习笔记2：现代数据湖之Iceberg
  • 8种ETL算法汇总大全！看完你就全明白了
    以上共计累积了8种ETL算法，其中主要分成4大类，增量累加、拉链算法是更符合数据仓库历史数据追踪的算法，但现实中基于业务及性能考虑，往往存在全删全插、增量累全算法的数据表应用。 主要应用在维表、参数表、主档表加载上，即适合源表是全量数据表，该数据表业务逻辑只需保存当前最新全量数…
    数据库
  • python ETL工具 pyetl
    pyetl是一个纯python开发的ETL框架， 相比sqoop, datax 之类的ETL工具，pyetl可以对每个字段添加udf函数，使得数据转换过程更加灵活，相比专业ETL工具pyetl更轻量，
    Python
  • 什么是ETL？算了，你可能不懂
    ​ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。ETL是BI项目重要的一个环节。通常情况下，在B
    数据挖掘
  • ETL工程师必知的数据清洗方法【最全】
    网上很多ETL工程师很焦虑，不知道之后的职业道路怎么规划。其实我们需要先内圣，而后外王。ETL的工作很枯燥，但是一样可以总结出非常多的内容。ETL工程师往技术方向可以走数仓、数据架构师路线；往算法方向可以走数据挖掘、AI的路线；往业务方向可以走商业数据分析的路线。回到正题，数据清...
    大数据