etl大数据
5篇文章 · 0订阅
  • Kafka ETL 之后，我们将如何定义新一代实时数据集成解决方案？
    什么是实时数据？如何获取实时数据？API 集成、Kafka ETL 等常见的实时数据集成方案方案有何利弊？新的十年，实时数据架构技术又有什么革新？
    大数据
    Kafka ETL 之后，我们将如何定义新一代实时数据集成解决方案？
  • 技术分享丨数据仓库的建模与ETL实践技巧
    一、数据仓库的“心脏”首先来谈谈数据模型。模型是现实世界特征的模拟和抽象，比如地图、建筑设计沙盘，飞机模型等等。而数据模型DataModel是现实世界数据特征的抽象。在数据仓库项目建设中，数据模型的建
    数据结构
  • ETL测试或数据仓库测试入门
    在我们学习ETL测试之前，先了解下business intelligence(即BI)和数据仓库。
    后端
  • 美图离线ETL实践
    感谢阅读「美图数据技术团队」的第 13 篇文章，关注我们持续获取美图最新数据技术动态。 美图收集的日志需要通过 Hiv 程序清洗、规整，并持久化地落地于 HDFS / Hive，便于后续的统一分析处理。 图 1 / 什么是 ETL？ / ETL 即 Extract-Transf…
    HDFS Apache Hive 架构
  • 8种ETL算法汇总大全！看完你就全明白了
    以上共计累积了8种ETL算法，其中主要分成4大类，增量累加、拉链算法是更符合数据仓库历史数据追踪的算法，但现实中基于业务及性能考虑，往往存在全删全插、增量累全算法的数据表应用。 主要应用在维表、参数表、主档表加载上，即适合源表是全量数据表，该数据表业务逻辑只需保存当前最新全量数…
    数据库