从大数据到人工智能

Hudi维护元数据，如提交时间轴和索引来管理表。提交时间线有助于理解表上发生的操作以及表的当前状态。索引被Hudi用来维护一个记录键到文件id映射，从而有效地定位一个记录。目前，Hudi只支持书写parquet columnar格式。为了能够开始为现有表使用Hudi，您需要将现有...

mysql 5.7 hive 3.1.2 flink 1.12.2 hudi 0.9.0 hadoop 3.2.hudi适配hive 3.1.0.9.0版本的hudi在适配hive3时，其hudi/package/hudi-flink-bundle/pom.xml文件使用的fli...

软件依赖：jdk1.wget https://dlcdn.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.tar zxvf apache-zookeeper-3.6.3-bin.tar.ln ...

软件依赖：jdk1.8以及zookeeper3.6.wget https://dlcdn.apache.org/kafka/2.8.0/kafka_2.12-2.8.0.tar zxvf kafka_2.12-2.8.0.ln -s kafka_2.12-2.8.cp serve...

Apache Tez is an extensible framework for building high performance batch and interactive data processing applications, coordinated by YARN ...

hive-3.1.hive是构建于hadoop之上的、基于SQL的分布式关系型数据库。centos7中mysql5.wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2...

Apache Tez是构建于Apache Hadoop YARN上，基于有向无环图进行数据处理的框架。通过允许像Apache Hive和Apache Pig这样的项目运行复杂的DAG任务，Tez可以用来处理数据，以前需要多个MR任务，现在只需要一个Tez任务，如下所示。https...

安装mysql5.sudo rpm -ivh https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.vi /etc/my.grep 'temporary password' /var/log/mysqld...

上篇文章讲到如何安装hdfs，那本文继续安装yarn。修改mapred-site.<?xml version="1.<?xml-stylesheet type="text/xsl" href="configuration.Licensed under the Apache Lic...