大数据分析——Apache Doris(五)

367 阅读2分钟

一起养成写作习惯!这是我参与「掘金日新计划 · 4 月更文挑战」的第8天,点击查看活动详情

数据分发

图片.png

  • 数据主要都是存储在BE里面,BE节点上物理数据的可靠性通过多副本来实现,默认是3副本,副本数可配置且可随时动态调整,满足不同可用性级别的业务需求。FE调度BE上副本的分布与补齐。

  • 如果说用户对可用性要求不高,而对资源的消耗比较敏感的话,我们可以在建表的时候选择建两副本或者一副本。比如在百度云上我们给用户建表的时候,有些用户对它的整个资源消耗比较敏感,因为他要付费,所以他可能会建两副本。但是我们一般不太建议用户建一副本,因为一副本的情况下可能一旦机器出问题了,数据直接就丢了,很难再恢复。一般是默认建三副本,这样基本可以保证一台机器单机节点宕机的情况下不会影响整个服务的正常运作。

1.  Doris编译部署篇

该章节主要介绍了部署 Doris 所需软硬件环境、建议的部署方式、集群扩容缩容,以及集群搭建到运行过程中的常见问题。

1.1  Doris编译

Apache Doris提供直接可以部署的版本压缩包:cloud.baidu.com/doc/PALO/s/…

也可以自行编译压缩包后使用(推荐

1.1.1  使用 Docker 开发镜像编译(推荐)

这个是官方文档推荐的,可以非常方便顺利的编译源码,如果需要快速部署的,可以使用这种方式。这种方式的优点就是不用配置环境变量,也不用考虑各种版本问题,进入开发镜像系统后直接下载 doris 源码编译即可。

首先需要安装 Docker,Docker 在 Linux 下安装比较简单

如果已经启动了 Docker 服务(systemctl status docker),我们直接拉取镜像,开始编译 Doris。

操作步骤说明
1拉取Doris官方提供的Docker镜像,目前可用版本有:build-env、build-env-1.1、build-env-1.2
 docker pull apachedoris/doris-dev:build-env-1.2
2查看 Docker 镜像
 docker images
  
3运行镜像
 将容器中的 maven 下载的包保存到宿主机本地指定的文件中,避免重复下载,同时会将编译的 Doris 文件保存到宿主机本地指定的文件,方便部署
 docker run -it -v /u01/.m2:/root/.m2 -v /u01/incubator-doris-DORIS-0.13-release/:/root/incubator-doris-DORIS-0.13-release/ \apachedoris/doris-dev:build-env-1.2
 开启之后, 就在容器内了****
4下载Doris的安装包
 cd /optwget dist.apache.org/repos/dist/…
5解压安装
 tar -zxvf  apache-doris-0.13.0.0-incubating-src.tar.gz
 cd  apache-doris-0.13.0.0-incubating-src
6开始编译(此过程需要等待很久,根据网速来定
 sh build.sh