大数据分析——Apache Doris(四十五)

124 阅读2分钟

持续创作,加速成长!这是我参与「掘金日新计划 · 6 月更文挑战」的第29天,点击查看活动详情

 查看动态分区表调度情况

通过以下命令可以进一步查看当前数据库下,所有动态分区表的调度情况:

SHOW DYNAMIC PARTITION TABLES;
LastUpdateTime: 最后一次修改动态分区属性的时间LastSchedulerTime: 最后一次执行动态分区调度的时间State: 最后一次执行动态分区调度的状态LastCreatePartitionMsg: 最后一次执行动态添加分区调度的错误信息LastDropPartitionMsg: 最后一次执行动态删除分区调度的错误信息

 数据导出

数据导出(Export)是 Doris 提供的一种将数据导出的功能。该功能可以将用户指定的表或分区的数据,以文本的格式,通过 Broker 进程导出到远端存储上,如 HDFS/BOS 等。

 使用示例

Export 的详细命令可以通过 HELP EXPORT; 。举例如下:

EXPORT TABLE db1 . tbl1

PARTITION  ( p1 , p2 )

TO "hdfs://host/path/to/export/" 

PROPERTIES

(

    "column_separator"="," ,

    "exec_mem_limit"="2147483648" ,

    "timeout" = "3600"

)

WITH BROKER "hdfs"

(

"username" = "user" ,

"password" = "passwd" ,

);

column_separator列分隔符。默认为 \t
line_delimiter行分隔符。默认为 \n
exec_mem_limit表示 Export 作业中,一个查询计划在单个 BE 上的内存使用限制。默认 2GB。单位字节
timeout作业超时时间。默认 2小时。单位秒
tablet_num_per_task每个查询计划分配的最大分片数。默认为 5
提交作业后,可以通过 SHOW EXPORT 命令查询导入作业状态。结果举例如下:

JobId :  14008

     State :  FINISHED

  Progress :  100 %

  TaskInfo :   { "partitions" :[ "*" ], "exec mem limit" : 2147483648 , "column separator" : "," , "line delimiter" : "\n" , "tablet num" : 1 , "broker" : "hdfs" , "coord num" : 1 , "db" : "default_cluster:db1" , "tbl" : "tbl3" }

      Path :  bos :// bj**-test-**cmy / export /

CreateTime :  2019**-06-**25 17 : 08 : 24

 StartTime :  2019**-06-**25 17 : 08 : 28

FinishTime :  2019**-06-**25 17 : 08 : 34

   Timeout :  3600

  ErrorMsg :  N / A

JobId作业的唯一 ID
State作业状态
 PENDING:作业待调度EXPORTING:数据导出中FINISHED:作业成功CANCELLED:作业失败
Progress作业进度。该进度以查询计划为单位。假设一共 10 个查询计划,当前已完成 3 个,则进度为 30%。
TaskInfo以 Json 格式展示的作业信息:
 db:数据库名tbl:表名partitions:指定导出的分区。* 表示所有分区。exec mem limit:查询计划内存使用限制。单位字节。column separator:导出文件的列分隔符。line delimiter:导出文件的行分隔符。tablet num:涉及的总 Tablet 数量。broker:使用的 broker 的名称。coord num:查询计划的个数。
Path远端存储上的导出路径
CreateTimeStartTimeFinishTime作业的创建时间、开始调度时间和结束时间
Timeout作业超时时间。单位是秒。该时间从 CreateTime 开始计算
ErrorMsg如果作业出现错误,这里会显示错误原因