持续创作,加速成长!这是我参与「掘金日新计划 · 6 月更文挑战」的第29天,点击查看活动详情
查看动态分区表调度情况
通过以下命令可以进一步查看当前数据库下,所有动态分区表的调度情况:
| SHOW DYNAMIC PARTITION TABLES; |
|---|
| LastUpdateTime: 最后一次修改动态分区属性的时间LastSchedulerTime: 最后一次执行动态分区调度的时间State: 最后一次执行动态分区调度的状态LastCreatePartitionMsg: 最后一次执行动态添加分区调度的错误信息LastDropPartitionMsg: 最后一次执行动态删除分区调度的错误信息 |
数据导出
数据导出(Export)是 Doris 提供的一种将数据导出的功能。该功能可以将用户指定的表或分区的数据,以文本的格式,通过 Broker 进程导出到远端存储上,如 HDFS/BOS 等。
使用示例
Export 的详细命令可以通过 HELP EXPORT; 。举例如下:
EXPORT TABLE db1 . tbl1
PARTITION ( p1 , p2 )
TO "hdfs://host/path/to/export/"
PROPERTIES
(
"column_separator"="," ,
"exec_mem_limit"="2147483648" ,
"timeout" = "3600"
)
WITH BROKER "hdfs"
(
"username" = "user" ,
"password" = "passwd" ,
);
| column_separator | 列分隔符。默认为 \t |
|---|---|
| line_delimiter | 行分隔符。默认为 \n |
| exec_mem_limit | 表示 Export 作业中,一个查询计划在单个 BE 上的内存使用限制。默认 2GB。单位字节 |
| timeout | 作业超时时间。默认 2小时。单位秒 |
| tablet_num_per_task | 每个查询计划分配的最大分片数。默认为 5 |
| 提交作业后,可以通过 SHOW EXPORT 命令查询导入作业状态。结果举例如下: |
|---|
JobId : 14008
State : FINISHED
Progress : 100 %
TaskInfo : { "partitions" :[ "*" ], "exec mem limit" : 2147483648 , "column separator" : "," , "line delimiter" : "\n" , "tablet num" : 1 , "broker" : "hdfs" , "coord num" : 1 , "db" : "default_cluster:db1" , "tbl" : "tbl3" }
Path : bos :// bj**-test-**cmy / export /
CreateTime : 2019**-06-**25 17 : 08 : 24
StartTime : 2019**-06-**25 17 : 08 : 28
FinishTime : 2019**-06-**25 17 : 08 : 34
Timeout : 3600
ErrorMsg : N / A
| JobId | 作业的唯一 ID |
|---|---|
| State | 作业状态 |
| PENDING:作业待调度EXPORTING:数据导出中FINISHED:作业成功CANCELLED:作业失败 | |
| Progress | 作业进度。该进度以查询计划为单位。假设一共 10 个查询计划,当前已完成 3 个,则进度为 30%。 |
| TaskInfo | 以 Json 格式展示的作业信息: |
| db:数据库名tbl:表名partitions:指定导出的分区。* 表示所有分区。exec mem limit:查询计划内存使用限制。单位字节。column separator:导出文件的列分隔符。line delimiter:导出文件的行分隔符。tablet num:涉及的总 Tablet 数量。broker:使用的 broker 的名称。coord num:查询计划的个数。 | |
| Path | 远端存储上的导出路径 |
| CreateTimeStartTimeFinishTime | 作业的创建时间、开始调度时间和结束时间 |
| Timeout | 作业超时时间。单位是秒。该时间从 CreateTime 开始计算 |
| ErrorMsg | 如果作业出现错误,这里会显示错误原因 |