Sqoop教程

sqoop命令

sqoop同步mysql数据

# 导入mysql数据到hive分区表范例
sqoop import --connect jdbc:mysql://127.0.0.1:3306/test --username test --password test  --query "select * from $web_table_name where \$CONDITIONS" --target-dir /user/hive/warehouse/wide_table/user_action_log/event_date=20191111 --hive-drop-import-delims --fields-terminated-by "\0001" --null-string '\\N' --null-non-string '\\N'  --incremental append --check-column id --last-value 0 -m 1 --hive-partition-key "event_date" --hive-partition-value 20191111

Sqoop同步数据遇到的问题

时间报错

1. 时间格式为“0000-00-00 00:00:00.000000”报错：

   

   解决方案：在jdbc链接后加上?zeroDateTimeBehavior=convertToNull，将0日期转换为NULL；