Spark Dataframe数据写入hive方式

373 阅读1分钟
方式特点
insertInto1.指定的hive表已经是存在的
2.dataframe的结构顺序和Hive表schema的顺序是一致的;
saveAsTable1.如果表不存在,会自动创建表结构
2.表已经存在,
overwrite: 1 schema字段个数相同,根据列名称插入数据;2 字段个数不相同,会重新创建表;
append:1 schema字段个数相同,根据列名称插入数据;2 字段个数不相同,报错;

注意:spark/sparkSQL insertInto插入数据到hive非分区表,会先删除数据导致表临时不可用,需要通过任务依赖标识数据是否可用