【Oracle】源环境dmp文件导入不同编码环境解决方案

198 阅读3分钟

本文已参与「新人创作礼」活动,一起开启掘金创作之路

文中使用的Oracle版本为11g。

最近由于开发需要,需要将现生产环境数据库全部同步到开发环境中(包括数据、表结构、存储过程、方法......)。但是在导入的过程中发现了以下问题:

  • 数据库服务端编码不一致,导入之后数据为乱码。
  • 表中存在Blob和Clob类型的字段,在导入过程中出现了表不能导入或者导入后没有数据的情况。

由于数据来源是生产库且不能随意访问,因此所有生产数据都将通过脚本晚上定时执行远程备份(脚本是之前同事留下的,离职后没有人维护又将这个烂摊子给到自己头上了)。

在查阅脚本后发现,导出的dmp文件是直接通过exp导出,没有使用到expdp(数据泵),因此在导入时需要做一些特殊处理才能完全导入,共7步下面将进行详细说明。

1 开发库中采用dba账号登录,将当前账号下的所有表描述及其字段描述导出到excel中

导出字段描述语句:

select 'comment on column '||table_name||'.'||column_name||' is '''||comments||''';' from dba_col_comments t where t.owner = 'xxx';

导出表描述语句:

select 'comment on table '||table_name||'  is '''||comments||''';' from dba_tab_comments t where t.owner = 'xxx';

查询结果可以使用PL/SQL的“Copy to Excel...”导出到Excel,如下图:

1.png

2 将生产导出的dmp文件上传到导入环境服务器,然后导出当前dmp的结构信息

imp <xe_username>/<password>@XE file=<filename.dmp> indexfile=index.sql full=y

通过上面的语句会将dmp文件中的结构信息导出成一个sql文件,里面的内容大致如下:

2.png

3 用PL/SQL打开sql文件,执行以下5步替换操作

  • 找到: 'REM '                       替换:  ''
  • 找到: '"原来的表空间"'     替换:  '"目标表空间"'
  • 找到: '...'                              替换:  'REM ...'
  • 找到: 'CONNECT'              替换:  'REM CONNECT'
  • 找到: 'REM '                        替换:  '--'

完成操作后执行该脚本,数据库就能够生成好表结构了。

4 执行存储过程干掉所有约束

exec MANAGE_USER_CONSTRAINTS('disable',true,true,true);

存储过程代码如下:

CREATE OR REPLACE PROCEDURE MANAGE_USER_CONSTRAINTS(OPERATION VARCHAR2,                                                    FK        BOOLEAN DEFAULT TRUE,                                                    PK        BOOLEAN DEFAULT TRUE,                                                    UK        BOOLEAN DEFAULT TRUE) IS/**启动和关闭约束的存储过程脚本created by yuanzh 2015-10-22*/ST VARCHAR2(255);--获取外键关系CURSOR R IS SELECT TABLE_NAME, CONSTRAINT_NAME FROM USER_CONSTRAINTS WHERE CONSTRAINT_TYPE = 'R';--获取主键CURSOR P IS SELECT TABLE_NAME, CONSTRAINT_NAME FROM USER_CONSTRAINTS WHERE CONSTRAINT_TYPE = 'P' AND INSTR(CONSTRAINT_NAME,'BIN') = 0;--获取唯一索引CURSOR U IS SELECT TABLE_NAME, CONSTRAINT_NAME FROM USER_CONSTRAINTS WHERE CONSTRAINT_TYPE = 'U';BEGIN--如果参数中是disable,关闭约束的情况下IF UPPER(OPERATION) IN ('DROP', 'DISABLE') THEN--先执行外键约束的关闭IF FK THENFOR E IN R LOOPBEGINST := 'ALTER TABLE ' || E.TABLE_NAME || ' ' || OPERATION || ' CONSTRAINT ' || E.CONSTRAINT_NAME;EXECUTE IMMEDIATE (ST);EXCEPTION WHEN OTHERS THENNULL;DBMS_OUTPUT.PUT_LINE(ST);END;END LOOP;END IF;--执行主键约束的关闭IF PK THEN-- 先关闭外键FOR E IN R LOOPBEGINST := 'ALTER TABLE ' || E.TABLE_NAME || ' ' || OPERATION || ' CONSTRAINT ' || E.CONSTRAINT_NAME;EXECUTE IMMEDIATE (ST);EXCEPTION WHEN OTHERS THENNULL;DBMS_OUTPUT.PUT_LINE(ST);END;END LOOP;--再关闭主键FOR E IN P LOOPBEGINST := 'ALTER TABLE ' || E.TABLE_NAME || ' ' || OPERATION || ' CONSTRAINT ' || E.CONSTRAINT_NAME;EXECUTE IMMEDIATE (ST);EXCEPTION WHEN OTHERS THENNULL;DBMS_OUTPUT.PUT_LINE(ST);END;END LOOP;END IF;--执行唯一约束的关闭IF UK THENFOR E IN U LOOPBEGINST := 'ALTER TABLE ' || E.TABLE_NAME || ' ' || OPERATION || ' CONSTRAINT ' || E.CONSTRAINT_NAME;EXECUTE IMMEDIATE (ST);EXCEPTION WHEN OTHERS THENNULL;DBMS_OUTPUT.PUT_LINE(ST);END;END LOOP;END IF;--若是启用约束的时候  ELSIF UPPER(OPERATION) IN ('ENABLE') THEN--先启用主键IF PK THENFOR E IN P LOOPBEGINST := 'ALTER TABLE ' || E.TABLE_NAME || ' ' || OPERATION || ' CONSTRAINT ' || E.CONSTRAINT_NAME;EXECUTE IMMEDIATE (ST);EXCEPTION WHEN OTHERS THENNULL;DBMS_OUTPUT.PUT_LINE(ST);END;END LOOP;END IF;--启用外键IF FK THEN--先主键启动FOR E IN P LOOPBEGINST := 'ALTER TABLE ' || E.TABLE_NAME || ' ' || OPERATION || ' CONSTRAINT ' || E.CONSTRAINT_NAME;EXECUTE IMMEDIATE (ST);EXCEPTION WHEN OTHERS THENNULL;DBMS_OUTPUT.PUT_LINE(ST);END;END LOOP;--在外键启动FOR E IN R LOOPBEGINST := 'ALTER TABLE ' || E.TABLE_NAME || ' ' || OPERATION || ' CONSTRAINT ' || E.CONSTRAINT_NAME;EXECUTE IMMEDIATE (ST);EXCEPTION WHEN OTHERS THENNULL;DBMS_OUTPUT.PUT_LINE(ST);END;END LOOP;END IF;--启用唯一约束IF UK THENFOR E IN U LOOPBEGINST := 'ALTER TABLE ' || E.TABLE_NAME || ' ' || OPERATION || ' CONSTRAINT ' || E.CONSTRAINT_NAME;EXECUTE IMMEDIATE (ST);EXCEPTION WHEN OTHERS THENNULL;DBMS_OUTPUT.PUT_LINE(ST);END;END LOOP;END IF;ELSEDBMS_OUTPUT.PUT_LINE('THE FIRST PARAMETER OF THE PROCEDURE MUST BE DROP OR ENABLE OR DISABLE');END IF;END;

5 执行imp导入

imp xxx/abc@se file=xxx220151020_235000.dmp fromuser=fuser touser=tuser ignore=y grants=n constraints=n rows=y buffer=80000000

6 导入完成之后再重新执行刚才的存储过程开启约束

exec MANAGE_USER_CONSTRAINTS('enable',true,true,true);

7 返回第一点中数据提取的excel,将里面的脚本在Command窗口下执行即可