引言:
在数据库国产化替代趋势下,将Oracle数据库迁移至KingbaseES成为企业数字化转型的重要选择。KingbaseES凭借丰富的Oracle兼容特性,可实现低改动甚至零改动迁移,搭配KDTS、KFS专用工具,能有效简化流程、提升迁移效率与稳定性。本文围绕迁移全流程,详细阐述核心迁移内容、关键操作步骤及工具使用方法,为实际项目落地提供实战指南,助力企业顺利完成迁移工作
KingbaseES内部提供了大量的Oracle兼容特性,因此在实际迁移过程中,一般只需对导出脚本做少量修改,甚至在迁移对象功能全兼容的场景下可实现零修改迁移。此外,用户还可借助KDTS、KFS等专用工具进一步简化迁移流程,提升迁移效率与稳定性。
一、主要迁移内容
Oracle数据库迁移至KingbaseES需按固定顺序执行四大核心内容,顺序错乱可能导致迁移中断、数据不一致等问题,具体顺序及逻辑如下:
数据库作为SQL与PL/SQL对象的存储容器,用户作为对象的管理与操作主体,需优先完成二者迁移,为后续数据迁移奠定基础;应用程序迁移则需在数据库对象迁移完成后开展,因应用程序需依赖已迁移的数据库对象实现业务逻辑。
1.1 数据库、用户和模式迁移
-
启动KingbaseES目标数据库后,创建与源Oracle数据库同名的数据库及用户,并为新建用户授予该数据库的使用权限及模式的创建、操作权限。
-
字符集配置:目标数据库字符集必须与Oracle源库保持一致,避免数据迁移过程中出现乱码问题。
-
特殊场景处理:若KingbaseES已存在同名数据库,无需重复创建,登录该数据库后直接创建同名用户即可。
1.2 Oracle数据迁移
根据业务是否允许停机,选择离线迁移或在线迁移模式,结合KDTS、KFS工具制定针对性迁移策略,确保数据完整、高效迁移。
1.3 应用程序移植
应用程序移植核心是将Oracle API或嵌入式SQL方式的应用适配至KingbaseES,主要包括三部分工作:
-
接口驱动与连接方法迁移;
-
Oracle私有/扩展API迁移(KingbaseES未兼容部分);
-
移植过程与系统测试、调试交叉进行,及时定位并解决适配问题。
得益于KingbaseES的高兼容性,应用程序移植工作量通常较小。
二、关键迁移步骤
Oracle数据库迁移至KingbaseES需组建专业团队,按规范流程执行,共分为5个核心步骤:迁移评估→迁移准备→数据迁移→应用迁移→测试与调试,各步骤环环相扣,确保迁移工作有序落地。
2.1 迁移评估
迁移评估是降低项目风险的前提,需明确目标、评估任务、组建团队,为后续迁移工作制定清晰规划。
2.1.1 确定迁移目标
结合用户实际需求,明确以下核心目标:
-
迁移规模:Oracle数据库的数据量、对象数量等;
-
对象特征:简单与复杂迁移对象的占比分布;
-
迁移难度:是否包含大对象(LOB)、大量约束等复杂场景;
-
项目周期:明确迁移工期及时间节点要求;
-
业务连续性:迁移过程中业务是否允许停机,确定离线/在线迁移模式;
-
目标系统指标:平台兼容性、KingbaseES版本、API接口、工具支持、可用性、安全性及性能要求。
2.1.2 评估迁移任务
全面评估迁移可行性、工作量、难易程度及进度,重点覆盖以下内容:
-
技术指标:迁移业务压力、性能达标要求;
-
数据规模:各类数据库对象数量、PL/SQL程序复杂度;
-
兼容性风险:KingbaseES不支持的Oracle功能种类及数量;
-
约束条件:迁移涉及的约束类型、数量及处理难度;
-
潜在问题:硬件兼容性、网络稳定性、数据一致性保障等。
在Oracle迁移中常用的评估模板如下表所示:
| 项目 | 描述 |
|---|---|
| Oracle数据库版本 | 8.1.7.4 |
| 操作系统版本 | Windows 2000/2003 Server |
| 服务器型号 CPU配置 内存(RAM) 磁盘(Disk Profile) | 联想/SUN |
| 服务器个数(# of Servers) | 1或2 |
| 用户数/天(# Users/Day) 事务量/天(# Transactions /Day) | 几十/天 |
| 当前数据库大小 数据库增长速率(#GB/month)目标用户(Schema) | 几个GB |
| 应用方式(OLTP/OLAP) | OLTP |
| 应用服务器(中间件) | 无 |
| 客户端应用类型 (C/S,B/S) | C/S |
| 客户端应用编程语言 | Delphi7 |
| 客户端应用连接接口 | ODAC/ADO |
| 是否深入SQL应用 | 无 |
| 监控工具 | 无 |
| 备份方式 | Exp/imp |
| 其它工具(备份软件等) | 无 |
| 高可用要求 | 较高 |
| 高可用配置方案 | VCS或单机 |
| 项目 | 描述 |
|---|---|
| 迁移分析日期 | 20220105下午 |
| 迁移分析人员KingbaseES版本 | ABC |
| Oracle 版本 OracleSchema | 11.1.7.4 |
| Oracle DB Size (GB) | 几个GB |
| Oracle Schema Size (MB) | 几个GB |
| 类型 | 小计 | 备注 |
|---|---|---|
| Function | 7 | 较少用 |
| Index | 有 | |
| LOB | 有 | 最大到几十MB,主要是照片、word、视频(较少) |
| Materialized View | 有>10 | |
| Procedure | 25 | |
| Sequence | 有>10 | |
| Table | 1660 | 约束较多 |
| Table Partition | 无 | |
| Trigger | <30 | |
| JOB | 无 | |
| Package | 无 | |
| Package Body | 无 | |
| Type | 无 | |
| View | >200 | |
| Synonym | >300 | |
| 对象共计 |
| 类型 | 小计 | 备注 |
|---|---|---|
| CHECK OR NOT NULL | ||
| FOREIGN KEY | ||
| PRIMARY KEY | ||
| UNIQUE KEY | ||
| OTHER | ||
| 约束共计 |
| 特性 | 小计 | 备注 |
|---|---|---|
| 数据压缩 | 无 | |
| 索引组织表 | 无 | |
| 维度(Dimensions) | 无 | |
| 物化视图 | 无 | |
| 存储概要 | 无 | |
| 高级队列 | 无 | |
| 空间数据管理 | 无 | |
| 全文搜索 | 无 | |
| 数据库链接 | 无 | |
| 数据复制 | 无 | |
| RAC | 无 | |
| 逻辑Standby | 无 | |
| 物理Standby | 无 | |
| 自动存储管理 ASM | 无 | |
| 自动工作负载信息库 AWR | 无 | |
| 共计 |
2.1.3 组建迁移团队
团队成员需具备以下核心技能,确保迁移各环节专业落地:
-
精通Oracle与KingbaseES的SQL、PL/SQL语法特性,熟悉KingbaseES的Oracle兼容功能;
-
掌握两种数据库的应用编程接口,理解接口适配的兼容要点;
-
熟悉双方数据库客户端工具的使用,明确工具间的异同点及适配方法。
2.2 迁移准备
迁移准备工作直接影响迁移效率与成功率,核心包括环境部署、软件安装、信息收集、参数配置四大模块。
2.2.1 准备迁移环境
(1)部署目的数据库服务器
遵循以下原则部署KingbaseES服务器:
-
硬件配置:CPU、内存、网络环境优先选用高配置,满足数据迁移及后续业务运行需求;
-
部署隔离:若Oracle源库规模超过1GB,建议将Oracle与KingbaseES部署在不同物理机,避免资源竞争;
-
网络优化:将两台服务器部署在同一局域网,降低网络延迟,提升迁移速率。
(2)获取并安装必要的软件
提前安装以下软件及工具,确保迁移流程顺畅:
Oracle数据库系统、KingbaseES数据库系统、PL/SQL Developer、JDBC/ODBC驱动程序、C语言开发工具、OCI软件、DCI软件、TPCC测试工具、LoadRunner。
优化建议:针对大规模数据迁移,需对KingbaseES进行预优化,包括增大shared_buffer大小、预先创建大容量日志文件、申请足够的表空间数据文件等。
(3)获取Oracle数据库的相关信息
收集源库核心信息,用于登录配置、迁移方案设计及时间估算:
-
基本连接信息:IP地址、实例名、网络服务端口号、用户名/密码,用于PL/SQL Developer登录;
-
数据库编码方式:执行以下SQL查询,确保目标库字符集与之一致:
select userenv('language') from dual;
USERENV('LANGUAGE')
SIMPLIFIED CHINESE_CHINA.ZHS16GBK
- 表数据量大小:查询各表数据量(按大小排序,单位GB),用于估算迁移时间:
select segment_name,bytes/1024/1024/1024 from user_segments where segment_type='TABLE' order by bytes desc ;
XFJXX 16.046875
XFRXX 7.779296875
PCK 7.4375
BLFSXX 5.0625
XFSXXX 2.3125
DFGZXX 1.3359375
FJB 0.53125
TSJXX 0.078125
- 日期格式配置:
时间的默认格式为:ISO, MDY
在配置文件中添加:datestyle ='ISO,YMD' 修改为年月日的格式(99会改为1999)
在某项目中迁移数据时遇到:服务器报错,迁移工具中断,迁移停滞
oracle数据库中有日期“0099-09-30 00:00:00”,迁移工具输出为“99-09-30 00:00:00”,KingbaseES中将99识别为月份报错:ERROR: date/time field value out of range
--即使没有报错也会出现错误
set ora_date_sytle = true;
CREATE TABLE T_DATE(COL DATE);
INSERT INTO T_DATE VALUES('11-10-10 10:10:10');
SELECT * FROM T_DATE;
COL
---------------------
2010-11-10 10:10:10
(1 row)
2.2.2 配置KingbaseES的Oracle兼容开关
配置会话级兼容参数,确保Oracle对象平滑迁移,核心参数如下:
-
nls_length_semantics:设定char类型字段默认单位(byte/char),标识符最大长度以此为单位(char模式下最大63个char,byte模式下最大63个byte)。 KingbaseES默认值为“CHAR”,需与Oracle保持一致,查询Oracle配置语句:
select value from nls_database_parameters where parameter = 'NLS_LENGTH_SEMANTICS';风险提示:若不一致,迁移char类型数据时可能出现多余空格。 -
search_path:模式搜索路径,示例配置为“$USER,SCOTT,PUBLIC”,系统将按顺序搜索模式对象。
-
default_with_oids:OID伪列开关,启用后可通过OID伪列兼容Oracle的ROWID伪列。
2.2.3 配置目的库KingbaseES性能参数
优化性能参数以提升迁移速度,核心配置如下:
-
数据与日志文件:根据迁移数据规模,预先创建足够大小的数据文件和日志文件,避免迁移过程中频繁扩容;同时确保数据目录有充足存储空间。
-
shared_buffers:默认值128M,建议调整为服务器内存的1/4,提升数据读取效率。
2.2.4 数据库、用户和模式迁移
-
收集源Oracle数据库连接信息(IP、实例名、端口、用户名/密码);
-
通过Ksql或Kstudio工具执行迁移操作:
-
创建与Oracle同名的用户(如scott);
-
创建与Oracle同名的数据库(如ORCL),属主设为对应用户;若同名数据库已存在,可直接使用该数据库,仅创建同名用户即可;
-
KingbaseES默认initdb为Oracle兼容模式,无需额外配置兼容模式开关。
2.3 数据迁移
数据迁移核心依赖KDTS、KFS工具,根据业务连续性需求选择离线或在线迁移模式,两种模式的操作流程如下:
2.3.1 核心工具说明
-
KDTS(Kingbase数据迁移工具):支持动态加载数据库访问接口,兼容Oracle9i/10g/11g/12c/19c到KingbaseES的迁移,提供WEB、SHELL两种形态;
-
KFS(Kingbase数据同步工具):支持同/异构数据源迁移,涵盖结构迁移、全量数据迁移、列名映射、数据过滤等功能,可实现增量数据同步。
工具选用原则:离线迁移仅需KDTS;在线迁移需先通过KDTS完成存量数据迁移,再通过KFS实现增量数据追平。
2.3.2 离线迁移
用户可使用KDTS进行数据的离线迁移,KDTS提供了两种形态(WEB、SHELL),用户可根据需要进行选择,以下章节将分别介绍WEB、SHELL版本进行oracle迁移的具体步骤。
WEB迁移步骤
创建源数据库连接 ,创建数据库连接界面如下,填写数据源信息,包括: “连接名称”、“数据库类型”、“数据库版本”、“服务器地址”、“端口”、“用户名”、“密码”、“数据库”、“连接参数”。
创建目标数据库连接 ,创建数据库连接界面如下,填写数据源信息,包括: “连接名称”、“数据库类型”、“数据库版本”、“服务器地址”、“端口”、“用户名”、“密码”、“数据库”、“驱动”、“URL”、“连接参数”。
新建迁移任务
KDTS采用向导页的方式指导用户新建迁移任务,简单易用,用户依次配置“选择数据源”-“选择模式”-“选择迁移对象”-“配置参数”,即可快速配置一个迁移任务。
- 选择数据源
填写自定义任务名称(任务名称不能重复),选择“源数据库”和“目标数据库”,或者选择“新建数据源”后使用。
- 选择模式
选择需迁移的模式(如需选择模式在系统模式中可选中“包含系统模式”复选框)的表、视图、序列、函数、存储过程、程序包、同义词。当模式较多时也可以通过左上方的查询框进行检索。 请至少选择一种模式,否则将收到错误提示,以至于不能完成新建任务。
- 选择迁移对象
通过已选模式选择需要迁移数据的表,模式较多时可在已选模式搜索框内输入模式名关键字进行快速检索。
可迁移此模式下全部表,也可以指定或排除部份表,当选择“包含指定表”或“排除指定表”时,请通过“从列表选择”、“从文件导入”或者在输入框内输入表名将数据添加到包含列表中,若未添加数据,则会提示错误导致无法进行下一步并完成新建任务。
点击“包含指定表”时也可选择多种方式。可直接在输入框内填写表名,多个表用“,”分割,回车确认;“从列表选择”可在模式中选择指定表;若需“从文件导入”,可点击“下载导入模板”,根据导入模板规则填写,然后从文件导入该模板。当需要“排除指定表”时,同指定部份表相同操作,但结果相反。
从列表选择表时,可选择对应模式、检索表名关键字、数据条数限制进行快速检索对应的表。点击“添加”按钮后加入到已选列表,当想要移除部份表时可以选择对应的表点击“移除”按钮取消表。选择完成后点击确定。
- 配置参数
迁移工具提供了一系列配置参数用于迁移方案的个性化配置,满足多种迁移场景。配置参数分为“迁移配置”、“数据类型映射”、“线程配置”三个方面。以下以迁移配置为例,介绍各参数的含义。其他配置项请参考工具-迁移工具章节描述。
- 表默认处理方式,包括两个复选框项(“建表/重建表”、“导入数据”),迁移到KingbaseES数据库是否需要建表或者重建表,以及是否只迁移表结构而不迁移数据的选择,根据实际需求选择合适的选项(默认是全选)。
- 表排序依据,对迁移的表进行排序,可通过“按行数和大字段大小交替”、“行数”、“大小进行排序”(默认是按行数和大字段大小交替)。
- 表数据读取和写入,对表数据的读取和写入制定规则,可操作项包括“源库游标读取记录数”(默认是100)、“批量写入目标库记录数”(默认是1000)、“每次批量提交大小”(默认是100MB)、“LOB字段预读取大小”(默认是4000Byte)。
- 大表拆分阈值依据,对大表进行拆分迁移,设置拆分界限。
- 非对象设置包含“主键”、“检查约束”、“唯一约束”、“外键”、“索引”、“触发器”、“自动转换对象名”,可以根据自己的需求选择是否迁移这些非对象数据(默认是全选)。
- 数据库连接数设置,可以限制迁移程序对源数据库和目标数据库的最大连接数(默认是100)。
执行迁移任务
,可将此任务作为预迁移任务点击“保存”,或者作为执行任务点击“保存并迁移”。迁移完成后任务状态将变成:
- 迁移完成,迁移结束“状态”栏显示“成功”,则迁移任务成功。
- 迁移失败,迁移结束“状态”栏显示“失败”,则迁移任务失败。失败后可点击详情查看日志有助于解决问题。
查看迁移报告及问题处理
,迁移完成后,需要确认执行结果,包括迁移数据量,是否有错误发生,可以通过迁移日志和迁移结果进行查看。
“迁移日志”打印迁移任务执行后的日志,具体可分为“系统日志”、“Error日志”、“Info日志”。
“迁移结果”功能的工作区包括“任务执行批次”、“迁移对象”、“总数”、“成功数”、“失败数”、“略过数”、“操作”,可以查看历史迁移任务执行的每次记录,以及每次迁移的对象、成功数、失败数、查看失败任务的错误日志。
SHELL迁移步骤
工程目录说明 ,使用SHELL方式进行迁移需要对工程文件有一定了解:
- bin: 启动脚本
- conf: 配置文件
- doc: 帮助文档
- drivers: 数据库连接驱动(注意不同版本驱动的存放目录差别,详见readme.md)
- jdk: jdk
- kdms: kdms程序
- lib: 程序包
- logs: 日志
- result: 迁移报告
JDK安装,下载与KDTS安装服务器相匹配的JDK(需要匹配操作系统和CPU架构,如Liunx/AArch64、Linux/x64、Windows/x64等),版本选择JDK 11或更高。下载地址: jdk.java.net/archive/, 将下载的JDK解压到KDTS-CLI/jdk目录下即可。
备注
- 请使用解压版本的JDK,以免安装JDK影响服务器上的其它应用。
- 不要把当前的JDK加入系统环境变量,以免影响服务器上的其他应用。
- 如果需要使用服务器上已有的JDK,配置bin/startup.sh(Windows平台为startup.bat)中的JAVA_PATH即可。
配置数据库连接信息,配置步骤分为3步:激活配置文件、配置数据库连接、配置相关参数。
1)进入KDTS-CLI/conf目录下,打开application.yml文件,根据源库类型设置当前激活的源库配置(active: oracle),如下所示:
在正确设置application.yml中的active项后,打开对应配置文件(datasource-oracle.yml),按实际运行环境进行配置即可。
2)配置源端数据库连接信息、目标数据库连接信息。编辑conf/datasource-oracle.yml文件,编辑源端和目标端连接信息,包括url、driver-class-name、username、password信息,如下图所示:
3) 配置要迁移的源库模式,数据库对象,涉及到的参数见下图:
4) 迁移配置参数说明
编辑conf/datasource-oracle.yml文件有多个配置参数,可灵活使用。以下列举常用的配置参数。
- fetch-size,源数据库游标读取记录数,在一定范围内增加该值可提升读取效率,但会增加内存开销。
- table-with-large-object-fetch-size,源数据库含大对象数据表的游标读取记录数,此参数针对有大对象字段的表。
- large-table-split-threshold-rows,大表拆分阈值行数(当表的行数超过此值时,将对表进行拆分,每块的记录数为此值和表总记录数除以“拆分最大块数”中的最大值)。
- large-table-split-threshold-size,大表拆分阈值大小(单位为M),当表的数据大小(普通字段+大对象字段)超过此值时,将对表进行拆分。
- large-table-split-condition-file,大表拆分条件定义文件,优先于按行数和大小拆分。
- table-data-filter-condition-file,表数据过滤条件定义文件。
- use-kdms,是否使用kdms做转换(视图、函数、存储过程、包、触发器)。
- kdms-url,kdms访问地址,前提是use-kdms: true。
- write-batch-size,目标数据库表数据批量提交记录数.
- write-batch-size-big-lob,目标数据库表数据批量提交记录数,特指大对象数据。
- drop-existing-object,是否默认删除目标库中已存在的对象(如表、视图等)。
- truncate-table,是否默认清空目标库中已存在的表数据。
- rename-object,目标数据库对象重命名,除表名、列名外的其他对象: pk、fk、constraint、unique constraint、index 等。
- useDbmsStats,是否使用数据库系统统计信息(如表的记录数、大小等)。
- useManualScript,是否使用手工脚本。
- useKdms,是否使用kdms做转换(视图、函数、存储过程、包、触发器)。
- kdmsUrl,kdms访问地址。
- kdmsSourceDbType,kdms源数据库类型。
- kdmsTargetDbType,kdms目标数据库类型。
- readDataTimeout,读数据超时时长(单位毫秒,0表示永不超时)。
- maxRetries,最大重试次数。
- retryInterval,重试间隔(毫秒)。
- readDataCanResume,读数据(中断后)能否恢复。
- characterNeedDecoding,字符是否需要解码,处理类似Oracle字符集为US7ASCII、WE8ISO8859P1等时迁移中文乱码的问题。
- encodingCharset,编码字符集(字符集为US7ASCII、WE8ISO8859P1设置为"ISO-8859-1")。
- decodingCharset,解码字符集(字符集为US7ASCII、WE8ISO8859P1设置为"GB18030")。
- decodingBytes,是否解码字节(字符集为US7ASCII时设为true)。
- dataCompareBufferSize,源端数据对比缓冲区大小(行数)。
- dataCompareAlgorithm,数据对比摘要算法。
- maximumPoolSize,源数据库最大连接数。
线程相关设置
可根据实际服务器配置按比例调整,如果与目标数据库运行在同一服务器上,应将绝大部分资源分配给数据库。
进入 KDTS-CLI/conf目录下,打开:kb-thread-config.xml,如下图所示:
数据迁移属于IO密集型操作,涉及网络络IO和磁盘IO的交互,一旦发生IO,线程就会处于等待状态,当IO结束,数据准备好后,线程才会继续执行。为提升数据迁移的效率可以多设置⼀些线程池中线程的数量,避免任务等待,线程可以去做更多的迁移任务,提高并发处理效率。但不是线程数设置的越高,效率就越高,线程上下文切换是有代价的。 对于对于IO密集型线程数的设置公式为:线程数 = CPU核心数/(1-阻塞系数) ,其中阻塞系数一般为0.8~0.9之间,取0.9则:
双核CPU: 2/(1-0.9) = 20
64核2路CPU: 64*2/(1-0.9) = 1280
启动脚本 ,进入 KDTS-CLI/bin 目录下,编辑: startup.sh:
- 检查JDK的路径是否正确
JAVA_PATH=${BASE_PATH}/jdk
- 设置JVM内存
系统默认自动获取JVM内存参数,若需手动调整JVM参数:
<font style="color:rgb(68, 73, 80);background-color:rgb(246, 247, 248);">JAVA_OPT="-server -Dfile.encoding=UTF-8 -Dconfig.path=$\{CONFIG_DIR\} -Xmx16g -Xms16g"</font> 主要是: <font style="color:rgb(68, 73, 80);background-color:rgb(246, 247, 248);">-Xmx16g -Xms16g</font> 参数
- 启动运行脚本
进入 KDTS-CLI/bin目录,执行: ./startup.sh 。
查看迁移报告及问题处理
,可以在运行日志(kdts_plus_***.log)中查看到迁移整个过程的信息,包括任务启动、迁移进程、结果汇总。
可查看result下的迁移结果(在形如“result/2021-12-02_15-15-15/Sehcma1”目录下)
- index.html--报告主页面
- detail_XXX.html--XXX详细信息(如表结构、表数据、表主键等)
- FailedScript--失败脚本目录
- IgnoredScript--略过脚本目录
- SuccessScript--成功脚本目录
在迁移过程中一旦某个对象创建失败,KDTS会将该对象的创建sql保留到本次迁移任务文件夹下的FailedScript目录下*.sql文件,用户可以手动修改后通过Ksql或者KStudio工具手动执行。
2.3.3 在线迁移
在线迁移过程中,为保障异构数据库数据同步且客户业务不停机,需要一个中间数据库(与源端数据库版本相同的单实例数据库)做媒介迁移存量数据。操作的过程分两部分。
- 先将存量数据迁移至中间数据库上,然后KDTS迁移工具进行初始数据搬迁或通过ETL进行初始数据搬迁至异构数据库(目标数据库)中。
- 待上一步操作完成,从指定断点开始启动KFS源端,正常启动目标端的KFS程序(在已经有KFS运行的情况下,可能需要重置KFS)。
备注
在迁移源库存量数据时避免做以下操作:
1). 运行大型批处理操作会降低复制速率。
2). 备份时执行DDL操作将导致DML和DDL之间存在锁问题
源端数据库备份
- 获取当前数据库一致性scn号
alter system checkpoint global;
select checkpoint_change# from v$database;
假设获取的值为200725471,该scn号将用作启动KFS起始的scn号。
- 创建备份目录(需要sysdba权限)
create directory dump_dir as 'd:/dump_dir';
grant read,write on directory dump_dir to kfs_user;
- 完整备份数据库
在单实例oracle数据库服务器上执行(导出用户kfs_user的内容):
expdp kfs_user/123456 schemas=kfs_user directory=dump_dir flashback_scn=200725471 dumpfile=DBNAME_20220511.dump
存量数据迁移
- 在中间库中创建备份目录(需要sysdba权限)
create directory dump_dir as 'E:/dump_dir';
grant read,write on directory dump_dir to kfs_user;
- 将源端备份的数据文件拷贝至E:/dump_dir目录下
- 将备份的数据还原至中间库
impdp kfs_user_new/123456 directory= dump_dir remap_schema=kfs_user:kfs_user_new table_exists_action=replace dumpfile= DBNAME_20220511.dump
- 使用数据迁移工具(KDTS)将中间库的数据搬迁至目标数据库。
启动KFS完成数据追平
备注
若KFS之前已经部署运行,则源端和目标端需要先执行重置命令fsrepctl –service XXX reset -all –y,确认中间表、kufl文件等被清除。 KFS部署参考《Kingbase FlySync 安装部署手册》。
源端操作 ,先启动KFS到offline状态,replicator start offline。再使用ONLINE命令,将源端的KFS完全启起来,执行ONLINE命令时需要指定-from-event参数,参数值为备份数据库时查询的scn值。
replicator start offline
fsrepctl -service oracle online -from-event ora:200725471: 200725471
目标端操作 ,启动目标端KFS,等待数据追平。
提示
追平的判断方法:
[hes@h1-105 ~]$ fsrepctl services Processing services command... NAME VALUE ---- -----appliedLastSeqno: 3 //若源端无新数据产生,则源端和目标端相同 appliedLatency : 0.297 //若源端无新数据产生,延迟时间为0 role : master serviceName : postgresql serviceType : local started : true state : ONLINE Finished services command...
2.3.4 多次迁移
若项目开发过程中,需要定期从一个指定的源数据库迁移到目的数据库中, 那么根据迁移时源数据库和应用的状态,决定离线迁移还是在线迁移。
同时,由于是多次迁移,需要考虑每次迁移时数据库对象的定义是否需要迁移, 若不需要,则只迁移数据就可以,使用 KDTS 和 KFS 都支持只迁移数据; 若每次迁移时需要迁移对象定义,则:
1)对于定义发生变更的表,选择迁移定义和数据。可使用 KDTS的“迁移部分表”功能完成,详细步骤可参考 迁移工具 。
2)对于定义没有发生变更的表,只同步数据即可。可使用 KDTS的“按条件迁移”功能完成,详细步骤可参考 迁移工具 。
2.4 应用代码迁移
应用代码迁移分为服务器端(PL/SQL)和客户端(API接口)两部分,依托KingbaseES高兼容性,适配工作量较小。
2.4.1 服务器应用代码迁移
数据迁移后,需要迁移应用系统中用到的服务器应用代码,例如 PL/SQL。
KDTS 已经完成了存储过程,函数,包等 PL/SQL对象的迁移, 只需要关注应用代码中用到的匿名块的代码的迁移。KingbaseES 的 plsql 语言和Oracle的plsql高度兼容, 需要关注如下2点:
- package中Oracle 允许存在同名同参数的存储过程和函数,KingbaseES 不支持,需要重命名为不同名字。
- KingbaseES 不支持 Object type的方法的连续调用,例如不支持 方法1.方法2.方法3, 需要改写为
var1 := 方法1;
var2 := var1.方法2;
var3 := var2.方法3;
2.4.2 客户端应用代码迁移
在应用编程接口方面,KingbaseES与Oracle兼容程度较高,所以,一般情况下,应用程序迁移比较容易。应用程序迁移通常应和迁移后的系统测试同时进行。这样可及时修改测试过程中发现的问题。
通常,在应用程序可采用API方式访问和操纵数据库:
该方式通过数据库厂商提供的各种标准应用编程接口在应用程序中与数据库进行交互。常用的应用编程接口如JDBC和ODBC等。目前,大多数数据库厂商均提供很多标准的数据库API及其驱动程序。
在实际应用中,应首先加载驱动程序。加载成功后,利用API函数与数据库交互并完成对数据库数据的操作。
ODBC
对于使用ODBC的应用程序,应创建 KingbaseES ODBC 数据源,然后修改应用程序中连接数据库的用户名、密码等。此外,在Windows系统下对于OLEDB、ADO和NDP,则不需创建数据源。
- Windows数据源配置
具体配置参数解释请参考 KingbaseES客户端编程接口指南-ODBC 。
- Linux数据源配置
首先检查 ODBC Driver 是否已经安装。在系统中找到 odbcinst.ini 文件,和/usr/bin/odbcinst 对应的 odbcinst.ini 在 /etc 目录下,和 /usr/local/bin/odbcinst 对应的 odbcinst.ini 在 /usr/local/etc 目录下。在odbcinst.ini 文件中查找 [KingbaseES 9 ODBC Driver] 这一项。
如果没有,则参考增加如下内容:
[KingbaseES 9 ODBC Driver]
Description = KingbaseES 9 ODBC Driver for Linux
Driver = /opt/Kingbase/Odbc/lib/kdbodbcw.so
增加odbc.ini文件,内容如下:
[kingbase]
Description = KingbaseES
Driver = KingbaseES 9 ODBC Driver
Servername = 127.0.0.1
Port = 54321
Username = SYSTEM
Password = MANAGER
Database = TEST
具体配置参数解释请参考 KingbaseES客户端编程接口指南-ODBC 。
移植Oracle OCI应用程序
KingbaseES支持OCI的大部分常用接口。
具体参见手册 KingbaseES客户端编程接口指南-DCI 。
其它应用框架
其它应用框架的使用,请参照客户端编程开发框架的使用指南。如无说明,请及时联系KingbaseES支持工程师。
2.5 测试与调试迁移后的系统
任何一个成熟的应用系统如果代码、尤其是关键代码变动后,则应进行全面细致的测试。类似的,更换新的后台数据库系统以后,也应对迁移后的数据库系统进行全面的功能和性能测试。
功能测试和排错
功能测试是指对迁移后的数据库系统的每一个模块和功能进行全面的系统回归测试,用以确保新系统各个功能的正确性。
因此,完成数据库对象和应用程序迁移后,应对迁移后的系统进行全面的功能测试,并对测出问题及时分析、排查和修改。对那些很难定位的问题,请及时联系KingbaseES支持工程师。
性能测试和调优
迁移后的系统性能测试和调优是在完成迁移得系统功能测试后和系统上线前,在实际或模拟生产数据上,对迁移后的系统进行的性能测试和调优。
迁移后的系统性能测试和调优的主要步骤如下:
- 构造测试数据:若条件允许的话,建议构造与实际生产数据规模相同的数据,并模拟构造未来一年、两年、五年或更长生命周期的数据进行测试。
- 部署测试软硬件环境:根据测试数据规模的大小,配置适当的测试软硬件环境。
- 性能测试:既可采用手动方式,也可利用TPCC测试工具、LoadRunner等工具对迁移后的系统进行自动测试。
- 性能调优:对未达到性能指标的功能模块及其SQL语句进行优化并给出相关建议。
通常,性能测试效果与测试数据规模、软硬件配置等因素密切相关。因此,建议性能测试时,测试数据规模、软硬件配置应尽量与将来的实际生产环境一致。必要时,在未来一年、两年、五年等不同模拟数据规模场景下,应分别测试迁移后的系统的性能指标,用以保证钱以后的系统未来仍能具有良好的性能表现。
三:总结
Oracle数据库迁移至KingbaseES凭借其高Oracle兼容特性,可实现低改动甚至零改动迁移,配合KDTS、KFS等专用工具,能大幅提升迁移效率与稳定性。迁移需按“数据库/用户/模式→数据→应用程序”的固定顺序推进,核心流程分为迁移评估、准备、数据迁移、应用迁移、测试调试五大步骤。评估阶段明确目标与风险,准备阶段完成环境部署、参数配置等基础工作,数据迁移支持离线(KDTS)与在线(KDTS+KFS)两种模式,应用迁移聚焦PL/SQL兼容与API接口适配,最终通过功能与多场景性能测试,确保迁移后系统功能正常、长期运行稳定。