通用数据标准迁移方案详解

331 阅读6分钟

数据标准迁移方案(通用版)

 

第一章 方案综述

信息系统数据迁移需要考虑的因素很多,比如操作系统类别、数据库类型、版本、数据结构、数据规模、最小允许宕机时间等等。

对于本项目,假定满足下列条件:

1.      操作系统一致

2.      数据库类型一致,均为MicrosoftSQLServer

3.      数据库版本均为SQLServer2000

 

第二章 不同数据结构的数据升迁

新系统建设完成后,需要对旧系统中数据进行升迁。对于从旧系统中升迁历史数据,需要首先建立旧系统历史数据与新系统数据结构的对应关系,并根据对应关系建立数据逻辑视图。然后使用导入导出工具将历史数据一次性导入到新系统中。数据升迁工作需要遵循以下原则:

1.      数据项长度不一致的处理

对于新系统与旧系统的数据项长度不一致的,为了防止数据丢失,应以数据项较长的为准。

2.      代码标准不一致的处理

对于新系统与旧系统的同一数据项,而代码标准不一致的,需要建立代码对照表交由用户审定后再进行升迁。

3.      数据采集方式不一致的处理

旧系统为代码输入项目,新系统为手工录入项目的,数据升迁时直接将含义升迁至新系统中。旧系统为手工录入项目,新系统为代码输入项目的,数据升迁时应将数据导入临时表中,由用户确认这些数据的新代码后再导入正式库。

4.      增减数据项目的处理

新系统中新增的数据项目,如果为关键非空项,在数据升迁时需要由用户指定默认值或者数据生成算法。旧系统有而新系统已取消的数据项目,原则上升迁至该记录的备注字段。对于没有备注项目的,需要与用户协商是否需要继续保留。

5.      历史数据归档的处理

这种数据交换模式为大量、批量、一次性执行的工作。此项工作要求需要支持异常终断后继续,并且在完成数据升迁后,需要出具数据升迁报告交由用户审核确认。如果数据升迁工作顺利完成,原有一期系统数据在备份并刻录光盘后,将不再保留。

6.      完成此项工作提交的文档:

1)      数据升迁报告

2)      新旧系统代码项对照关系备忘录

3)      新版系统中取消数据对象、数据项备忘录

4)      新版系统由于历史数据升迁工作要求数据结构修订备忘录

5)      历史数据清理工作备忘录

6)      旧系统历史数据刻录光盘

第三章 数据结构相同的数据迁移

对于数据结构相同的数据迁移,常见有两种方式:先备份再恢复的方式和数据库文件分离与附加的方式。但无论哪种方式,均需要在不同数据库服务器之间,对数据文件或者备份文件进行拷贝和复制,因此我们建议在数据库迁移时尽可能减少数据库文件大小,便于进行处理,减少文件复制的耗时。

在开始说明两种方式之前,首先明确一下备份恢复和分离附加的概念:

1.      备份与恢复

备份就是指对SQLServer数据库及其他相关信息进行拷贝,数据库备份记录了在进行备份这一操作时数据库中所有数据的状态,如果数据库因以外而损坏,这些备份文件将在数据库恢复时被用来恢复数据库。

恢复就是把遭受破坏、丢失的数据或出现错误的数据库恢复到原来的正常状态,这一状态就是有备份决定的。

2.      分离与附加

 

在SQLServer运行时,在Windows中不能直接移动SQLServer数据库文件,如果想移动SQLServer数据库文件,就要将数据库文件从SQLServer服务器中分离出去,分离后SQLServer服务器上不再有该数据库。

附加数据库的工作是分离数据库的逆操作,通过附加数据库,可以将没有加入SQLServer服务器的数据库文件加到服务器中。

一般来讲,数据库的分离与附加操作比备份与还原的数据库迁移方式要更迅速、便捷。

第四章 数据安全性保证

在进行数据转换的正式上线之前,我们需要做好相应的数据备份和数据恢复准备工作,以确保在上线过程中出现问题时能够快速回退并恢复数据。

为了保障数据的安全性,我们将采取适当的权限管理和访问控制措施,限制对数据备份和恢复操作的权限,以防止未经授权的访问和误操作。

通过以上的准备工作,我们可以在数据转换上线之前,为系统的稳定性和安全性提供充分的保障。无论是上线成功还是失败,我们都能够迅速应对并保证数据的完整性和可靠性。这将为整个数据转换过程提供更高的保障,并为后续的系统运营奠定坚实的基础。

 

第五章 数据加工步骤

在数据转换的过程中,根据目标表和中间表的映射关系,我们将编写相应的SQL语句,以实现最终的数据转换。这些SQL语句将确保源数据正确地映射到目标表,并满足业务需求。

在编写SQL语句时,我们会考虑数据转换可能出现的失败情况,并制定相应的数据恢复方法。这样,如果在转换过程中出现异常情况,我们可以及时处理,确保数据转换的稳定性和可靠性。

同时,在进行数据转换时,我们也会兼顾数据转换的性能。通过优化SQL查询语句、建立索引、合理设计数据处理流程等手段,我们将尽量减少数据转换过程的时间消耗和资源占用,以提高数据转换的效率和性能。

为了保证数据转换的质量,我们还将进行充分的测试和验证。在测试阶段,我们会模拟各种情况,包括正常数据转换、异常数据处理以及性能测试等,以确保数据转换过程的稳定性和正确性。