关键字：人大金仓、KFS、数据校验
数据不”流浪“|金仓KFS的TB级全库数据校验****
背景：****
某财务系统数据库服务采用2节点 的 Oracle RAC实例，现需要进行国产化项目改造，将数据迁移到4台数据库服务器部署的一主三备KES主备高可用集群中。
全库数据量级高达TB级。财务系统数据至关重要，且停机窗口时间有限，客户要求在数据迁移后的10小时内完成数据一致性确认。而且面对繁杂的数据类型，那么大的数据量，数据一致性校验又要求是对全库数据内容的逐条校验，对常规的校验工具来说，几乎是不可能的任务。
而事实也证明了本次任务难度：项目验证阶段，现场技术人员小刘采用的校验工具无法按时完成校验任务。
数据库国产化迁移，如何确认全库迁移数据是否一致？****
TB级数据，怎么才能 快速 逐条校验？****
单表巨大大，数据校验无从下手？****
数据库迁移如何保障每条数据安全抵达”新家园“，不”流浪“。小刘求助金仓MOSS，开启”灵魂发问“.........
| 金仓MOSS：****嘿~终于等到你 还好我没放弃！感谢关注“金仓智能数据站”平台，这里是金仓MOSS。关于数据库的任何问题，我都可以为您解答。 **小刘：******TB级数据迁移后，怎么才能完成数据一致性校验？**金仓MOSS：******推荐使用金仓异构增量数据同步产品KFS，支持TB级大数量的快速校验，同时也支持差异数据修复，最大程度确保数据稳定。请问您的数据迁移场景具体情况？ **小刘：******异构数据库迁移，Oracle 12c rac迁移至KES集群。**金仓MOSS：******全库数据量多大，表的数据库量分布如何?**小刘：******全库有570+张表，800+分区。全库数据量1TB+，约20亿+条数据，单表最大数据量100G+，7亿条数据。**金仓MOSS：******收到，数据类型包含哪些?**小刘：******除常见的整型、字符型、日期类型外，还有数据校验比较棘手，会极大拉低校验速度的大对象类型、xml等类型。**金仓MOSS：******请问对数据校验的完成时间是否有要求?**小刘：******停机窗口时间有限,必须在10小时内完成全库的数据一致性确认。**金仓MOSS：******收到，后台将根据您的数据校验场景进行模拟验证。请稍等，金仓MOSS从未离开..... |
|---|
| **金仓MOSS：******恭喜您。经历测试环境多轮验证，平均耗时7小时16分，完全能满足您的需求。测试环境验证结果：| 次数 | 耗时 |
| --- | ------ |
| 第1次 | 7小时22分 |
| 第2次 | 7小时10分 |
| 第3次 | 7小时17分 | **小刘：******面对如此复杂困难的场景，KFS是如何超出我们的预期完成任务？金仓MOSS：****好问题。KFS能轻松完成任务，离不开KFS的大表分片和多表并行校验技术。**小刘：******请解释大表分片和多表并行校验。**金仓MOSS：******您是想要官方的回答还是幽默的回答？小刘：****想要你的回答。金仓MOSS：****很抱歉，我好像不太明白您的意思。不过我可以用图片来解释大表分片和多表并行校验技术。l 大表分片面对单表数据量大，KFS可以根据指定列的数据，将大表数据拆分成多个区间，通过比对各区间的数据，从而覆盖全表数据。l 多表并行校验面对全库校验，KFS支持设置并行数，多表并行校验，充分利用硬件资源，提高校验性能，减少校验耗时。
**小刘：******技术可行，但时间紧迫，现场人员的实施工作难度如何？**金仓MOSS：**别担心。KFS图形化界面提供了任务创建、校验执行、校验进度监控及结果查看，通过图形界面覆盖了数据校验的全生命流程，易上手，极大降低了使用难度。
**小刘：******行，我们这就着手使用KFS数据校验的计划。**金仓MOSS：**祝您好运。 | |
| ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | - |
小刘开始计划数据校验任务，使用KFS图形化管理平台，提前创建和设置数据校验任务。等待数据迁移完成后，利用KFS大表分片和多表并行校验技术来完成全库数据校验。
几天后，小刘顺利完成本次项目的数据迁移和校验。经过应用验证后，项目圆满上线。
| **小刘：**感谢你提供的数据校验方案，我们项目已经成功上线了。使用KFS进行全库数据校验共耗时7 小时 32 **分。********金仓MOSS：**收到您提供的数据，已上传后台分析库，以便下次为您提供更准确的预测结果。期待您的下次呼叫。 |
|---|
结语：****
“数据千万条，安全第一条”。数据库国产化迁移中，数据一致性保障非常重要。KFS作为一款面向同城/异地灾备等场景的异构增量数据同步产品，在保证自身数据同步高可用、高可靠、高性能的同时，考虑到用户对数据一致性的强烈需求，为用户提供了数据校验功能，不仅支持TB级大数量的快速校验，同时也支持差异数据修复，最大程度确保数据安全。
