利用Zaloni Arena数据治理平台将事务性数据迁移到AWS中的MongoDB上

踏上云迁移之旅并不总是一件容易的事，关键是要制定一个计划，在每一步都有目标和步骤。

作为Zaloni的解决方案工程总监，我最近有机会与我们的一个客户合作，计划和管理其云迁移项目。该项目包括将客户的交易应用程序和数据基础设施迁移到云端。

目标是什么？

当决定迁移到云端时，在开始之前最关键的是确定你希望实现的目标是什么。

在这个案例中，客户正在进行数字化转型，面临着数据环境的扩展速度与每天通过其服务器摄入的实时数据相匹配的困难。主要目标是通过将其整个交易应用程序迁移到云端来提高其可扩展性。Zaloni制定了将所有交易数据从客户的内部环境迁移到云端所需的步骤。交易数据的迁移是Zaloni的关键成果，最终实现了将整个内部的SQL Server数据库迁移到AWS的MongoDB的目标。

挑战是什么？

一旦你决定了云迁移的目标，下一步就是要确保你对整个过程中可能面临的挑战保持一致。

该公司需要将4TB的数据从目前的内部关系型数据库迁移到AWS云湖，最后迁移到MongoDB Atlas。然而，将大量的数据从其关系型数据库有效地迁移到AWS和MongoDB的复杂性带来了相当大的挑战。

第一个挑战是要认识到由于客户的全球客户群所带来的潜在数据复杂性。我们必须非常注意每个国家不同的UTF代码标准。Zaloni通过周密的工作，确保了客户的数据质量和全面的合规性。其次，客户的内部环境有一个相当大的SQL服务器实例仍在使用，这使得将存储的历史数据转移到云端变得更加困难，因为他们每秒都有新的数据进来。

数据验证是这个迁移项目的另一个挑战，因为数据的大小和类型差别很大。当把所有历史数据和增量数据迁移到云端时，不同的数据类型和大小延长了数据验证和数据质量过程。在项目的实施过程中，我们的团队使用不同的语言编写代码，包括Python、Shell、Java和其他一些语言。为了更好地利用我们团队的这些工具，我们利用Zaloni Arena平台来编码、构建和协调数据验证过程。

我们是如何克服这些挑战的？

我们的数据专家团队运行数据质量，利用特定的业务规则验证历史和实时数据，并改进了数据的摄入和迁移过程。通过这些调整，Zaloni建立了一个基于云的数据环境，可以在没有人际互动的情况下运行，并允许团队将注意力转移到剩余的应用迁移上。

由于Arena的自动化管理能力和整体可扩展性，Zaloni Arena平台在迁移过程中发挥了重要的作用。Arena的数据脉络使团队能够迅速发现并解决迁移过程中出现的数据问题。

为了说明我们所产生的影响，Zaloni在8天内将过去6个月的公司交易数据转移到基于AWS的数据湖，作为一个中间地带，它可以将近7000万份文件转化为所需的MongoDB格式。

我们学到了什么？

当我回想这个项目时，很明显，创建一个数据验证过程对我们的成功至关重要。我们学到了如何精简这一过程，并继续前进。其中一个重要的方面是在生产开始前获得样本数据。通过这样做，团队可以开始在较小的数据集上编写各种数据验证脚本，看看什么是最有效的数据，而不会放慢迁移项目的时间。

另一个主要教训是将历史数据和增量数据转移到Amazon S3。这一步对云迁移项目的成功至关重要，是利用Zaloni Arena平台完成的。通过该平台，Zaloni团队将所有的交易数据转移到云中，管理手头的增量数据，并通过Arena的统一平台，利用AWS EMR提供所有必要的数据转换。

Zaloni Arena平台和MongoDB

在Zaloni的数据平台Arena的帮助下，企业可以轻松应对云迁移过程，因为将数据从内部环境过渡到MongoDB Atlas是实现数据架构现代化和实现数字化转型的催化剂。

Arena实现了简化的数据迁移，同时为其用户提供了数据环境的单一玻璃窗视图，以改善数据观察能力、数据质量、数据治理和数据管道管理。最终，Arena可以为数据公民灌输丰富的信心，因为他们知道数据已经过验证、清理，其准确性和相关性值得信赖。要了解更多关于Arena和MongoDB如何帮助你克服数据挑战的信息，请访问www.zaloni.com/mongodb/。