AI领域的现代数据架构——面向 AI 工作负载的数据存储与管理

数据智能老司机
113 阅读52分钟

引言

在大数据与人工智能时代，健壮的数据存储与管理是成功 AI 计划的支柱。本章审视这些关键组成部分，强调它们在整体 AI 架构中的角色。
我们将探讨数据存储架构：本地（on-premises）、云端与混合模型。每种架构在存储容量、可访问性、可伸缩性与成本效率方面各有利弊，理解这些差异对将存储策略与 AI 目标对齐至关重要。
接着，我们讨论数据集成与互操作性。跨多源的无缝数据流能提升 AI 模型的准确性与效率，是 AI 项目的基石。我们还将讨论在实时应用中维护数据一致性与同步的方法，强调确保数据完整性并最小化延迟的技术。
安全与合规同样至关重要。本章涵盖加密技术、访问控制与法规合规，以保护敏感数据—在当今数据泄露与严格监管的环境中尤为必要。
成本管理也是一大重点。我们提供在性能与费用之间取得平衡的成本优化策略，保证 AI 计划的可持续性。并讨论负载均衡、策略性数据放置与缓存等性能优化技术，以提升系统效率。

结构

本章覆盖以下主题：

  • 面向 AI 的数据库类型
  • 分布式存储系统
  • 面向 AI 的数据湖与数据仓库
  • Delta Lake：湖仓架构的基石
  • 数据版本管理与血缘追踪
  • 元数据管理与编目
  • 分区与索引策略
  • 混合与多云存储解决方案

目标

在本章结束时，你将掌握面向 AI 工作负载的关键数据存储架构（包含本地、云端与混合模型）。你将学会评估并选择与 AI 目标及组织需求相匹配的最佳存储策略。
我们将研究数据集成与互操作性的复杂性，提供确保跨异构系统无缝数据流的最佳实践。重点之一是如何在实时 AI 应用中保持数据一致性与同步，配备你以能保证数据完整性并将延迟降到最低的技术手段。
在 AI 领域，安全与合规非常关键。你将探索高级加密方法与严格的访问控制来保护敏感数据，并学习应对监管框架以确保合规的策略。
成本管理也是重要议题，你将发现平衡支出与性能的策略。我们还将覆盖性能优化技术，包括负载均衡、策略性数据放置与缓存，以确保 AI 系统高效运行。
最后，我们将讨论供应商锁定的风险并提供保持灵活性与可移植性的策略，例如使用开放标准、API、容器化与编排工具。掌握这些目标后，你将能为可扩展、安全且高效的 AI 工作负载管理数据存储奠定坚实基础。

面向 AI 的数据库类型

在 AI 中，数据是驱动算法与模型的生命线。数据库系统的选择会显著影响 AI 工作负载的效率、可伸缩性与性能。本节探讨主要的数据库类型：关系型（Relational）、NoSQL 与 NewSQL，并检视它们的特性、优势及在各种 AI 应用中的适用性。

关系型数据库

关系型数据库数十年来一直是数据管理的基石。它们将数据组织为行列结构的表，使用结构化查询语言（SQL）进行操作。这类数据库以其 ACID 特性而著称，确保可靠的事务与数据完整性。

特性与优势：

  • 结构化数据：关系型数据库擅长处理具有预定义模式的结构化数据，适用于数据关系明确且一致的应用。
  • ACID 合规：保证数据完整性与可靠性，这对事务系统至关重要。
  • 成熟生态：拥有丰富工具、成熟的性能调优选项及广泛的社区支持。

对 AI 工作负载的适用性：
尽管关系型数据库对结构化数据表现优异，但在面对 AI 工作负载所需的可伸缩性与灵活性时存在挑战：

  • 可伸缩性：传统关系型数据库在水平扩展方面可能受限，而大规模 AI 应用常需水平扩展能力。
  • 灵活性：AI 常处理非结构化或半结构化数据（如文本、图像），这是关系型数据库并非针对优化的场景。

一些流行的关系型数据库包括：MySQL（开源、易用且可靠）、PostgreSQL（支持 JSON、XML 等高级特性，对半结构化数据更灵活）、Oracle Database（稳健且功能丰富，常见于企业环境）。

NoSQL 数据库

NoSQL 数据库为解决关系型数据库的可伸缩性与灵活性限制而出现，专为处理多种数据类型并优化分布式架构而设计。

特性与优势：

  • 无模式设计（Schema-less） ：允许灵活的数据模型，适应非结构化与半结构化数据。
  • 水平可伸缩性：通过将数据分布到多个节点实现横向扩展，适合大规模 AI 应用。
  • 多样的数据模型：包括文档存储、键值存储、列族存储与图数据库，各自针对不同数据类型与查询场景优化。

NoSQL 的类型：

  • 文档存储：如 MongoDB、Couchbase，用 JSON 类文档存储数据，适合层次结构数据，灵活易用。
  • 键值存储：如 Redis、DynamoDB，针对简单键值对存储优化，在特定用例下提供高性能。
  • 列族存储：如 Apache Cassandra、HBase，设计用于高写入吞吐量，常用于大数据场景。
  • 图数据库：如 Neo4j、Amazon Neptune，擅长存储与查询图结构，适用于复杂关系型应用。

对 AI 工作负载的适用性：
NoSQL 数据库因其可伸缩性与灵活性而非常适合 AI：

  • 支持多样数据类型：可轻松存储文本、图像与传感器数据等非结构化数据。
  • 可伸缩性：分布式特性允许处理 AI 常见的大数据量。
  • 性能：针对特定场景优化，提供高效的读写性能。

流行的 NoSQL 数据库包括：MongoDB（灵活且易用，广泛应用于 AI 与大数据）、Apache Cassandra（高可用且可伸缩，适合大规模 AI）、Neo4j（针对图数据优化，用于社交网络、推荐系统、欺诈检测等）。

NewSQL 数据库

NewSQL 旨在结合关系型与 NoSQL 的优点，在保持传统关系数据库 ACID 特性的同时提供 NoSQL 式的可伸缩性。

特性与优势：

  • 可伸缩性：设计为横向扩展，类似 NoSQL，但保持关系型的可靠性与一致性。
  • ACID 合规：保证数据完整性与可靠性，对需要事务支持的应用很关键。
  • SQL 接口：提供熟悉的 SQL 接口，便于开发者采用并与现有系统集成。

对 AI 工作负载的适用性：
NewSQL 特别适合那些既需要可伸缩性又需强一致性的 AI 场景：

  • 事务型 AI 应用：适用于需在处理大量数据同时确保数据完整性的应用，例如金融服务与医疗健康。
  • 混合负载：能够高效处理事务与分析混合的工作负载，对多样化 AI 用例具备通用性。

流行的 NewSQL 数据库包括：Google Spanner（全球分布式，强一致性与可伸缩性著称）、CockroachDB（横向可伸缩、强一致性，能承受数据中心故障）、VoltDB（针对高吞吐事务工作负载优化，常见于实时分析与 ML 应用）。

比较分析

为理解这三种数据库类型在 AI 全景中的定位，需基于 AI 工作负载相关的关键指标（可伸缩性、灵活性、数据完整性與性能）对它们进行比较。下表（表 3.1）总结了从 AI 工作负载角度看各数据库类型的差异：

指标关系型数据库NoSQL 数据库NewSQL 数据库
可伸缩性水平扩展受限设计为可横向扩展提供水平扩展并保持 ACID
灵活性适合结构化数据对多样数据类型高度灵活在灵活性与结构性之间取得平衡
数据完整性强 ACID 合规常为最终一致性（eventual consistency）强 ACID 合规
性能针对结构化数据与事务高效针对特定用例优化对事务与分析负载均有高性能
在 AI 场景中的总体匹配度适合小规模、结构化数据适合大规模、异构数据适合需一致性的混合型大规模负载

表 3.1：关系型、NoSQL 与 NewSQL 数据库比较

分布式存储系统

随着 AI 工作负载在复杂性和规模上不断增长，对健壮且可伸缩的存储解决方案的需求变得至关重要。分布式存储系统已成为现代 AI 数据架构的基石，能够将海量数据分散存储在多个节点上并进行管理。本节探讨关键的分布式存储系统，包括 Hadoop 分布式文件系统（HDFS）与对象存储解决方案，检视它们的特性、优势以及对 AI 应用的适用性。

分布式存储系统简介

分布式存储系统旨在将数据分布到多个物理或虚拟节点中，从而提供高可用性、容错性与可伸缩性。这类系统对经常处理超出单机容量的大型数据集的 AI 工作负载尤为重要。通过分布数据，这些系统可在硬件故障或网络问题发生时仍保证数据可访问与弹性。对于需要不间断访问海量训练、推理与实时分析数据的 AI 应用而言，这种架构至关重要。

Hadoop 分布式文件系统（HDFS）

HDFS 是 Apache Hadoop 生态系统中的核心组件，专为在分布式环境中存储与管理大规模数据集而设计。HDFS 将大文件切分为较小的数据块并分布到多个节点上，支持并行处理与高效的存储管理。该块存储机制通常配合数据副本（replication）使用，每个数据块通常会复制到三个不同节点上，从而保证容错性与高可用性，系统即便在部分节点故障时仍能继续工作。

图 3.1 显示了 HDFS 的基本架构：

image.png （Figure 3.1: Basic architecture of a HDFS）

HDFS 的可伸缩性是其最显著的优点之一。通过向集群添加更多节点即可轻松扩展，能够处理 PB 级别的数据。这种可伸缩性对需要处理与分析大规模数据集的 AI 应用非常有价值。例如，在机器学习流水线中，HDFS 可用于存储大量训练数据，便于高效的数据检索与处理。将 HDFS 与 MapReduce、Apache Hive、Apache Spark 等 Hadoop 组件集成，可进一步增强其在大数据与 AI 应用中的实用性，支持从数据摄取到模型训练与评估的无缝数据处理工作流。

HDFS 常被用作数据湖的底层存储层，用于存放来自不同来源的原始数据并进行处理。在这种场景下，HDFS 通常部署在 commodity 硬件上，提供一种成本效益高的存储方案。其成本效益、鲁棒性与可伸缩性使得 HDFS 成为需要大规模数据处理的 AI 应用的理想选择。

对象存储（Object storage）

对象存储是一种现代存储架构，将数据作为对象（object）来管理，而非传统的文件或块。对象存储系统中的每个对象包含实际数据、元数据以及唯一标识符，从而具备极好的可伸缩性与灵活性。该架构特别适合存放非结构化数据类型（如图像、视频与文本），这些数据在 AI 应用中非常常见。

对象存储的一个显著特点是其可伸缩性。对象存储系统可以通过添加更多节点实现横向扩展，能够处理艾字节（exabytes）级的数据。可伸缩性对于需要大量训练数据来训练复杂模型的 AI 应用至关重要。此外，对象存储的元数据丰富，使其具备高级数据管理与检索能力，帮助 AI 系统高效访问与处理所需数据。

公共云服务（例如 Amazon S3、Google Cloud Storage 与 Azure Blob Storage）提供高度可伸缩且耐久的对象存储解决方案，并具备全球可用性。这些服务为 AI 应用提供了稳健的基础设施，使不同区域间的数据存储与检索变得无缝。例如，需要海量图像用于图像识别的 AI 应用，可以将数百万张图片存放在云端对象存储中，以便高效访问与处理。

对象存储通常按访问频率与保留需求分层：

  • 热（Hot）存储：适用于频繁访问的数据，具有低延迟与高吞吐量；
  • 冷（Cold）存储：适用于不经常访问的数据，提供成本更低的长期存储；
  • 归档（Glacier 类）存储：针对极少访问且长期保留的数据，提供最低的每 TB 成本但访问延迟较高。

对于偏好在私有数据中心中保持对数据控制与合规性的组织，亦有本地部署的对象存储解决方案，比如 MinIO、Ceph 与 OpenStack Swift。这些本地方案提供类似的功能，允许组织在私有环境中部署对象存储以满足安全与合规要求。

对象存储常被用作数据湖的存储层，为存放原始数据提供可伸缩且具成本效益的方案。在机器学习与深度学习应用中，对象存储便于保存用于训练模型的大型数据集。例如，需要大量视频数据来训练深度学习模型的应用，可以利用对象存储高效管理这些大文件。

HDFS 与对象存储的比较

为了理解 HDFS 与对象存储在 AI 领域的适配性，需基于与 AI 工作负载相关的关键评估标准对两者进行比较。表 3.2 给出基于多个维度的比较：

指标HDFS对象存储
可伸缩性高，可通过增加节点进行扩展非常高，可横向扩展
灵活性针对大规模批处理优化高度灵活，支持多种数据类型
性能对批处理工作负载性能高对非结构化数据访问性能高
成本效率在通用硬件上成本效益高通常成本效益好，尤其在云端
适用场景数据湖、机器学习流水线非结构化数据存储、云原生 AI 应用、内容分发网络（CDN）

表 3.2：HDFS 与对象存储比较

像 HDFS 与对象存储这样的分布式存储系统是现代 AI 数据架构中的关键组成部分。HDFS 在处理大规模批处理工作负载方面表现出色，适合用于数据湖与 ML 流水线；而对象存储以其无与伦比的可伸缩性与灵活性，适合存储非结构化数据并支持各种云原生 AI 应用。理解每种系统的优势与局限，可帮助架构师为其 AI 工作负载设计健壮且可伸缩的存储解决方案。随着 AI 的发展，分布式存储系统在管理驱动创新与洞见所需的大规模数据方面将扮演越来越重要的角色。

数据湖与数据仓库（面向 AI）

在现代数据架构中，数据湖与数据仓库是两个基本组成部分，分别为特定功能而设计并针对不同类型的工作负载进行优化。近年来，数据湖仓（data lakehouse）概念出现，提供了一种混合方法，试图融合数据湖与数据仓库的优势。

数据湖

数据湖是一个集中式存储库，能够以原始格式存放海量的结构化、半结构化与非结构化数据。不同于传统数据库，数据湖以原始形式保存数据，从而提供更高的灵活性与可伸缩性。这种结构非常适合 AI 工作负载，常常需要大规模且多样化的数据集来用于模型训练、测试与验证等任务。

特征与优势

数据湖可以处理多种数据类型，例如来自数据库的结构化数据、半结构化数据（如 JSON 与 XML）以及非结构化数据（如图像、视频与文本）。这种多样性使组织能够将来自多源的数据集中管理，从而更便于处理与分析。
数据湖的一个关键优点是可伸缩性。数据湖通常建立在分布式存储系统之上，可以通过添加更多存储节点横向扩展，支持 PB 甚至 EB 级数据。这一特性对 AI 来说至关重要，因为训练复杂模型通常需要大量数据。此外，数据湖通常具备较低的存储成本——因为数据以原始形式保存，无需预先进行数据转换。采用“读时模式（schema-on-read）”允许数据科学家在需要分析时再定义数据结构，从而支持更具探索性的分析工作。

图 3.2 展示了典型数据湖的架构概览：

image.png （Figure 3.2: Data lake overview）

公共云中的对象存储（如 Amazon S3 与 Google Cloud Storage）常被用作数据湖，用于存放大量非结构化与半结构化数据，包括日志、媒体文件与用户交互数据。

在 AI 中的用例

数据湖是许多 AI 应用的基础层。在机器学习流水线中，原始数据可被摄取至数据湖并存储以供后续处理。数据科学家可访问这些原始数据做特征工程、模型训练与评估。
数据湖对物联网（IoT）应用也非常重要。IoT 设备会产生海量实时数据，数据湖提供了可伸缩且经济的存储方案。AI 模型可以分析这些数据以产出洞见，例如用于工业设备的预测性维护或实时交通管理的模型。

数据仓库

与数据湖相对，数据仓库专为结构化数据设计。数据仓库采用“写时模式（schema-on-write）”，即在将数据加载到仓库之前对数据进行组织与转换。此设计使其在复杂查询与分析任务上性能优化，因而数据仓库在商业智能（BI）场景中尤为有用。

特征与优势

数据仓库擅长处理以读取为主的工作负载与复杂查询，通过索引、分区与并行处理等技术提供快速响应时间，适合需要大规模聚合、筛选与联结操作的任务。
数据仓库的一大优势是能够保证数据一致性与可靠性。写时模式强制执行严格的数据质量标准，这对需要准确洞见以支持决策的 BI 与报表场景非常重要。
此外，数据仓库通常提供强大的安全与合规功能，例如访问控制与加密，适用于对数据保护要求严格的行业（如医疗与金融）。
Snowflake 是一种云端数据仓库解决方案的例子，用于存储与分析结构化数据，主要面向 BI 与数据分析；AWS Redshift 与 Google BigQuery 是其他常见的公有云数据仓库服务实例。

图 3.3 展示了典型数据仓库的架构概览：

image.png （Figure 3.3: A basic data warehouse architecture）

在 AI 中的用例

尽管数据仓库传统上与商业智能关联，但在 AI 中亦有重要应用。例如，数据仓库可以存储并分析历史数据，为 AI 模型提供有价值的上下文信息。预测分析等常见 AI 应用通常将来自数据仓库的历史数据与来自其它源的实时数据结合，以产生准确的洞见。
数据仓库对客户分析也非常关键。组织可以整合来自 CRM、事务型数据库与社交媒体的客户数据，创建详尽的客户画像，供 AI 模型识别趋势、进行客户分群并定制化营销活动。

数据湖仓（Data lakehouse）

数据湖仓是一种相对较新的架构思路，旨在将数据湖的灵活性与可伸缩性与数据仓库的性能与可靠性结合起来。它是一种统一架构，能够同时支持结构化与非结构化数据，非常适合 AI 工作负载。

特征与优势

数据湖仓保留了数据湖的多样性，允许组织在单一存储库中保存多种数据类型，从而减少数据孤岛并简化数据管理。该架构支持开放数据格式并提供 ACID 事务，确保跨各种工作负载的数据质量与一致性。
湖仓通过引入高级索引、缓存与查询优化来实现对复杂查询的高性能，这一点类似于传统数据仓库。对于需要实时数据处理的 AI 应用（例如实时决策），这种高性能非常重要。
在数据治理与安全方面，湖仓也表现优异，通常内置访问控制、加密与审计功能，这对处理个人或机密信息的 AI 应用尤为关键。
Databricks 的湖仓平台是将 BI 与 AI/ML 工作负载在单一存储层上处理的实例，AWS Lake Formation 则是另一个示例。

在 AI 中的用例

数据湖仓适用于多种 AI 场景，包括机器学习流水线：原始数据可先摄入湖仓并以原生格式存储，数据科学家随后可用于特征工程、训练与评估，同时受益于系统的可伸缩性与性能。
湖仓在实时分析与决策中也极具价值：通过将历史数据与实时流数据结合，组织可以即时生成洞见并做出决策，这在欺诈检测与个性化推荐等应用中尤为重要。

比较分析

表 3.3 简要总结了三种数据管理范式在数据类型、可伸缩性、性能、成本效率与典型用例方面的比较：

指标数据湖数据仓库数据湖仓
数据类型结构化、半结构化、非结构化仅结构化结构化、半结构化、非结构化
可伸缩性非常高，横向扩展高，但更为刚性非常高，横向扩展
性能对复杂查询一般对复杂查询高性能对复杂查询高性能
成本效率对多样数据类型成本效益高由于转换成本可能较高对多样数据类型成本效益高
用例AI 驱动分析、IoT商业智能、预测分析实时分析、AI 驱动决策

表 3.3：数据管理范式比较

数据湖、数据仓库与数据湖仓是支持 AI 的现代数据架构中的关键要素。数据湖提供了可伸缩性与灵活性，数据仓库则提供可靠性与高性能，而数据湖仓则融合二者的优势。理解这些范式的特性与适用场景，能够帮助架构师为其 AI 工作负载选择与设计最合适的数据管理方案。

Delta Lake：湖仓架构的基石

Delta Lake 是一个开源存储层，通过为数据湖增加可靠性与性能，使其能够支撑湖仓（lakehouse）范式。Delta Lake 构建在 Apache Spark 之上，提供统一的数据管理平台，解决了传统数据湖的若干局限，使其更适合用于 AI 与分析工作负载。

特性与优势

Delta Lake 引入了若干对湖仓范式至关重要的功能。其中最重要的之一是对 ACID 事务 的支持。通过提供事务性保证，Delta Lake 确保数据的可靠性与一致性，使组织能够在进行复杂的数据转换与分析时更加安心。
另一个显著特性是 Delta Lake 同时支持批处理与流处理数据。这一能力允许组织进行实时处理并实现持续的数据集成与分析。通过同时支持批与流，Delta Lake 使组织能够构建更灵活、响应更快的 AI 应用。
Delta Lake 还提供先进的数据管理功能，例如 模式强制（schema enforcement） 与 模式演进（schema evolution） 。模式强制确保数据遵循预定义模式，防止数据质量问题并保证一致性；模式演进允许组织在数据需求变化时修改模式，从而具备更高的灵活性与适应性。

在 AI 中的用例

Delta Lake 非常适合广泛的 AI 应用，并且是湖仓范式的核心支撑。例如，在 ML 流水线中，可将来自各类源的原始数据摄取到 Delta Lake 中，以其原生格式存储。数据科学家随后可以访问这些数据以做特征工程、模型训练与评估，借助 Delta Lake 的高性能与可伸缩性。
另一个常见用例是实时分析与实时决策。通过将历史数据与实时数据流相结合，Delta Lake 使组织能够生成即时洞见并做出实时决策。此能力对于诸如欺诈检测、预测性维护与个性化推荐等 AI 应用尤为重要。
通过提供支持结构化与非结构化数据的统一数据平台，Delta Lake 促进了湖仓范式的实现。该统一方法简化了数据管理，减少了多系统并存的需求。将各类来源的数据整合到单一存储库后，Delta Lake 使得数据管理与分析更为简便，为 AI 与分析提供更大的灵活性与多样性。

数据版本管理与血缘追踪

数据版本管理（data versioning）与血缘追踪（lineage tracking）是确保数据可靠性、可复现性与可问责性的关键实践。这些做法使数据科学家与工程师能够有效管理数据变更、追踪数据来源与转换，并保持清晰的数据使用历史。本节探讨数据版本管理与血缘追踪的概念、它们在 AI 领域的重要性以及实现方法。

数据版本管理

数据版本管理涉及随着时间创建并管理数据集的多个版本。类似于软件开发中的版本控制，数据版本管理允许数据科学家追踪变更、回退到以前的版本并更高效地协作。在 AI 场景中，数据版本管理对于维护用于训练、测试与验证模型的数据集完整性至关重要。

数据版本管理的重要性

  • 可复现性：在 AI 研发中，重现结果对于验证结论并建立对模型的信任非常关键。通过保留数据集版本历史，数据科学家可以重建模型训练、测试与评估时的精确条件。
  • 协作：在协作型 AI 项目中，多人可能同时在同一数据集上工作。版本化允许团队成员追踪变更、避免冲突并顺利合并更新，提高生产力并降低错误风险。
  • 治理与合规：组织往往需遵守要求跟踪与审计数据使用的监管条款。版本化提供了数据集变更的清晰记录，有助于证明符合数据治理标准。

数据版本管理在 AI 工作流中的益处：

  • 可复现性：可用特定版本的数据重建实验，确保结果一致。
  • 协作：团队成员可在不同数据版本上并行工作并在需要时合并变更。
  • 审计线索：版本化创建的数据变更历史对合规与调试很有价值。
  • 回滚能力：若发现数据问题，团队可以方便地回退到先前稳定版本。

在 AI 场景中的实现方式：

  • 版本控制系统：虽然传统用于代码，但类似 Git 的版本控制已被改造成用于数据版本管理。基于 Git 的解决方案（如 Data Version Control，DVC）允许团队将大型数据集与代码一并版本化。
  • 数据湖版本化：现代数据湖通常内置版本化功能。例如，Delta Lake 为 Apache Spark 与大数据工作负载带来了 ACID 事务，并提供 时光旅行（time travel）/数据版本回溯，便于可复现的 ML 实验。
  • 元数据管理：版本化通常伴随存储每个版本的元数据（如时间戳、变更内容与责任人）。这些元数据对理解数据集随时间的演变非常重要。

血缘追踪（Lineage tracking）

数据血缘追踪涉及捕获数据的完整生命周期，从来源到最终形式。血缘追踪提供了数据如何生成、转换与消费的全貌，使数据科学家能够追踪数据在各个处理与分析阶段的路径。在 AI 场景中，血缘追踪对保证数据质量、理解数据依赖关系并维护透明性至关重要。

血缘追踪的重要性

  • 保证数据质量：通过追踪血缘，数据科学家可以识别并在源头处解决数据质量问题。理解数据所经历的转换步骤有助于诊断问题并实施修正。
  • 增强透明性與问责性：理解数据如何影响模型输出在 AI 项目中非常重要。血缘追踪提供数据转换的清晰记录，使数据科学家能够解释与证明模型决策，这对建立 AI 系统信任与应对伦理问题至关重要。
  • 支持治理与合规：组织常需证明数据如何被使用与处理以满足监管要求。血缘追踪提供详尽的数据使用审计线索，帮助组织满足合规标准并规避法律与声誉风险。

在 AI 环境中的实现方式：

  • 工作流管理系统：如 Apache Airflow 或 Kubeflow 等工具在其工作流编排功能中包含血缘追踪能力。这些系统记录数据处理管道的每一步，创建数据流的可视化表示。
  • 数据目录（Data catalogs） ：现代数据目录不仅清点数据集，还跟踪其血缘。例如 Collibra、Alation 等工具提供详细的血缘信息，展示数据集如何被创建、转换与在组织中被使用。
  • 自动化血缘捕获：高级数据处理框架（如 Apache Spark、Apache Flink）提供内置的血缘追踪支持，捕获有关数据转换与处理步骤的元数据，使数据科学家能够追溯数据在分析各阶段的血缘。

血缘追踪的关键组成要素：

  • 数据来源：数据的起点，包括外部源或内部系统。
  • 转换：对数据施加的任何更改，如清洗、聚合或特征工程。
  • 依赖关系：不同数据集之间，或数据集与 AI 模型之间的关系。
  • 使用信息：数据如何以及在哪些地方被使用，包括用于哪些 ML 模型或分析流程。
  • 输出目的地：处理后数据或 AI 模型结果被存放或使用的位置。

在 AI 工作流中的集成

在实践中，数据版本管理与血缘追踪常被集成到更广泛的数据管理与 MLOps 流程中：

  • 特征库（Feature stores） ：现代特征库作为集中存储与服务 ML 特征的仓库，通常同时包含版本与血缘追踪功能。这种集成确保 AI 团队可以追踪特征的演变并理解其来源。
  • 模型注册表集成：数据版本与血缘信息常与模型注册表关联，允许团队了解某个模型版本是用哪些数据版本训练的，从而增强可复现性與审计能力。
  • 自动化管道：在成熟的 AI 工作流中，数据版本管理与血缘追踪作为 CI/CD 管道的一部分被自动化执行。该自动化确保每次数据转换与模型训练运行都被自动版本化并记录。

元数据管理与数据目录

元数据，通常被描述为“关于数据的数据”，提供了关键上下文，使数据科学家、工程师与分析师能够高效地理解、查找与使用数据。元数据管理与数据编目确保数据资产得到良好记录、可发现并受治理，构成稳健数据基础设施的支柱。本节探讨元数据管理与数据编目的重要性、它们在 AI 领域的作用以及实现方法。

在 AI 语境下理解元数据

元数据涵盖描述数据集特性、结构与上下文的广泛信息。在 AI 场景中，元数据还扩展为关于数据质量、血缘（lineage）以及在 ML 模型中使用情况的信息。有效的元数据管理有若干重要作用。首先，它提升数据可发现性。在大型组织拥有海量数据存储时，找到相关数据往往具有挑战性。元数据提供必要上下文，使数据资产能被快速定位与理解，让数据科学家与分析师把更多时间花在分析而非查找上。
其次，元数据管理支持数据治理与合规。组织常需遵守要求跟踪与审计数据使用的监管规定，元数据能记录数据血缘、转换与访问历史，帮助证明符合数据治理标准。
最后，元数据管理能改善数据质量与一致性。通过记录数据源、转换与使用场景，元数据有助于识别并解决数据质量问题，确保数据准确、一致且适合其预期用途，这对 AI 与分析应用尤为关键。

元数据的类型

元数据类型包括：

  • 技术元数据（Technical metadata） ：包含关于数据结构、数据格式、模式定义与存储位置的信息。在 AI 场景下，还涉及数据分布、特征编码与对数据集应用的预处理步骤等细节。
  • 业务元数据（Business metadata） ：提供关于数据集业务相关性的上下文，包括数据所有者、数据负责人（stewards）以及生成或消费该数据的业务流程。还包括诸如标题、作者与创建日期等内容信息。对于 AI 项目，这可能包括特定数据集的目标使用场景信息。
  • 运行元数据（Operational metadata） ：涵盖有关数据管道的信息，例如执行时间、数据新鲜度与质量指标。在 AI 工作流中，运行元数据可能扩展到模型训练运行与特征抽取过程的细节，也包括访问控制、所有权与版本管理等数据管理相关信息。
  • AI 专属元数据（AI-specific metadata） ：特有于 AI/ML 的元数据，例如模型版本、超参数、训练数据集与模型性能指标等。

AI 环境中的元数据管理

在 AI 环境中，有效的元数据管理意味着在数据生命周期内系统化地捕获、组织与维护元数据。该过程对确保数据可发现性、理解数据血缘与遵守数据治理策略至关重要。几个关键方面包括：

  • 自动化元数据抽取：在 AI 工作流中，许多元数据管理系统会与数据处理与模型训练管道集成以自动抽取元数据，例如记录数据转换、特征工程步骤与模型训练参数等信息。
  • 元数据标准与模式：采用标准化元数据模式有助于保证一致性与互操作性。针对 AI 项目，通常会在现有标准（如 Dublin Core 或 DCAT）基础上扩展，以包含 AI 专属的元数据元素。
  • 元数据仓库/目录：集中化的元数据仓库作为组织范围内元数据的单一事实来源（single source of truth）。这些仓库通常与多个数据源、数据湖与 AI 平台集成，以整体性地聚合与管理元数据。
  • 元数据治理：制定关于元数据创建、更新與删除的明确策略与流程十分必要，这包括在 AI 团队内定义元数据管理的角色与职责。

已出现若干工具与平台以应对 AI 场景下独特的元数据管理需求，例如：

  • Apache Atlas：一个开源的元数据管理与治理平台，为企业级数据治理提供可扩展且可扩展的基础，擅长捕获复杂的数据血缘并与大数据生态集成。
  • Collibra：商业化的数据智能平台，提供强大的元数据管理功能，在 AI 场景中适用于血缘分析、影响面分析与与 ML 工作流集成。
  • Alation：数据目录平台，具备强大的元数据管理功能，突出其基于 ML 的元数据发现方法与通过协作功能捕获“部落知识”（tribal knowledge）的能力，适合 AI 驱动的组织。

AI 中的数据目录编目

数据目录是组织数据资产的全面清单，为发现与探索提供可搜索界面。在 AI 场景中，数据目录对帮助数据科学家与 ML 工程师找到合适的数据集至关重要。数据编目涉及创建并维护集中化的元数据仓库（即数据目录），数据目录为用户提供可搜索界面，帮助发现、理解并访问数据资产，作为元数据的单一事实来源，从而促进数据管理與治理。

面向 AI 的数据目录关键特性

  • 语义搜索与发现（Semantic search and discovery） ：先进的数据目录利用自然语言处理与 ML 技术，支持基于语义的直观搜索能力，使 AI 从业者能够基于上下文与语义而非精确关键字匹配来查找相关数据集。
  • 数据集剖析（Dataset profiling） ：面向 AI 的数据目录通常包含自动剖析能力，能对数据集进行统计信息、数据质量指标与潜在问题的自动提取，帮助数据科学家迅速评估某数据集是否适合特定 AI 任务。
  • 协作与注释（Collaboration and annotation） ：现代数据目录常提供协作标记、评级与评论功能。这种社交化要素在 AI 环境中特别有价值，因为关于数据集质量与可用性的见解会显著影响模型开发。
  • 与 AI/ML 平台集成：AI 场景中的数据目录通常能与常用的 ML 平台与笔记本环境集成，使数据科学家能直接在其开发环境中发现并访问数据集。

在 AI 工作流中实现数据目录

数据目录在 AI 环境中的实现通常包括若干关键阶段：

  • 数据发现与索引：自动化流程扫描各类数据源（包括数据湖、数据库与文件系统）以发现并索引数据集，该过程通常包含抽取模式信息与生成数据剖析报告。
  • 元数据增强：在索引阶段抽取的初始元数据通常会通过自动化流程或人工策划进行增强。在 AI 场景下，这可能包括为数据集打上与 ML 任务相关的标签或记录其在成功模型中的使用情况。
  • 访问控制集成：数据目录需与现有访问控制系统集成，确保用户仅能发现与访问其有权限的数据集。这在涉及敏感或受监管数据的 AI 项目中尤为重要。
  • 使用追踪：面向 AI 的高级数据目录通常包含追踪数据集在各项目与模型中的使用情况的功能，该信息有助于理解不同数据集在组织内的影响力與重要性。

数据目录与 AI 工作流的集成示例

  • Jupyter Notebook 集成：许多元数据管理工具（如 Alation、Collibra）提供 Jupyter Notebook 的插件或扩展，允许数据科学家在笔记本中搜索数据集、查看元数据，甚至直接加载数据。
  • MLflow 集成：某些目录解决方案可与 MLflow 集成（ML 生命周期管理平台）。例如，Databricks Unity Catalog 可用于管理并版本化在 MLflow 中跟踪的模型，从而提供数据与模型血缘的综合视图。
  • 自动化数据剖析：像 Informatica Enterprise Data Catalog 与 AWS Glue Data Catalog 之类的工具提供自动化数据剖析能力，能自动生成数据集的统计与质量指标，这对 AI 从业者评估数据集是否适合特定 ML 任务非常有帮助。

分区与索引策略

由于 AI 工作负载通常涉及海量数据集，优化数据存储与检索变得至关重要。分区与索引是两种能显著提升数据处理性能的关键技术。这些策略确保数据以尽量降低延迟、最大化吞吐的方式进行组织与访问。本节介绍数据分区与索引的概念、它们在 AI 工作负载中的重要性，以及有效实现的方法。

数据分区

数据分区是将大型数据集划分为更小、更易管理的片段或分区的过程。每个分区单独存储，便于并行处理并提高数据检索效率。在 AI 场景中，数据分区对于处理用于训练、测试与部署 ML 模型的大规模数据集尤为必要。

数据分区带来多个对 AI 工作负载特别有价值的好处。首先，它能提升查询性能。通过根据时间、地理或类别值等标准将数据划分为分区，查询可以定向到特定分区，而不是扫描整个数据集，从而减少查询延迟并提高性能。其次，分区增强了并行处理能力。在 Hadoop 或 Apache Spark 等分布式计算环境中，分区允许多个节点同时处理不同分区，这种并行性能加速数据处理任务，使得高效处理大规模 AI 工作负载成为可能。第三，分区便于数据管理与维护。将数据按分区组织可以更容易执行数据生命周期操作（如归档、清理与更新）。例如，可以将旧的分区归档或删除而不影响其余数据集，从而实现高效的存储管理。

AI 环境中的数据分区形式

  • 水平分区（Horizontal partitioning / Sharding）
    水平分区在分布式系统中通常称为分片（sharding），是 AI 数据架构中常见的策略，按行或文档基于分区键进行划分。它在以下场景中尤为有用：

    • 并行模型训练：将分区分布到多个节点，使数据科学家能够并行训练模型，大幅缩短大数据集的训练时间。
    • 高效交叉验证：分区可以自然作为交叉验证的折（fold），提高模型评估效率。
    • 可扩展推理：对于提供实时预测的 AI 系统，水平分区使推理请求可以分发到多个节点，改善响应时间与系统可伸缩性。

  • 垂直分区（Vertical partitioning）
    垂直分区按列或特征划分数据，尽管在 AI 负载中不如水平分区常见，但在某些场景下有用：

    • 基于特征的处理：将相关特征分组可以让特征工程或特征选择更高效。
    • 隐私保护型 AI：在某些特征敏感的场景，垂直分区有助于通过隔离敏感数据来实现隐私保护的 ML 技术。

  • 基于时间的分区（Time-based partitioning）
    对于处理时间序列或需要历史分析的 AI 系统：

    • 高效的时间窗口处理：按时间间隔（如按日、按月）分区能显著加速基于时间的查询与分析，这在预测或异常检测等 AI 应用中很常见。
    • 模型版本管理：时间分区可自然对应模型版本，便于管理模型生命周期与用于训练的数据集版本。

索引策略

索引是为加速数据检索而创建的数据结构。索引像是一张路线图，使系统无需扫描整表即可快速定位所需数据。在 AI 负载中，索引对优化查询性能与保证高效数据访问至关重要。

索引带来的几个核心好处包括：首先大幅提升查询性能。索引为查询提供捷径，减少执行查询所需的时间与资源；这对需要实时数据访问与分析的 AI 应用尤为重要。其次提升数据检索效率。在海量数据集中，查找特定记录可能非常耗时，索引提供结构化方式以快速定位数据，保证 AI 模型无延迟地获取所需数据。第三，索引支持复杂查询。在 AI 工作负载中，查询常涉及过滤、排序与聚合操作，索引使这些复杂操作能高效执行，从而确保 AI 模型获得准确且及时的结果。

适用于 AI 负载的常见索引策略

  • B 树 / B+ 树索引（B-tree / B+ tree） ：传统且仍然广泛使用的索引结构，适用于精确匹配查询与范围查询。常用于快速检索特定训练样本或特征值，以及根据特征值范围进行过滤，这是数据预处理与分析中的常见操作。
  • 位图索引（Bitmap indexes） ：在涉及特征选择或多维离散特征过滤的 AI 场景中非常高效，有助于基于若干类别特征快速筛选相关记录。
  • 倒排索引（Inverted indexes） ：对处理文本数据（如 NLP）非常重要，允许快速查找包含特定词项或短语的文档，是文本检索与信息检索系统的核心。
  • 空间索引（Spatial indexes） ：针对地理或多维数据的 AI 应用（如地理空间 AI、推荐系统、自动驾驶）用于高效查询位置相关数据；同时也用于相似性搜索与高维最近邻（nearest neighbor）检索，这是许多 ML 算法的基础。

实施分区与索引

将分区与索引结合使用能最大化性能收益。例如，可按日期对数据进行分区以优化时间序列查询，并为每个分区建立索引以实现快速检索。这种组合方法可确保查询先被定向到相关分区，再借助索引高效执行。实现这些策略通常借助下列专用工具与框架：

  • 分布式存储系统：例如 HDFS（在大数据 AI 流程中常作底层存储）通过块存储机制实现分区；Apache Cassandra 提供灵活的分区策略并支持多种索引类型，适合需要高写入吞吐的 AI 场景。

  • 面向 AI 优化的数据格式：

    • Apache Parquet：一种列式存储格式，内建对分区的良好支持，因其压缩与查询性能常用于 AI 数据管道。
    • Delta Lake：构建于 Parquet 之上，增加了 ACID 事务与时光旅行（time travel），并为 AI 工作负载提供优化的布局与索引支持。

  • 专用 AI 数据存储解决方案：

    • NVIDIA RAPIDS cuDF：面向 GPU 加速的 AI 流程，cuDF 提供基于 GPU 的分区与索引能力，大幅加速数据操作。
    • Feast（特征库） ：实现了为 ML 特征设计的高效索引与检索机制，支持在线与离线两类用例。

注意事项与最佳实践

在为 AI 工作负载实施分区与索引策略时，应考虑以下因素：

  • 工作负载特性：分区与索引的选择应与 AI 工作流的访问模式相匹配（例如用于模型训练的批处理与用于在线推理的实时访问）。
  • 数据倾斜（Data skew） ：慎重选择分区键以避免数据倾斜，这会导致热点节点并降低分布式系统性能。
  • 索引维护开销：索引虽能加速查询，但也带来维护成本，特别是在写密集型管道中需权衡利弊。
  • 自适应策略：随着 AI 工作负载随时间演进，考虑引入自适应分区与索引策略，根据变化的查询模式与数据分布自动调整。

注：上述原则的细节超出本书范围，但它们是非常重要的数据工程实践，强烈建议深入掌握这些最佳实践。

混合与多云存储解决方案

随着 AI 对大规模计算能力与海量数据存储的需求不断增长，组织越来越倾向于采用混合与多云存储解决方案。这些方案为先进的 AI 应用提供所需的灵活性、可伸缩性与弹性。本节探讨在 AI 场景中如何实现与利用混合云与多云存储解决方案。

混合云存储

混合云存储将本地（on-premises）存储基础设施与公有云服务结合，构建统一的存储环境。这种方法整合了私有云与公有云的优势，在控制、安全与可伸缩性之间取得平衡。

混合云存储的重要性体现在多个方面。首先，它提供灵活性。组织可以将敏感或关键数据保存在本地以获得更高的控制与安全性，同时将不那么敏感的数据放到公有云以利用云存储的可伸缩性与成本效益。其次，混合云存储提高了数据可用性与弹性。将数据分布在本地与云端环境中，可以保证在某个环境发生故障时数据仍可访问，这种冗余对维持 AI 工作负载的连续性至关重要。第三，混合云存储支持数据本地化与合规要求。某些组织需遵守将特定数据存放在特定地理区域的法规，混合云存储允许在本地保留数据以满足法规，同时仍能利用云的可伸缩性。

实现混合云存储的方法

混合云通常将本地基础设施与公有云服务组合。在 AI 工作流中，这可能包括：

  • 本地数据湖 + 云端计算：将敏感训练数据保存在本地，同时利用云资源进行计算密集型的模型训练。
  • 边缘 AI + 云端备份：在边缘（本地）部署 AI 模型以实现低延迟推理，并使用云端进行数据汇聚与模型更新。

常见方法包括：

  • 云存储网关：作为本地存储与云存储间的桥梁，提供无缝访问云存储，使组织能在不破坏现有工作流的情况下在环境间迁移数据。
  • 混合云平台：例如 Microsoft Azure Stack 或 Google Anthos 等平台，提供跨本地与云环境一致的存储环境，便于统一管理数据。

多云存储

多云存储指使用多个云提供商的服务，形成多元化的存储环境。此方法利用不同云厂商各自的优势，提供更高的灵活性、弹性与性能。

多云存储的关键价值包括：首先，防止供应商锁定（vendor lock-in）。通过跨多个云提供商使用存储服务，组织可降低对单一提供商的依赖，减少服务中断风险并在谈判合同时拥有更大议价空间。其次，提高弹性与可用性：将数据分布在多个云提供商，可保证即使某一提供商发生故障，数据仍然可用。第三，优化性能与成本：不同云提供商在性能特征与定价上各有差异，利用多云可针对特定工作负载选择最优存储与成本选项。此外，多云策略也便于满足数据主权（data sovereignty）合规，通过在特定地理区域存储与处理数据来符合法规要求。

实现多云存储的方法

实现多云存储通常需将多个云提供商的存储服务整合成统一环境：

  • 多云管理平台：例如 HashiCorp Terraform、CloudBolt 等，提供跨云的统一接口来管理存储资源，便于编排与自动化存储工作流。
  • 存储抽象层/云无关服务：例如 NetApp Cloud Volumes、IBM Cloud Satellite 等，提供跨不同云提供商的一致存储接口，支持数据复制、迁移与同步，保证数据在各环境间可用且一致。

在实践中实施混合与多云存储

在 AI 场景中实施混合/多云存储通常涉及若干关键策略：

数据分层与生命周期管理

在混合/多云环境中实施智能数据分层对于在成本与性能间取得平衡至关重要：

  • 热数据放在高性能存储：将频繁访问的训练数据或特征放在高性能、低延迟的存储（无论本地或云端）。
  • 冷数据放在低成本云存储：将历史或不常用数据迁移到成本更低的云存储层，例如 Amazon S3 Glacier 或 Azure Archive Storage。

图 3.4 展示了基于使用频率与访问需求将数据放在不同存储层的策略：
（Figure 3.4: Three tiers of storage）

数据复制与同步

在混合与多云环境中确保数据一致性对 AI 工作流至关重要：

  • 异步复制：在本地与云存储之间实现异步数据复制以保持关键数据的最新副本。写操作先在主存储（例如本地）完成确认，然后后台将数据复制到次级存储（例如云端）。可使用如 AWS DataSync、Azure File Sync 等云产品，或 PostgreSQL 的逻辑复制等数据库级工具来实现异步复制。
  • 多区域同步：对于全球化 AI 业务，在多个云区域间同步数据以确保低延迟访问并满足数据主权需求。
  • Active-active 与 Active-passive 复制模型：Active-active 允许在所有区域读写并同步变更；Active-passive 则在一主区域写入，其他区域为只读副本。
  • 一致性模型：从最终一致性（eventual consistency，变更异步传播允许短暂不一致）到强一致性（strong consistency，保证所有区域始终相同但可能牺牲延迟）均可选择。许多云数据库（如 Amazon Aurora Global Database、Azure Cosmos DB）以及 PostgreSQL、MongoDB 等数据库提供多区域同步/复制功能。

云无关的 AI 平台

云无关（cloud-agnostic）的 AI 平台可在多个云环境间运行而不依赖单一提供商，提供一致的开发与部署体验，使组织可在任意云或本地环境上运行 AI 工作负载。若抽象底层云基础设施，便可按需选择最适合的存储与计算资源。示例包括：

  • Kubeflow / Kubernetes（AI 编排） ：Kubeflow 使在 Kubernetes 上部署、扩展与管理 ML 工作流变得便捷与可移植，可在任意 Kubernetes 集群上运行。
  • Databricks 统一分析平台：作为云无关的平台，Databricks 基于 Apache Spark 支持多个云提供商，便于跨环境运行 AI 工作负载。
  • H2O.ai：开源 AI 平台，提供构建、部署与管理 AI 应用的工具，可在任意云或本地环境运行。
  • Apache Airflow：用于编排复杂工作流与数据管道的开源平台，云无关，支持在任意云或本地环境运行 AI 工作流。

后续章节将从 AI 架构视角详细讨论这些工具的使用与实现。

挑战与注意事项

实现混合与多云存储解决方案需要应对复杂的挑战与实施考虑，关键点包括：

  • 数据集成：在不同存储系统与云提供商间实现无缝互操作性至关重要。异构数据源整合可能导致数据孤岛并增加管理复杂性。建议使用支持多云与本地系统的数据集成平台与中间件，并标准化数据格式与协议以便顺利交换数据。
  • 数据一致性与同步：在多环境间确保数据一致性复杂且可能遇到延迟问题。实时同步资源消耗大且技术上具有挑战性。应根据需求选择分布式数据库与复制策略；在合适场景采用最终一致性模型并实现冲突解决机制。
  • 安全与合规：需采用强加密与严格访问控制来保护敏感数据，并遵守不同司法辖区的法规。推荐采用零信任（Zero Trust）安全模型、对静态与传输中的数据实施强加密，并启用多因素认证（MFA）。定期审计合规性（如 GDPR、HIPAA 等）至关重要。
  • 成本管理：平衡本地基础设施成本与云的弹性定价需要精细规划。隐性成本（如数据传输费用与存储溢出）会增加预算复杂性。使用成本管理工具与云成本计算器进行准确预测，并实现自动扩缩与资源优化策略以避免过度配置并降低不必要开支。
  • 性能优化：需通过复杂的负载均衡与策略性数据放置来最小化延迟并最大化吞吐。跨混合与多云环境进行性能调优可能复杂且耗时。使用 CDN 与边缘计算以降低延迟，持续使用性能监控工具跟踪并优化负载分布，实施缓存策略以提升访问速度。
  • 供应商锁定风险：依赖单一提供商会降低灵活性并使未来迁移困难。建议采用开放标准与 API 以保证可移植性，使用容器化与编排工具（如 Kubernetes）抽象工作负载，定期审视并测试迁移计划以保证可迁移性准备就绪。

结论

本章探讨了面向 AI 工作负载的数据存储与管理的复杂领域。我们首先考察了本地、云端与混合存储架构，帮助你选择最适合 AI 计划的策略；随后讨论了数据集成与互操作性的挑战并提供最佳实践以确保跨异构系统的无缝数据流。我们还聚焦于实时 AI 应用中的数据一致性与同步问题，提供确保数据完整性与最小化延迟的技术手段。同时强调了通过高级加密与严格访问控制等稳健安全措施以保护敏感数据的重要性，并论述了合规治理的复杂性。成本管理策略帮助你在不牺牲性能的前提下平衡开支；性能优化技术（如负载均衡、策略性数据放置与缓存）能确保 AI 系统高效运行。最后，我们讨论了供应商锁定风险，并提供了通过开放标准、API、容器化与编排工具保持灵活性與可移植性的策略。

在下一章中，我们将聚焦于 AI 模型的数据预处理与特征工程关键点。我们将从数据质量与有效清洗、预处理原始数据的技术开始，讲解特征提取方法与如何选择最相关特征以提升模型性能。还将覆盖高级主题，如降维、处理不平衡数据集以及使用自动化特征工程工具。到下一章结束时，你将具备将原始数据转化为高质量数据集以提升 AI 模型准确性与效率的能力。

avatar
文章
阅读
粉丝