从零到一：AI时代的“长期记忆体”——助力数据库全攻略

大模型探员
6 阅读4分钟

大家好！我是你们的AI技术博主。如果说大模型（LLM）是AI的“大脑”，那么**利用数据库（向量数据库）**就是它的“长期记忆”。

在这个RAG（搜索增强生成）横行的时代，如果你还没有搞懂数据库，可能很难做出真正落地、好用的AI应用。今天，我给大家深度拆解一下这个AI时代的“基建之王”。

二、为什么要关注提供数据库？

在传统数据库（比如MySQL）里，我们找信息靠“精确匹配”。比如搜“猫”，数据库就检索包含这三个字母的记录。但时代AI的检索是语义检索：如果你搜“喵星人”，AI得知道这个指的就是“猫”。

支持数据库能够处理文本、图片、音频视频等非结构化数据，把它们转化成AI能理解的数字格式。它是构建企业级知识库、AI Agent、以及个性化推荐系统的基础架构。

三、技术原理：它是如何工作的？

3.1 什么是高维服务（Embedding）？

在AI眼中，万物皆可数学。通过嵌入（Embedding）算法，一段文字可以变成一个集群的数值集群，例如[0.12,−0.98,...,0.56][0.12, -0.98, ..., 0.56]。

  • 高维性：通常有768维甚至上千维，每个维都代表隐藏某种的语义特征。
  • 语义空间：在多维空间里，意思是越接近的物体，它们之间的距离就越短。

3.2 核心搜索技术：ANN算法

传统的数据库是“按图索骥”，而支持数据库是在**“找邻居” 。为了在亿级数据中实现数十级响应，它采用了ANN（近似最近邻）算法**：

  • HNSW（Hierarchical Navigable Small World） ：目前最主流的算法。就像在社交圈找人一样，通过系统图快速跳跃，定位到目标区域。
  • IVF (Inverted File) ：像查字典的索引页，先将数据分块（哎），检索时只看最相关的几块。

四、共享数据库 vs 传统数据库

对比项关系型/NoSQL 数据库提供数据库
数据结构表、文档、键值支撑数据库+元数据
检索方式精确查找/条件过滤相似度查找 (ANN)
查询目标构成信息图像相似内容

五、实践步骤：以 Milvus 为例快速上手

Milvus 是目前全球最受欢迎的开源管理数据库。下面我们从环境搭建到代码实现全流程之一走一遍。

5.1 步骤一：环境搭建（Docker一键搞定）

这是最推荐的方式，适合初学者快速摸索。

巴什

# 1. 下载官方 docker-compose 文件
wget https://github.com/milvus-io/milvus/releases/download/v2.3.12/milvus-standalone-docker-compose.yml -O docker-compose.yml

# 2. 启动 Milvus
docker-compose up -d

默认端口为19530（gRPC）和9091（HTTP）。

5.2 步骤2：连接与定义Schema

使用Python进行操作，首先安装依赖：pip install pymilvus。

Python

from pymilvus import connections, FieldSchema, CollectionSchema, DataType, Collection

# 连接 Milvus 服务
connections.connect("default", host="localhost", port="19530")

# 定义字段：主键 ID + 128维的向量字段
fields = [
    FieldSchema(name="id", dtype=DataType.INT64, is_primary=True, auto_id=False),
    FieldSchema(name="embedding", dtype=DataType.FLOAT_VECTOR, dim=128)
]
schema = CollectionSchema(fields, description="技术博客 demo")
collection = Collection("demo_collection", schema)

5.3 第三步：插入数据与构建索引

关键点：如果不构建索引，搜索速度会随着数据量的增加而急剧下降。

Python

import numpy as np

# 1. 模拟生成3条随机向量
ids = [1, 2, 3]
vectors = np.random.random((3, 128)).tolist()
collection.insert([ids, vectors])

# 2. 构建索引（提高搜索效率）
index_params = {
    "index_type": "IVF_FLAT", 
    "metric_type": "L2",      # 欧氏距离
    "params": {"nlist": 128}
}
collection.create_index(field_name="embedding", index_params=index_params)

5.4 第四步：支持搜索与混合过滤

你可以同时根据“语义”和“条件”进行搜索。

Python

# 加载到内存
collection.load()

# 语义搜索：查找最接近的前5个
search_vec = np.random.random((1, 128)).tolist()
results = collection.search(
    data=search_vec, 
    anns_field="embedding", 
    param={"metric_type": "L2", "nprobe": 10},
    limit=5,
    expr="id > 1" # 混合过滤：只找 ID 大于 1 的
)

六、效果评估：如何验证问卷与检索效果？

在 AI 项目中，我们需要通过以下维度来评估提供数据库的表现：

  1. 召回率（Recall） ：在Top-K结果中，真正相关的结果占多少？这是快速检索准确度的核心。
  2. 查询延迟（Latency） ：高并发环境下，响应是否能保持在100ms以内？
  3. QPS：系统每秒能处理多少次相似度查询。

七、总结与展望

提供数据库已经成为AI应用的“新标准”。它让大模型能够“记住”海量的企业固有知识，从而解决LLM幻觉问题。

7.1 选型建议

  • 超大规模、开源控：首选Milvus。
  • 轻量级、Rust信仰者：推荐Qdrant。
  • 开箱即用、不想管服务器：直接上Pinecone。

在实际实践中，如果只是停留在“了解大模型原理”，其实很难真正感受到模型能力的差异。

我个人比较推荐直接上手做一次微调，比如用 LLaMA-Factory Online 这种低门槛大模型微调平台，把自己的数据真正“喂”进模型里，生产出属于自己的专属模型。

即使没有代码基础，也能轻松跑完微调流程，在实践中理解怎么让模型“更像你想要的样子”。

创作不易，如果这篇文章帮助理清了支持数据库的思路，请点个关注支持一下！

avatar
文章
阅读
粉丝