使用 MongoDB 的变更流（Change Streams）功能可以实时跟踪数据变化。这项功能允许你订阅 MongoDB 中的插入、更新、删除事件，并在这些事件发生时立即收到通知。下面是关于如何使用变更流跟踪数据变化的详细步骤和示例代码。
一、环境准备
- MongoDB 副本集：变更流依赖于 MongoDB 的副本集（replica set），因此你需要确保 MongoDB 以副本集模式运行。
- Node.js 环境：我们将使用 Node.js 和 MongoDB 官方驱动程序来实现这一功能。
二、安装 MongoDB 驱动
首先，确保你有一个 Node.js 项目，并安装 MongoDB 驱动：
npm install mongodb
三、连接到 MongoDB
使用 MongoDB 驱动程序连接到你的 MongoDB 副本集：
const { MongoClient } = require('mongodb');
const uri = 'mongodb://localhost:27017';
const client = new MongoClient(uri, { useNewUrlParser: true, useUnifiedTopology: true });
async function run() {
try {
await client.connect();
console.log('Connected to MongoDB');
const database = client.db('mydatabase');
const collection = database.collection('mycollection');
// 开始监听变更流
const changeStream = collection.watch();
changeStream.on('change', (change) => {
console.log('Change detected:', change);
});
// 插入测试数据
setInterval(() => {
collection.insertOne({ name: 'Test', timestamp: new Date() });
}, 5000); // 每隔5秒插入一条数据
} catch (err) {
console.error(err);
}
}
run().catch(console.dir);
四、详细解析变更流事件
变更流事件中包含的信息非常丰富，以下是对常见事件类型的详细解析：
1. 插入事件（insert）
当一个文档被插入时，会触发插入事件。你可以通过 fullDocument 字段访问插入的文档。
changeStream.on('change', (change) => {
if (change.operationType === 'insert') {
console.log('Document inserted:', change.fullDocument);
}
});
事件示例：
{
"operationType": "insert",
"fullDocument": {
"_id": "612b1f024a4f1e6b1c9c5b9f",
"name": "Test",
"timestamp": "2021-08-29T14:45:54.123Z"
},
"ns": {
"db": "mydatabase",
"coll": "mycollection"
},
"documentKey": {
"_id": "612b1f024a4f1e6b1c9c5b9f"
}
}
2. 更新事件（update）
当一个文档被更新时，会触发更新事件。updateDescription 字段包含了更新的详细信息。
changeStream.on('change', (change) => {
if (change.operationType === 'update') {
console.log('Document updated:', change.updateDescription);
}
});
事件示例：
{
"operationType": "update",
"updateDescription": {
"updatedFields": {
"name": "Updated Test"
},
"removedFields": []
},
"ns": {
"db": "mydatabase",
"coll": "mycollection"
},
"documentKey": {
"_id": "612b1f024a4f1e6b1c9c5b9f"
}
}
3. 删除事件（delete）
当一个文档被删除时，会触发删除事件。documentKey 字段包含被删除文档的 _id。
changeStream.on('change', (change) => {
if (change.operationType === 'delete') {
console.log('Document deleted:', change.documentKey._id);
}
});
事件示例：
{
"operationType": "delete",
"ns": {
"db": "mydatabase",
"coll": "mycollection"
},
"documentKey": {
"_id": "612b1f024a4f1e6b1c9c5b9f"
}
}
五、过滤变更流事件
你可以使用管道（pipeline）来过滤变更流事件，只接收感兴趣的事件。例如，只接收插入事件：
const pipeline = [
{ $match: { operationType: 'insert' } }
];
const changeStream = collection.watch(pipeline);
changeStream.on('change', (change) => {
console.log('Change detected:', change);
});
六、变更流选项
变更流支持多种选项来更好地控制事件流：
- fullDocument：指定是否在更新事件中返回更新后的完整文档。
- resumeAfter：从特定的 resume token 开始恢复变更流。
- startAtOperationTime：从特定的操作时间开始监听变更流。
- startAfter：从特定的 resume token 之后开始监听变更流。
const changeStream = collection.watch([], { fullDocument: 'updateLookup' });
changeStream.on('change', (change) => {
console.log('Change detected:', change);
});
七、处理 Resume Token
Resume Token 是用于恢复变更流会话的标识符，当变更流中断时，可以使用 Resume Token 来继续监听之前的事件。
changeStream.on('change', (change) => {
console.log('Change detected:', change);
const resumeToken = change._id;
// 可以将 resumeToken 存储起来，以便在变更流中断时恢复
});
changeStream.on('error', (error) => {
console.error('Error in change stream:', error);
if (error.resumeToken) {
// 使用 resume token 恢复变更流
const resumedStream = collection.watch([], { resumeAfter: error.resumeToken });
resumedStream.on('change', (change) => {
console.log('Resumed change detected:', change);
});
}
});
八、错误处理
在使用变更流时，需要处理可能的错误和异常情况，比如网络中断、服务器宕机等。
changeStream.on('error', (error) => {
console.error('Error in change stream:', error);
});
changeStream.on('end', () => {
console.log('Change stream ended');
});
九、实际应用场景
- 实时通知系统：用户操作（如评论、点赞等）可以通过变更流实时通知客户端。
- 数据同步：在多个数据库实例之间同步数据变化。
- 审计日志：记录数据库操作日志，进行审计和监控。
- 缓存更新：在缓存系统中使用变更流实时更新缓存数据。
总结
通过变更流，MongoDB 为开发者提供了一种强大的工具，可以实时订阅数据库的变化。无论是构建实时应用、事件驱动系统，还是实现数据同步和审计日志，变更流都可以显著简化开发工作，提高系统的实时性和可靠性。上述示例和详细解析展示了如何使用变更流跟踪数据变化，在实际项目中，你可以根据需要进一步扩展和优化这些功能。
