Python 中高效合并两个数据集

有一组用户和交易数据，需要将它们合并为一组包含用户和激活码的数据。数据量较大（100K+），需要找到一种高效的方法来进行合并。

2. 解决方案

有几个可行的解决方案：

• 使用 Python 字典实现查找表： 可以将交易数据集转换为一个 Python 字典，其中交易号作为键，激活码作为值。然后，遍历用户数据集，对每个用户，在字典中查找对应的激活码并将其添加到用户数据中。这种方法的好处在于，它不需要对数据进行排序，也不需要创建新的数据结构。但是，它可能会导致较长的查找时间，特别是当交易数据集非常大的时候。

代码示例：

import csv

# 读取交易数据集并将其转换为字典
with open('transactions.csv', 'rb') as f:
    reader = csv.DictReader(f)
    transactions = {row['transaction']: row['activation'] for row in reader}

# 读取用户数据集并添加激活码
with open('users.csv', 'rb') as f:
    reader = csv.DictReader(f)
    with open('users_with_activation.csv', 'wb') as g:
        writer = csv.DictWriter(g, ['user', 'activation'])
        writer.writeheader()
        for row in reader:
            row['activation'] = transactions.get(row['transaction'])
            writer.writerow(row)

• 对数据进行排序并使用二分查找： 为了提高查找速度，可以对两个数据集都按照交易号进行排序，然后使用二分查找来查找相应的激活码。这种方法的好处在于，它可以在 O(log n) 的时间复杂度内找到激活码，即使交易数据集非常大。但是，它需要对数据进行排序，这可能会导致较长的预处理时间。

代码示例：

import csv

# 对交易数据集进行排序
with open('transactions.csv', 'rb') as f:
    reader = csv.DictReader(f)
    transactions = sorted(reader, key=lambda row: row['transaction'])

# 对用户数据集进行排序
with open('users.csv', 'rb') as f:
    reader = csv.DictReader(f)
    users = sorted(reader, key=lambda row: row['transaction'])

# 合并两个数据集
with open('users_with_activation.csv', 'wb') as g:
    writer = csv.DictWriter(g, ['user', 'activation'])
    writer.writeheader()

    i = 0  # Index for the transactions list
    for user in users:
        # Find the corresponding transaction using binary search
        j = bisect.bisect_left(transactions, user['transaction'])
        if j < len(transactions) and transactions[j]['transaction'] == user['transaction']:
            user['activation'] = transactions[j]['activation']
        else:
            user['activation'] = None

        writer.writerow(user)

• 使用 pandas 进行合并： pandas 是一个强大的 Python 数据分析库，可以轻松地处理大型数据集。可以使用 pandas 的 merge() 函数来合并两个数据集，它支持多种合并方式，包括按列合并、按索引合并等。这种方法的好处在于，它可以轻松地处理不同格式的数据，并且可以方便地进行数据清洗和转换。

代码示例：

import pandas as pd

# 读取两个数据集
transactions = pd.read_csv('transactions.csv')
users = pd.read_csv('users.csv')

# 合并两个数据集
users_with_activation = pd.merge(users, transactions, on='transaction', how='left')

# 保存合并后的数据集
users_with_activation.to_csv('users_with_activation.csv', index=False)

根据具体的数据集和需求，可以选择最合适的方法来进行合并。