PySpark学习笔记1：数据转换

如果你想根据一个字典中的规则，将 DataFrame 中的一列数据转换为指定的格式，可以使用 PySpark 中的 when 和 otherwise 方法结合 withColumn 方法来实现条件转换。以下是一个示例：

from pyspark.sql import SparkSession
from pyspark.sql.functions import when

# 创建 SparkSession
spark = SparkSession.builder.appName("example").getOrCreate()

# 创建一个示例 DataFrame
data = [(1000, ), (1500, ), (2000, ), (2500, )]
columns = ['value']
df = spark.createDataFrame(data, columns)

# 定义规则字典
rules = {range(1000, 2000): '1000~2000', range(2000, 3000): '2000~3000'}

# 创建转换规则
conversion_rule = when(
    *[when(df['value'].between(*key), value) for key, value in rules.items()]
).otherwise('Unknown')

# 将规则应用到 DataFrame
result_df = df.withColumn('formatted_value', conversion_rule)

# 显示结果
result_df.show()

在这个示例中，conversion_rule 是一个 PySpark 的条件表达式，它根据规则字典中的范围进行条件判断，然后应用到 DataFrame 中的 'value' 列。最终的结果将 'value' 列的数据根据规则转换为指定格式，新的列名为 'formatted_value'。你可以根据实际情况调整字典和规则。