Data Lake

AWS Glue ETL job 处理 异常时间数据，You may get a different result due to the upgrading to Spark >= 3.0:readi

Glue ETL JOB是AWS 推出的无服务的数据发现，清洗，移动的工具，在上面可以很轻松的建立spark环境，实现大数据的清洗，分析和机器学习的工具，在AWS 数据湖的的建构图中，glue job

本节来学习pyspark.sql.functions中的pandas_udf函数，使用装饰器@pandas_ud来实现，包含了它支持的三种函数格式