「这是我参与2022首次更文挑战的第3天，活动详情查看：2022首次更文挑战」。
前言
Pandas处理庞大数据太没效率，建议你选择Polars。
让我们愉快地开始吧~
开发工具
Python版本： 3.6.4
相关模块：
PIL模块；
os模块；
以及一些Python自带的模块。
环境搭建
安装Python并添加到环境变量，pip安装需要的相关模块即可。
从创建数据到读取各种格式的文件(text、csv、json)，或者对数据进行切片和分割组合多个数据源，Pandas都能够很好的满足。
当然Pandas也是有不足之处的，比如不具备多处理器，处理较大的数据集速度很慢。
给大家介绍一个新兴的Python库——Polars。
使用语法和Pandas差不多，处理数据的速度却比Pandas快了不少。
Polars是通过Rust编写的一个库，Polars的内存模型是基于Apache Arrow。
Polars存在两种API，一种是Eager API，另一种则是Lazy API。
其中Eager API和Pandas的使用类似，语法差不太多，立即执行就能产生结果。
而Lazy API就像Spark，首先将查询转换为逻辑计划，然后对计划进行重组优化，以减少执行时间和内存使用。
安装Polars，使用百度pip源。
# 安装polars
pip install polars -i https://mirror.baidu.com/pypi/simple/
安装成功后，开始测试，比较Pandas和Polars处理数据的情况。
使用某网站注册用户的用户名数据进行分析，包含约2600万个用户名的CSV文件。
import pandas as pd
df = pd.read_csv('users.csv')
print(df)
数据情况如下
还使用了一个自己创建的CSV文件，用以数据整合测试
import pandas as pd
df = pd.read_csv('fake_user.csv')
print(df)
得到结果
比较一下两个库的排序算法耗时
import timeit
import pandas as pd
start = timeit.default_timer()
df = pd.read_csv('users.csv')
df.sort_values('n', ascending=False)
stop = timeit.default_timer()
print('Time: ', stop - start)
-------------------------
Time: 27.555776743218303
看到使用Pandas对数据进行排序，花费了大约28s
import timeit
import polars as pl
start = timeit.default_timer()
df = pl.read_csv('users.csv')
df.sort(by_column='n', reverse=True)
stop = timeit.default_timer()
print('Time: ', stop - start)
-----------------------
Time: 9.924110282212496
Polars只花费了约10s，这意味着Polars比Pandas快了2.7倍
我们来试试数据整合的效果，纵向连接
import timeit
import pandas as pd
start = timeit.default_timer()
df_users = pd.read_csv('users.csv')
df_fake = pd.read_csv('fake_user.csv')
df_users.append(df_fake, ignore_index=True)
stop = timeit.default_timer()
print('Time: ', stop - start)
------------------------
Time: 15.556222308427095
使用Pandas耗时15s
import timeit
import polars as pl
start = timeit.default_timer()
df_users = pl.read_csv('users.csv')
df_fake = pl.read_csv('fake_user.csv')
df_users.vstack(df_fake)
stop = timeit.default_timer()
print('Time: ', stop - start)
-----------------------
Time: 3.475433263927698
Polars居然最使用了约3.5s，这里Polars比Pandas快了4.5倍
本次使用到的数据详见主页获取
总结
Pandas目前历时12年，已经形成了很成熟的生态，支持很多其它的数据分析库
Polars则是一个较新的库，不足的地方还有很多
如果你的数据集对于Pandas来说太大，对于Spark来说太小，那么Polars便是你可以考虑的一个选择
