这个问题普遍出现在python3中,在python3中有一个内置模块叫ctypes,用于连接调用linux的共享库,但是由于centos7中缺少安装外部函数库的开发链接库软件包(libffi)所以需要使用到的地方就会报错。
网上的绝大部分教程都是教学在python环境安装的时候报错如何解决,但是就我个人而言(centos7+python3.9.7)在安装的时候并不会报错,但是我还是根据网上的教程通过yum install libffi-devel安装相关拓展模块,问题解决了吗?解决了,但是没有完全解决,能解决,只能解决一点点。具体体现就是通过bin/pyspark直接执行示例正常,bin/pyspark --master yarn这么操作示例还是照常出现上图错误。
最后经过几天的查找发现了问题所在,我只在作为master的主节点执行了yum命令而hadoop中设置的作为计算节点的salve1并没有,甚至连python环境都没有安装,这也难怪了在单点模式下一切正常,集群下即使到anaconda创建的虚拟环境执行都依然存在问题。也是记录下一个困扰了自己好几天的很蠢的问题。