Spark on yarn 报错ModuleNotFoundError: No module named '_ctypes'

提示缺少_ctypes模块。

出现这个问题的第一时间就进行了百度，但是网上能够搜到的都是在安装python环境的时候就报错，通过

yum install libffi-devel

安装模块解决。但是我的问题出现在提交任务到yarn上，而只使用local启动的时候是不会出现这个问题的，同时使用上述命令也无法解决这个现象，我以为是yum命令存在问题，怀疑是没有成功安装上模块，于是我又在anaconda中执行了

conda install libffi

但是同样无济于事，通过查看python的lib目录发现存在一个ctypes文件夹，和报错的"_ctypes"十分相似，于是就复制一份改名为"_ctypes"同样无法解决这个问题。就这样这个事情困扰了我三四天，极大延缓了我spark的学习进程。虽然会出现提示错误，但是我发现不会影响结果的正确计算，于是到发帖的这一天我决定先跳过这一章节，先继续学习接下来的知识，在后续学习的时候需要编写一个简单的统计单词频率的python小程序提交到yarn上执行，同样这个问题又来了，我很烦，一定要解决掉。经过仔细对比发现，当我不启动集群或者只有一个master主机的时候，及时提交到yarn上也是能够正常执行的，这说明问题出现在集群的其他主机上，于是我想到了其他作为datanode的主机上还没有安装python环境，于是在其他主机上安装好python环境同时执行最开始的yum安装命令，重新运行问题解决。

标签：named,No,python,yarn,ctypes,yum,报错,安装
来源： https://www.cnblogs.com/Cra2iTeT/p/16390873.html