您好,欢迎来到华佗小知识。
搜索
您的当前位置:首页python - PipeMapRed.waitOutputThreads(): subprocess failed with code 1

python - PipeMapRed.waitOutputThreads(): subprocess failed with code 1

来源:华佗小知识

hadoop上执行mapreduce streaming python程序报错, 报错详细信息为 python - PipeMapRed.waitOutputThreads(): subprocess failed with code 1

 

网上搜索后,得知该问题是由于  脚本程序本身问题。

解决办法,

1. 环境变量配置错误

详情见 http://curiousattemptbunny.com/2009/10/hadoop-streaming-javalangruntimeexcepti.html

即指定 脚本执行的环境。

2. python程序写错

如果小数据集没问题,大数据出问题,那么很可能是这个。

而我的程序如果直接对数据集进行处理(300M),是没问题的,但是放到MR上就不行了。虽然很奇怪,但加上异常捕获后MR可以执行。需要进一步跟踪处理,但解决方法类似。

 

转载于:https://www.cnblogs.com/xiaoboCSer/p/5704448.html

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- huatuo0.cn 版权所有 湘ICP备2023017654号-2

违法及侵权请联系:TEL:199 18 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务