python – 如何在代码中的亚马逊EMR引导操作上安装自定义包？

需要在亚马逊EMR引导操作上安装一些软件包和二进制文件,但我找不到任何使用它的示例.

基本上,我想安装python包,并指定每个hadoop节点使用这个包来处理s3桶中的项目,这里是一个示例frpm boto.

                      name='Image to grayscale using SimpleCV python package',
                      mapper='s3n://elasticmapreduce/samples/imageGrayScale.py',
                      reducer='aggregate',
                      input='s3n://elasticmapreduce/samples/input',
                      output='s3n://<my output bucket>/output'

我需要让它使用SimpleCV python包,但不知道在哪里指定它.如果没有安装,如何安装呢？有没有办法避免等待安装完成,是否可以在某处安装它并只引用python包？

解决方法:

引导操作有一个类boto.emr.bootstrap_action.BootstrapAction.

像下面这样定义它.大部分代码来自boto example page.

import boto.emr
from boto.emr.bootstrap_action import BootstrapAction

action = BootstrapAction(name="Bootstrap to add SimpleCV",
                         path="s3n://<my bucket uri>/bootstrap-simplecv.sh")

conn = boto.emr.connect_to_region('us-west-2')
jobid = conn.run_jobflow(name='My jobflow',
                         log_uri='s3://<my log uri>/jobflow_logs',
                         steps=[step],  # step defined elsewhere
                         bootstrap_actions=[action])

您需要定义引导操作.如果你需要另一个版本的Python,那么它可以节省在同一台计算机上预编译它的时间,tar它,把它放在一个S3存储桶中,然后在引导程序中解压缩它.

#!/bin/sh
# filename: bootstrap-simplecv.sh  (save it in an S3 bucket)
set -e -x

sudo apt-get install python-setuptools
sudo easy_install pip 
sudo pip install -U SimpleCV

我认为你可以让EMR实例从boto中旋转,这样引导程序只会在你的会话中第一次出现.在注销之前要小心关闭它们,这样你就不会对账单感到惊讶.

标签：python,boto,amazon-emr
来源： https://codeday.me/bug/20190517/1119933.html