localstack-samples / localstack-samples/localstack-pro-samples

Permission Denied issue when creating an emr cluster

オープン
#251 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

主要言語
Makefile
スター
196
フォーク
65
PR マージ指標
30日以内にマージされた PR はありません

説明

I have got my trials localstack pro license and I could start localstack without any issue.

When I was trying the happy path of running emr steps within an EMR cluster under localstack I saw that all of them failed right away. (No log got generated for the EMR steps). So I looked back to the logs of localstack container and found this line during the creation of an EMR cluster:
Unable to start up EMR cluster: [Errno 13] Permission denied: '/var/lib/localstack/lib/hive/2.3.9/bin/schematool'

This is the simple script I ran to create the EMR cluster:

awslocal emr create-cluster \
 --name "test-emr" \
 --log-uri "s3://test-local/logs" \
 --release-label "emr-6.11.0" \
 --instance-groups '[{"InstanceCount":2,"InstanceGroupType":"CORE","Name":"keith-core","InstanceType":"c4.large","EbsConfiguration":{"EbsBlockDeviceConfigs":[{"VolumeSpecification":{"VolumeType":"gp2","SizeInGB":50},"VolumesPerInstance":1}],"EbsOptimized":true}},{"InstanceCount":1,"InstanceGroupType":"MASTER","Name":"test-master","InstanceType":"c4.large","EbsConfiguration":{"EbsBlockDeviceConfigs":[{"VolumeSpecification":{"VolumeType":"gp2","SizeInGB":32},"VolumesPerInstance":2}]}}]' \
 --applications Name=Spark \
 --scale-down-behavior "TERMINATE_AT_TASK_COMPLETION" \
 --ebs-root-volume-size "50" \
 --auto-termination-policy '{"IdleTimeout":10800}' \
 --region "us-east-2"

Can anyone suggest what could possibly go wrong? Thanks

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

調査の方向性

まず、提供された awslocal emr create-cluster コマンドで問題を再現し、LocalStack コンテナのログを調べて schematool の権限エラーを確認します。/var/lib/localstack/lib/hive/2.3.9/bin/schematool が関与する EMR クラスターの起動パスを追跡します。クラスターが正常に起動し、その EMR ステップがログを生成すれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
aws, shell
領域
cloud
issue の種類
バグ
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。