localstack-samples / localstack-samples/localstack-pro-samples

Permission Denied issue when creating an emr cluster

Offen
#251 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Vorherrschende Sprache
Makefile
Sterne
196
Forks
65
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

I have got my trials localstack pro license and I could start localstack without any issue.

When I was trying the happy path of running emr steps within an EMR cluster under localstack I saw that all of them failed right away. (No log got generated for the EMR steps). So I looked back to the logs of localstack container and found this line during the creation of an EMR cluster:
Unable to start up EMR cluster: [Errno 13] Permission denied: '/var/lib/localstack/lib/hive/2.3.9/bin/schematool'

This is the simple script I ran to create the EMR cluster:

awslocal emr create-cluster \
 --name "test-emr" \
 --log-uri "s3://test-local/logs" \
 --release-label "emr-6.11.0" \
 --instance-groups '[{"InstanceCount":2,"InstanceGroupType":"CORE","Name":"keith-core","InstanceType":"c4.large","EbsConfiguration":{"EbsBlockDeviceConfigs":[{"VolumeSpecification":{"VolumeType":"gp2","SizeInGB":50},"VolumesPerInstance":1}],"EbsOptimized":true}},{"InstanceCount":1,"InstanceGroupType":"MASTER","Name":"test-master","InstanceType":"c4.large","EbsConfiguration":{"EbsBlockDeviceConfigs":[{"VolumeSpecification":{"VolumeType":"gp2","SizeInGB":32},"VolumesPerInstance":2}]}}]' \
 --applications Name=Spark \
 --scale-down-behavior "TERMINATE_AT_TASK_COMPLETION" \
 --ebs-root-volume-size "50" \
 --auto-termination-policy '{"IdleTimeout":10800}' \
 --region "us-east-2"

Can anyone suggest what could possibly go wrong? Thanks

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

  1. Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
  3. Forke das Repository und arbeite in einem Branch.
  4. Öffne einen Pull Request, der die Issue-Nummer nennt.

Rechercherichtung

Beginne damit, das Problem mit dem bereitgestellten awslocal emr create-cluster-Befehl zu reproduzieren, und untersuche das Log des LocalStack-Containers auf den Berechtigungsfehler von schematool. Verfolge den Startpfad des EMR-Clusters, der /var/lib/localstack/lib/hive/2.3.9/bin/schematool einbezieht. Als erledigt gilt die Aufgabe, wenn der Cluster erfolgreich startet und seine EMR-Schritte Logs erzeugen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
aws, shell
Bereich
cloud
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.