aws / aws/sagemaker-python-sdk

Support local source for sagemaker.core.shapes.ProcessingInput

Offen
#5,672 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
2.3k
Forks
1.3k
Ø Merge
1 T. 22 Std.
Gemergte PRs (30 T.)
35

Beschreibung

**Describe the feature you'd like**
Allow for `sagemaker.core.shapes.ProcessingInput` to accept local file path as input, for automatic uploading of input files to S3.

**How would this feature be used? Please describe.**
When migrating from sagemaker v2 to v3, the `sagemaker.processing.ProcessingInput` used in `sagemaker.workflow.steps.ProcessingStep.inputs()` is no longer applicable, replaced by `sagemaker.core.shapes.ProcessingInput` used in `sagemaker.core.processing.ScriptProcessor.run()`. `sagemaker.core.shapes.ProcessingInput` accepts only S3 path, which makes it more convoluted for the training pipeline process as the files involved in the pipeline have to be uploaded separately before the creation of the pipeline, instead of how it was done in v2's `sagemaker.processing.ProcessingInput` which uploads it while the pipeline is being built.

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne damit, sagemaker.core.shapes.ProcessingInput und sagemaker.core.processing.ScriptProcessor.run() nachzuverfolgen, und vergleiche anschließend deren Verhalten mit dem in der Issue beschriebenen v2 sagemaker.processing.ProcessingInput. Ermittle, wie ein lokaler Dateipfad während der Erstellung der Pipeline hochgeladen werden sollte, und überprüfe, dass vorhandene S3-Eingaben weiterhin funktionieren.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
aws, python
Bereich
cloud, machine-learning
Issue-Typ
Feature
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Ruhig
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
45/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.