AI-Hypercomputer / AI-Hypercomputer/JetStream

Clean up Model Conversion Script

Aperta
#131 2 commenti 0 reazioni 1 assegnatario Rivendicata da @JoeZijunZhou Vedi su GitHub
Lingua principale
Python
Stelle
457
Fork
67
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

Currently the model conversion script will [create a bucket](https://github.com/google/JetStream/blob/main/jetstream/tools/maxtext/model_ckpt_conversion.sh#L36) `export MODEL_BUCKET=gs://${USER}-maxtext`. However, it may be the case that the `gs://${USER}-maxtext` path already exists, which I imagine would break the script.

Solution: Be able to read in a few more arguments `MODEL_BUCKET` and `BASE_OUTPUT_DIRECTORY`. We should also delete references to `DATASET_PATH`.

Guida per i contributori

Apri la guida per i contributori

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.