AI-Hypercomputer / AI-Hypercomputer/cloud-accelerator-diagnostics

[Bug] `tpu-info` can not access metrics

Offen
#6 4 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
32
Forks
15
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

Minimal working code is [Here](https://gist.github.com/steveepreston/acd125a08214c631ba8389eb61a13798). Code follows [GoogleCloudPlatform example](https://github.com/GoogleCloudPlatform/vertex-ai-samples/blob/main/notebooks/official/training/tpuv5e_llama2_pytorch_finetuning_and_serving.ipynb)

Code run completed successfully on TPU VM v3-8, but while call `!tpu-info` at the end, it shows:

```
TPU Chips
┏━━━━━━━━━━━━━┳━━━━━━━━━━━━━┳━━━━━━━━━┳━━━━━┓
┃ Chip ┃ Type ┃ Devices ┃ PID ┃
┡━━━━━━━━━━━━━╇━━━━━━━━━━━━━╇━━━━━━━━━╇━━━━━┩
│ /dev/accel0 │ TPU v3 chip │ 2 │ 13 │
│ /dev/accel1 │ TPU v3 chip │ 2 │ 13 │
│ /dev/accel2 │ TPU v3 chip │ 2 │ 13 │
│ /dev/accel3 │ TPU v3 chip │ 2 │ 13 │
└─────────────┴─────────────┴─────────┴─────┘
Libtpu metrics unavailable. Is there a framework using the TPU? See https://github.com/google/cloud-accelerator-diagnostics/tree/main/tpu_info for more information
```

Beitragsleitfaden

Beitragsleitfaden öffnen

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.