AI-Hypercomputer / AI-Hypercomputer/maxtext

Conversion scripts fail on standard TPU VMs for large models

オープン
#3,418 コメント 3 件 リアクション 0 件 担当者 1 名 @hengtaoguo が担当を希望しています GitHub で見る
bug
主要言語
Python
スター
2.4k
フォーク
607
平均マージ
2日 19時間
マージ済み PR(30日)
158

説明

### Bug report

The [official instruction]([https://maxtext.readthedocs.io/en/latest/guides/checkpointing_solutions/convert_checkpoint.html#hugging-face-to-maxtext) for model conversion failed on a standard TPU-v5p VM for large models such as QWen3-235B, with CPU OOM errors when sharding MoE layers. Since on GCP the CPU memory is fixed (400GB), I wonder if we can improve the script to bypass this issue, or is the doc outdated?

Also for the model conversion the sharding process with default simulated_cpu_devices_count=16 is very very slow (even for 30B model).

### Logs/Output

_No response_

### Environment Information

_No response_

### Additional Context

_No response_

コントリビューションガイド

コントリビューションガイドを開く

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。