AIAnytime / AIAnytime/Fine-Tune-DeepSeek
error bitsandbytes
- 主要言語
- Jupyter Notebook
- スター
- 46
- フォーク
- 19
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
ImportError Traceback (most recent call last)
[](https://localhost:8080/#) in ()
2
3 quantization_config = BitsAndBytesConfig(load_in_8bit=True)
----> 4 model = AutoModelForCausalLM.from_pretrained(model_name, quantization_config=quantization_config, device_map="auto")
2 frames
[/usr/local/lib/python3.11/dist-packages/transformers/quantizers/quantizer_bnb_8bit.py](https://localhost:8080/#) in validate_environment(self, *args, **kwargs)
71 )
72 if not is_bitsandbytes_available():
---> 73 raise ImportError(
74 "Using `bitsandbytes` 8-bit quantization requires the latest version of bitsandbytes: `pip install -U bitsandbytes`"
75 )
ImportError: Using `bitsandbytes` 8-bit quantization requires the latest version of bitsandbytes: `pip install -U bitsandbytes`
---------------------------------------------------------------------------
NOTE: If your import is failing due to a missing package, you can
manually install dependencies using either !pip or !apt.
To view examples of installing some common dependencies, click the
"Open Examples" button below.
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
評価
この issue はまだ評価されていません。