AIAnytime / AIAnytime/Fine-Tune-DeepSeek

error bitsandbytes

オープン
#1 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Jupyter Notebook
スター
46
フォーク
19
PR マージ指標
30日以内にマージされた PR はありません

説明

ImportError Traceback (most recent call last)
[](https://localhost:8080/#) in ()
2
3 quantization_config = BitsAndBytesConfig(load_in_8bit=True)
----> 4 model = AutoModelForCausalLM.from_pretrained(model_name, quantization_config=quantization_config, device_map="auto")

2 frames
[/usr/local/lib/python3.11/dist-packages/transformers/quantizers/quantizer_bnb_8bit.py](https://localhost:8080/#) in validate_environment(self, *args, **kwargs)
71 )
72 if not is_bitsandbytes_available():
---> 73 raise ImportError(
74 "Using `bitsandbytes` 8-bit quantization requires the latest version of bitsandbytes: `pip install -U bitsandbytes`"
75 )

ImportError: Using `bitsandbytes` 8-bit quantization requires the latest version of bitsandbytes: `pip install -U bitsandbytes`

---------------------------------------------------------------------------
NOTE: If your import is failing due to a missing package, you can
manually install dependencies using either !pip or !apt.

To view examples of installing some common dependencies, click the
"Open Examples" button below.

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。