AIAnytime / AIAnytime/Fine-Tune-DeepSeek

error bitsandbytes

Aberta
#1 0 comentários 0 reações 0 responsáveis Ver no GitHub
Linguagem predominante
Jupyter Notebook
Estrelas
46
Forks
19
Métricas de merge de PRs
Nenhum PR com merge em 30d

Descrição

ImportError Traceback (most recent call last)
[](https://localhost:8080/#) in ()
2
3 quantization_config = BitsAndBytesConfig(load_in_8bit=True)
----> 4 model = AutoModelForCausalLM.from_pretrained(model_name, quantization_config=quantization_config, device_map="auto")

2 frames
[/usr/local/lib/python3.11/dist-packages/transformers/quantizers/quantizer_bnb_8bit.py](https://localhost:8080/#) in validate_environment(self, *args, **kwargs)
71 )
72 if not is_bitsandbytes_available():
---> 73 raise ImportError(
74 "Using `bitsandbytes` 8-bit quantization requires the latest version of bitsandbytes: `pip install -U bitsandbytes`"
75 )

ImportError: Using `bitsandbytes` 8-bit quantization requires the latest version of bitsandbytes: `pip install -U bitsandbytes`

---------------------------------------------------------------------------
NOTE: If your import is failing due to a missing package, you can
manually install dependencies using either !pip or !apt.

To view examples of installing some common dependencies, click the
"Open Examples" button below.

Guia de contribuição

Nenhum guia de contribuição indexado para este repositório

Avaliação

Esta issue ainda não foi avaliada.

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.