abetlen / abetlen/llama-cpp-python

Load time in the log is much different from real load model time?

Offen
#1,601 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
10.6k
Forks
1.4k
PR-Merge-Kennzahlen
PR-Kennzahlen ausstehend

Beschreibung

I see that load time in the log is much smaller than real load time.
I calculate real oad model time by setting time before and after calling Llama-cpp class. From here, I saw thật, real load model time is much larger than the load time in the log.

Could you help me, what is wrong here? Thank you.

Beitragsleitfaden

Beitragsleitfaden öffnen

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.