Distributed Inference

For LLama.cpp, distributed inference work great.
I am using it right now into my program.

Now, if not implemented, it would be cool to add it to llama-cpp-python.
Right now, I am full command line.

Thanks in advance.
Best regards.
Benjamin.

La issue menziona la funzionalità di inferenza distribuita di llama.cpp. Per prima cosa, esamina il codice sorgente di llama.cpp per studiare la sua implementazione dell’inferenza distribuita. Quindi, esamina i binding Python esistenti in llama-cpp-python per capire come esporre questa funzionalità. Il lavoro implica l’interoperabilità C/C++ e probabilmente la modifica della Python API. Non viene fornita una definizione chiara di «done».

Scritto dal modello di indicizzazione a partire dal testo della issue.