Distributed Inference

For LLama.cpp, distributed inference work great.
I am using it right now into my program.

Now, if not implemented, it would be cool to add it to llama-cpp-python.
Right now, I am full command line.

Thanks in advance.
Best regards.
Benjamin.

Das Issue erwähnt die Funktion für verteilte Inferenz von llama.cpp. Untersuche zunächst den llama.cpp-Quellcode auf dessen Implementierung der verteilten Inferenz. Überprüfe anschließend die bestehenden Python-Bindings in llama-cpp-python, um zu verstehen, wie diese Funktion verfügbar gemacht werden kann. Die Arbeit umfasst C/C++-Interoperabilität und erfordert wahrscheinlich Änderungen an der Python API. Eine klare Definition von „done“ ist nicht angegeben.

Vom Indexierungsmodell aus dem Issue-Text verfasst.