Distributed Inference

For LLama.cpp, distributed inference work great.
I am using it right now into my program.

Now, if not implemented, it would be cool to add it to llama-cpp-python.
Right now, I am full command line.

Thanks in advance.
Best regards.
Benjamin.

A issue menciona o recurso de inferência distribuída do llama.cpp. Primeiro, examine o código-fonte do llama.cpp para analisar sua implementação de inferência distribuída. Em seguida, revise os bindings Python existentes no llama-cpp-python para entender como expor essa funcionalidade. O trabalho envolve interoperabilidade entre C/C++ e provavelmente exigirá a modificação da API Python. Não é fornecida uma definição clara de “done”.

Escrita pelo modelo de indexação a partir do texto da issue.