Distributed Inference

For LLama.cpp, distributed inference work great.
I am using it right now into my program.

Now, if not implemented, it would be cool to add it to llama-cpp-python.
Right now, I am full command line.

Thanks in advance.
Best regards.
Benjamin.

El issue menciona la funcionalidad de inferencia distribuida de llama.cpp. Primero, examina el código fuente de llama.cpp para analizar su implementación de la inferencia distribuida. Después, revisa los bindings de Python existentes en llama-cpp-python para entender cómo exponer esta funcionalidad. El trabajo implica interoperabilidad entre C/C++ y probablemente modificar la API de Python. No se proporciona una definición clara de «done».

Escrito por el modelo de indexación a partir del texto del issue.