Distributed Inference

For LLama.cpp, distributed inference work great.
I am using it right now into my program.

Now, if not implemented, it would be cool to add it to llama-cpp-python.
Right now, I am full command line.

Thanks in advance.
Best regards.
Benjamin.

L’issue mentionne la fonctionnalité d’inférence distribuée de llama.cpp. Commencez par examiner le code source de llama.cpp pour étudier son implémentation de l’inférence distribuée. Examinez ensuite les bindings Python existants dans llama-cpp-python afin de comprendre comment exposer cette fonctionnalité. Le travail implique l’interopérabilité C/C++ et nécessitera probablement de modifier l’API Python. Aucune définition claire de « done » n’est fournie.

Rédigé par le modèle d'indexation à partir du texte de l'issue.