Batch mode in GPU

We like minimalist and productive inference, thank you!
But our use cases, and those of many users, require batch processing.
Batch mode isn't productive on CPUs. Do you have plans to implement inference execution on GPUs (TensorRT, CUDA)?

If so, you'll become the top solution for ETL processing that requires generative models.

L’issue ne mentionne aucun fichier, test ou point d’entrée ; commencez par localiser les chemins d’exécution de l’inférence et de batching dans le projet C++ et examiner comment la prise en charge du GPU serait liée à TensorRT ou CUDA. Pour considérer le travail comme terminé, il faudrait définir d’un commun accord le périmètre d’implémentation de l’inférence par lots sur GPU, que l’issue ne définit pas encore.

Rédigé par le modèle d'indexation à partir du texte de l'issue.