Batch mode in GPU

We like minimalist and productive inference, thank you!
But our use cases, and those of many users, require batch processing.
Batch mode isn't productive on CPUs. Do you have plans to implement inference execution on GPUs (TensorRT, CUDA)?

If so, you'll become the top solution for ETL processing that requires generative models.

この issue にはファイル、テスト、エントリポイントが記載されていません。まず、C++ プロジェクト内の推論実行とバッチ処理のパスを特定し、GPU サポートが TensorRT または CUDA とどのように関係するかを確認してください。完了とするには、GPU バッチ推論の実装スコープについて合意する必要がありますが、そのスコープはこの issue ではまだ定義されていません。

索引モデルが issue の本文から書いたものです。