aws / aws/sagemaker-python-sdk

Native GRPC Support for Endpoints

オープン
#2,458 コメント 0 件 リアクション 2 件 担当者 0 名 GitHub で見る
component: hosting type: feature request
主要言語
Python
スター
2.3k
フォーク
1.3k
平均マージ
1日 22時間
マージ済み PR(30日)
35

説明

**Describe the feature you'd like**
Add support for making `GRPC` calls to sagemaker endpoints for model serving/batch transform. Currently, only `REST` is supported.

**How would this feature be used? Please describe.**
If one plans to deploy a model in an environment where clients make GRPC calls, it is currently not possible to use sagemaker to deploy models. REST is not an option in some deployment environments.

**Describe alternatives you've considered**
I understand there is the option to serialize the request/response data into recordio/protobuf and make a REST call but if clients are expecting to make GRPC calls, this is not an option.

If production clients will make GRPC calls it is not really worth the effort to implement a REST `serve` entrypoint in images, as it won't match how the model is called in production. This results in two different images and custom frameworks around serving/batch transformation. It would greatly improve the experience if data scientists are able to test a model with GRPC then directly deploy it via sagemaker.

**Additional context**
Getting a feeler out here for if this may be eventually supported. Is this something that could potentially be implemented in the sdk alone or would it require changes to proprietary apis? Basically, wondering if this is something that could be implemented by the community.

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

この issue では、SageMaker エンドポイントと batch-transform パスに対応する SDK ファイル、テスト、エントリーポイントが特定されていません。まず、ネイティブ GRPC サポートを Python SDK に実装できるのか、それとも独自の SageMaker API の変更が必要なのかを判断してください。完了の条件は、クライアントがモデルサービングとバッチ変換のために GRPC 呼び出しを行えることです。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
aws, grpc, python
領域
api, cloud, machine-learning
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
20/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。