aws / aws/sagemaker-python-sdk
Native GRPC Support for Endpoints
- Ngôn ngữ chính
- Python
- Star
- 2.3k
- Fork
- 1.3k
- Merge trung bình
- 1 ngày 22 giờ
- Pull request đã merge (30 ngày)
- 35
Mô tả
**Describe the feature you'd like**
Add support for making `GRPC` calls to sagemaker endpoints for model serving/batch transform. Currently, only `REST` is supported.
**How would this feature be used? Please describe.**
If one plans to deploy a model in an environment where clients make GRPC calls, it is currently not possible to use sagemaker to deploy models. REST is not an option in some deployment environments.
**Describe alternatives you've considered**
I understand there is the option to serialize the request/response data into recordio/protobuf and make a REST call but if clients are expecting to make GRPC calls, this is not an option.
If production clients will make GRPC calls it is not really worth the effort to implement a REST `serve` entrypoint in images, as it won't match how the model is called in production. This results in two different images and custom frameworks around serving/batch transformation. It would greatly improve the experience if data scientists are able to test a model with GRPC then directly deploy it via sagemaker.
**Additional context**
Getting a feeler out here for if this may be eventually supported. Is this something that could potentially be implemented in the sdk alone or would it require changes to proprietary apis? Basically, wondering if this is something that could be implemented by the community.
Hướng dẫn đóng góp
Hướng nghiên cứu
Issue không xác định các tệp SDK, bài kiểm thử hoặc các entry point cho endpoint SageMaker và các đường dẫn batch-transform. Trước tiên, hãy xác định liệu có thể triển khai hỗ trợ GRPC native trong Python SDK hay cần thay đổi SageMaker API độc quyền; công việc được xem là hoàn tất khi các client có thể thực hiện các lệnh gọi GRPC để serving model và batch transform.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- aws, grpc, python
- Lĩnh vực
- api, cloud, machine-learning
- Loại issue
- Tính năng
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 20/100