anthropics / anthropics/anthropic-sdk-python

Bedrock: support low-latency configuration

オープン
#971 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
bedrock
主要言語
Python
スター
3.9k
フォーク
853
平均マージ
1日 11時間
マージ済み PR(30日)
10

説明

Currently, `[Async]AnthropicBedrock` doesn't provide a way to enable low-latency mode.
It also appears that this configuration isn't even accessible via the Bedrock Anthropic HTTP API.

So the only option for the Antropic clients to use this low-latency model is to use the Converse API provided by AWS Becrock: https://docs.aws.amazon.com/bedrock/latest/userguide/latency-optimized-inference.html

This is very inconvenient, since the Converse API unifies APIs for multiple models and, therefore, it lacks support for exclusive features of particular models _(e.g. `tool_choice=none` is missing from the Converse API)_.

Exposing low-latency configuration in `[Async]AnthropicBedrock` would be great.

コントリビューションガイド

コントリビューションガイドを開く

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。