AWS добавила в AgentCore Gateway совместимый API Bedrock и переключение между моделями

AWS добавила в Amazon Bedrock AgentCore Gateway поддержку форматов InvokeModel и InvokeModelWithResponseStream. Компания говорит, что существующие интеграции с SDK Amazon Bedrock можно направить через шлюз, чтобы обращаться к разным провайдерам моделей через одну управляемую конечную точку, не переписывая клиентский код под каждого из них.

Второе изменение — резервная маршрутизация запросов. В правиле шлюза разработчик задаёт последовательность альтернативных моделей или провайдеров и условия переключения, например ограничение запросов, серверную ошибку или тайм-аут ответа. Если основное направление перегружено, исчерпало ёмкость или недоступно, шлюз может попробовать следующую цель.

AWS также описывает встроенный автоматический выключатель: он пропускает цели, которые сейчас не отвечают, чтобы не тратить время на повторные попытки к заведомо неработающему направлению. Для клиента резервный выбор скрыт внутри шлюза — он отправляет один запрос и получает один ответ. Это не отменяет задержки, если для обработки всё же понадобилась альтернативная цель, и результат зависит от заданных разработчиком условий и цепочки маршрутов.

Обе возможности доступны в регионах, где работает AgentCore Gateway, кроме регионов Китая. Для команд, уже использующих API Bedrock, поддержка привычного формата упрощает подключение шлюза, а резервные маршруты позволяют централизовать обработку сбоев между провайдерами. Перед включением стоит проверить порядок альтернатив и условия переключения: они определяют, куда попадёт запрос при ограничении или ошибке.