AI и дата-центры
AWS Lambda разрешила параллельно обрабатывать Kafka-события в одной партиции
Публикация:
Новый режим Queue отвязывает параллелизм Lambda от числа разделов Kafka, но не сохраняет порядок сообщений.
В Lambda появился режим Queue для event source mappings, которые читают self-managed Apache Kafka. Он работает и с управляемыми Kafka-платформами вроде Confluent Cloud. AWS объявила об изменении 2 ноября 2026 года.
Queue использует Kafka share groups. Несколько poller могут читать одну партицию одновременно; каждый поддерживает до 10 вызовов Lambda одновременно. Параллелизм больше не привязан к числу партиций, а код функции, настройки топика и производителей менять не нужно.
Медленная обработка одного события или ошибка больше не блокируют остальные сообщения в партиции. Порядок сообщений при этом не сохраняется, поэтому Queue подходит для независимых задач вроде перекодирования медиа, обнаружения мошенничества, доставки уведомлений и сбора телеметрии.
Для Queue нужен Kafka-кластер с поддержкой share groups; AWS приводит Apache Kafka 4.2 и более поздние версии как пример. Режим доступен во всех коммерческих регионах AWS, где работает self-managed Kafka ESM. Действуют обычные тарифы Lambda, а в provisioned mode дополнительно оплачиваются Event Poller Units. В USB.RU также выходили материалы о ленивой загрузке контейнеров в AWS Lambda и инструментах Step Functions для ИИ-агентов.