ИИ и дата-центры
AWS добавила в Neuron 2.33 поддержку PyTorch для Trainium
Публикация:
В Neuron 2.33 появился публичный бета-бэкенд TorchNeuron: модели на стандартном PyTorch можно запускать на ускорителях Trainium 2 и 3, в том числе через torch.compile. В том же выпуске AWS представила бета-инструмент для обнаружения проблем со здоровьем ускорителей.
AWS выпустила Neuron 2.33 — обновление программного стека для ускорителей Trainium. Главная новинка, TorchNeuron, работает как нативный бэкенд PyTorch и пока доступна в публичной бета-версии. По описанию AWS, модели со стандартными API PyTorch можно запускать на инстансах Amazon EC2 Trn2 и Trn3 в eager-режиме или с torch.compile.
В обновление также вошёл Neuron Observer, тоже в публичной бета-версии. AWS утверждает, что инструмент обнаруживает проблемы с состоянием Trainium менее чем за секунду и указывает затронутый узел или устройство. Независимых измерений точности и задержки в анонсе нет.
Для обучения AWS добавила Deep Learning AMI и контейнер PyTorch с TorchNeuron, PyTorch 2.14 и TorchTitan. Плагины vLLM Neuron обновлены до версии 0.29.0; Neuron Explorer теперь связывает выделения памяти из снимка PyTorch с исходными строками Python, что помогает разбирать ошибки нехватки памяти в eager-режиме.
Обновление снижает необходимость переписывать привычный PyTorch-код для пробного запуска на Trainium, но речь пока о бета-поддержке, а не о гарантированной совместимости любой модели. Командам стоит проверить собственные модели и операции на выбранных инстансах; заявления о быстром обнаружении аппаратных проблем также пока исходят от AWS.