Программы
Arm открыла ранний доступ к оптимизатору ИИ-моделей для своей платформы
Публикация:
Инструмент Arm AI Model Optimizer помогает настраивать модели под процессоры Arm и оценивать компромисс между скоростью, точностью и расходом памяти. Сейчас он доступен по программе Early Access через Arm AI Portal.
Arm 19 октября открыла ранний доступ к Arm AI Model Optimizer через Arm AI Portal. Инструмент построен на платформе NetsPresso компании Nota AI и предназначен для оптимизации, оценки и сравнения моделей под целевое оборудование.
В рабочем процессе можно применять оптимизацию графа вычислений, квантование и смешанную точность, затем сравнивать производительность, точность и потребление памяти. Разработчик может подобрать конфигурацию для своего приложения и проверить качество на собственных калибровочных и оценочных данных.
На старте Arm перечисляет два варианта развёртывания: процессоры Arm с ExecuTorch и бэкендом XNNPACK, а также NPU Arm Ethos-U с бэкендом ExecuTorch Ethos-U и компилятором Vela. Чтобы начать работу, нужно зарегистрироваться в Early Access, получить API-токен и установить командный интерфейс Arm AI Model Optimizer.
Инструмент остаётся в раннем доступе. Arm планирует расширять поддержку моделей, целевого оборудования и рабочих процессов по отзывам участников программы. Заявленные производителем результаты оптимизации стоит проверять на своей модели, наборе данных и устройстве: итог зависит от выбранных настроек и платформы.