Программы
NVIDIA показала, как TensorRT выбирает маршрут сборки с учётом точности
Публикация:
Global Performance Tuner перебирает варианты настроек компилятора, проверяет точность и измеряет скорость допустимых сборок. NVIDIA приводит собственное сравнение подобранных маршрутов со сборкой по умолчанию.
В TensorRT 11.1 Global Performance Tuner представляет альтернативные варианты планирования компилятора как отдельные маршруты сборки, заданные сочетаниями настроек. Это не универсальная настройка: итоговая скорость зависит от модели, форм входных данных и целевого GPU.
В описанном цикле trtexec раскрывает заданное выражение в конкретные маршруты, собирает и измеряет каждую версию, отбрасывает варианты, которые завершаются сбоем или не проходят заданную проверку точности, а среди оставшихся выбирает наиболее быстрый. Точность здесь служит условием допуска, а не величиной, которой жертвуют ради скорости: разработчик задаёт метрику и эталонные данные для своего приложения.
NVIDIA сообщает, что на десяти оценённых задачах лучшие допустимые маршруты ускорили выполнение в 1,14–1,63 раза относительно сборки по умолчанию. Это результат измерений, приведённый самим производителем, а не независимый тест; в статье также подчёркивается, что результаты зависят от рабочей нагрузки и среды.
Разработчикам такой подход даёт воспроизводимый способ сравнить варианты компиляции под конкретное развёртывание, но найденный маршрут нельзя автоматически переносить на другую модель, формы входов, GPU или программный стек. Для практического сравнения нужны репрезентативные данные и подходящая приложению метрика точности; при изменении модели или оборудования подбор стоит повторить.