GPU-сервер для инференса: аренда или покупка, расчёт затрат
Как сравнить аренду GPU и собственный сервер: память модели, загрузка, сеть, обслуживание и энергия. Формулы и условный расчёт полной стоимости.
GPU-сервер для инференса использует графические процессоры для выполнения уже обученной нейросети. Его покупка может показаться выгодной, если разделить цену на стоимость месяца аренды. Но такой расчёт пропускает простой, обслуживание, электричество и различия производительности. Аренду и собственную инфраструктуру нужно сравнивать по одинаковой полезной нагрузке и требуемой задержке ответа.
Для редких экспериментов оплачиваемые часы могут оказаться главным преимуществом аренды. При устойчивом потоке запросов собственное оборудование получает больше времени для полезной работы. Граница между вариантами определяется вашими расходами и загрузкой; универсального срока окупаемости для «сервера с GPU» нет.
Иллюстрация инфраструктуры для вычислений. Аренду и покупку сравнивают по загрузке, сроку эксплуатации и полным расходам.
Сначала определите модель, память и требования сервиса
Запишите точную модель, формат весов (её обученных параметров), длины входа и ответа, число одновременных запросов и допустимые задержки. Различайте время до первого токена, начального фрагмента текста, и длительность генерации целиком. Сервис интерактивного чата и ночная пакетная обработка могут использовать оборудование по-разному.
Для памяти учитываются веса, кеш последовательностей (сохранённые промежуточные расчёты) и рабочие буферы для текущих операций. Успешная генерация одного короткого ответа не подтверждает возможность обслуживать целевой поток. В руководстве vLLM по масштабированию размещение модели и доступная ёмкость кеша рассматриваются вместе с параллельностью запросов.
Проведите нагрузочную проверку на характерных входных данных. Измеряйте поток успешно завершённых запросов и задержки при его увеличении. NVIDIA Perf Analyzer отдельно рассматривает пропускную способность, очередь и время выполнения. Это помогает увидеть случай, когда высокий поток достигнут ценой неприемлемого ожидания.
Только после этого сравнивайте конфигурации. Одинаковое количество видеокарт или одинаковая сумма видеопамяти (VRAM) ещё не делает два сервера равноценными для вашей задачи. Потребуются сопоставимые качество ответа, режим квантования, задающий точность хранения параметров, и ограничения обслуживания.
Схема: две формулы сравнения аренды и покупки.
Что входит в стоимость собственного GPU-сервера
Кроме ускорителей нужны процессоры, память, накопители, корпус, блоки питания и сеть. Затем появляются размещение, охлаждение, резервное питание, поддержка и время администратора. При расчёте расширения проверьте доступные слоты, электрические и тепловые ограничения, а не только число свободных разъёмов.
Например, раздел технических характеристик руководства Dell PowerEdge отдельно перечисляет блоки питания, варианты памяти, накопителей и сетевых компонентов. Такой документ полезен для проверки состава системы. Максимальная мощность блока питания при этом не равна среднему потреблению сервера из розетки.
Покупную стоимость можно распределить на плановый срок использования, вычтя ожидаемую остаточную стоимость, например выручку от продажи в конце срока. Это способ сравнить расходы за один период, а не готовое правило бухгалтерского учёта. При необходимости отдельно добавляют стоимость финансирования, налоги и резерв на замену оборудования.
Не считайте поддержку бесплатной только потому, что администратор уже работает в компании. Для принятия решения важны время на обновления, диагностику, восстановление и дежурства. Также уточните, нужен ли запасной сервер, или узел: сервер с хорошей средней стоимостью, но без допустимого восстановления может не отвечать требованиям сервиса.
Что оплачивается при аренде
Узнайте, за что выставляется счёт: за GPU, виртуальную машину целиком, то есть программно выделенную систему со своим набором ресурсов, выделенный сервер, секунду выполнения или токены сервиса. Сравнивайте одинаковый состав ресурсов. Условия долгого обязательства, почасовой аренды и прерываемых мощностей различаются.
На странице AWS EC2 On-Demand отдельно описаны вычисления, передача данных и другие категории расходов. В своей смете добавьте диски, снимки, сетевой трафик, адреса и поддержку, если они оплачиваются отдельно. Остановка вычислений не обязательно прекращает оплату сохранённых ресурсов.
У прерываемой аренды поставщик вправе отозвать вычислительный ресурс. Например, AWS описывает такое поведение для Spot. Доставка предупреждений не гарантирована, поэтому восстановление нужно проектировать и для внезапной потери узла. Более низкая ставка не делает такой ресурс полноценной заменой непрерывному обслуживанию без дополнительной работы.
Для каждого коммерческого предложения сохраните дату, регион, валюту, налоги, минимальный срок и точный состав узла. В расчёте ниже используйте ставки из коммерческих предложений, а не случайно найденную рекламную цену.
Загрузка: главный параметр, который часто забывают
Обозначим через u долю времени, когда один сопоставимый узел выполняет полезную работу с согласованной производительностью. Тогда полезное время равно числу часов в месяце, умноженному на u. Это упрощённая модель загрузки по времени, а не показание занятости вычислительных блоков GPU.
Собственный сервер продолжает требовать размещения и поддержки в периоды простоя. Аренда позволяет сократить оплачиваемое время только тогда, когда узел действительно можно остановить. Если чат должен отвечать круглосуточно, редкие запросы не обязательно означают малый счёт: может требоваться постоянно готовая реплика.
Учитывайте запуск и загрузку модели. Если каждый сеанс требует подготовки, к полезным часам добавляются оплачиваемые часы прогрева. Аналогично резервирование мощности или минимальный срок аренды меняют связь между реальной нагрузкой и счётом.
Для нерегулярного потока оцените не только среднее, но и пики. Иногда удобно держать базовую нагрузку на собственном оборудовании, а временное увеличение обслуживать арендой. Экономика такой схемы зависит от переноса модели, совместимости окружения и сетевого доступа к данным.
Условный расчёт с открытыми исходными данными
Рассмотрим один узел, который в обоих вариантах обеспечивает одинаковую полезную производительность. Подставьте в формулы ниже свои исходные данные из коммерческих предложений и измерений: покупную стоимость и первоначальное развёртывание, плановый срок использования, остаточную стоимость, фиксированные ежемесячные расходы на размещение, обслуживание и администрирование, мощность узла в простое и при работе, тариф на электроэнергию, ставку аренды сопоставимого узла и прочие ежемесячные расходы аренды.
Распределённая стоимость покупки — это покупная стоимость за вычетом остаточной, делённая на плановый срок использования. Электричество считается как число часов в месяце, умноженное на среднюю мощность и на тариф; средняя мощность зависит от доли полезного времени u, потому что в простое узел потребляет меньше, чем при работе.
Собственный узел: C = распределённая стоимость покупки + фиксированные расходы + электричество.
Аренда: C = прочие ежемесячные расходы + ставка аренды × полезное время.
Предполагается, что собственный узел включён весь месяц, а арендованный можно запускать ровно на полезное время без дополнительных задержек. Охлаждение и остальные расходы собственного размещения входят в фиксированную сумму; электричество сервера считается отдельно. В реальной смете важно исключить двойной учёт.
Приравнивание формул и решение относительно u даёт точку равенства только выбранного сценария. Если арендованный узел приходится держать включённым постоянно, условие о почасовом сокращении расходов перестаёт выполняться, и расчёт нужно изменить.
Как превратить пример в свою смету
Подставьте в формулы коммерческое предложение полной конфигурации, а мощность определите измерением подходящей нагрузки и простоя. Фиксированные расходы разложите на строки, чтобы было видно, какие из них действительно появятся при покупке. У аренды используйте оплачиваемые часы, а не желаемую загрузку.
Затем измените по очереди самые неопределённые параметры: спрос, ставку аренды, срок использования, остаточную стоимость и требования к резервированию. Если небольшой сдвиг меняет решение, заказывать оборудование по одной средней оценке рано. Сначала уточните чувствительные исходные данные.
Для финального сравнения полезно разделить все расходы на число успешно выполненных запросов или на другой результат при одинаковом качестве обслуживания. Стоимость часа является промежуточной величиной. Медленный дешёвый узел может проиграть более дорогому, если для той же очереди требуется несколько экземпляров.
Частые вопросы
Покупка всегда выгоднее при круглосуточной работе?
Нет. Решение зависит от стоимости конфигурации, обслуживания, срока использования, резерва и скорости. Круглосуточная загрузка улучшает использование покупки, но сама по себе не закрывает расчёт.
Можно ли сравнить серверы по цене одной GPU?
Только как часть сметы. Для инференса оплачивается работа всей системы, включая память, центральный процессор, сеть, хранение и эксплуатацию. Также требуется сравнение полезной производительности.
Почему простаивающий сервер тоже стоит денег?
Покупная стоимость уже понесена, а размещение, обслуживание и часть энергопотребления сохраняются. Поэтому низкая загрузка увеличивает стоимость полезного результата.
Когда аренда особенно удобна?
Когда нагрузка меняется, модель ещё выбирается или инфраструктура нужна на ограниченный срок. Экономический выигрыш появляется, если условия действительно позволяют сократить оплачиваемые ресурсы.
Сохраните рядом со сметой нагрузочный тест и условия коммерческих предложений. Если спрос пока неизвестен, сначала измерьте его на доступной конфигурации: ошибка в ожидаемой загрузке способна оказаться дороже разницы тарифов. Вернуться к решению о покупке можно после появления фактических данных о запросах, очереди и оплачиваемом времени.