Кванты на A100: сгонка веса

Квантование — это сгонка веса: модель ужимают, чтобы она поместилась на меньшее железо. Мы взяли одну модель, Qwen3.8-27B, и прогнали шесть её вариантов на видеокартах A100 SXM4 40GB. Для сравнения взяли MoE-модель того же поколения, Qwen3.6-35B-A3B, в двух вариантах. Скорость, память и качество каждого варианта измерены на одном и том же запущенном сервере.

Выводы — на этих задачах и на этом стенде. Условия и все прогоны есть на странице каждого замера.

Шесть вариантов 27B и два варианта MoE в двух весовых категориях: одна карта и две карты с NVLink.

• INT4 AWQ g32 — готовый квант, самый скачиваемый для vLLM на дату замера.
• INT4 GPTQ g128 — свой квант по стандартному рецепту llm-compressor: то, что интегратор получает «по умолчанию».
• INT4 GPTQ g32 — свой GPTQ в формате готового AWQ. Он отвечает на вопрос, что даёт разницу между GPTQ g128 и AWQ g32: алгоритм или формат.

На одной карте CUDA видит 39,49 ГиБ. Всё, что не заняли веса и служебные нужды движка, уходит под запросы.

• Варианты INT4 весят 16,7–18,3 ГиБ, под запросы остаётся 15–16,6 ГиБ.
• FP8 и INT8 весят 27,6–27,9 ГиБ, под запросы остаётся 5,4–5,5 ГиБ.

Сколько «вопросов по документу» помещается одновременно, посчитано по размеру блоков памяти, который замер подтвердил на всех вариантах.

Совет по эксплуатации. При самом первом старте vLLM 0.32.0 компилирует модель и после этого держит лишние ~2,3 ГиБ на карту. Это место отнимается у запросов. Один перезапуск сервера возвращает память, а кэш компиляции сохраняется. Для FP8 и INT8 это разница между 7 и 12 одновременными запросами.

• Один пользователь. Скорость ответа зависит от того, сколько весов карта читает на каждый токен. INT4 читает 17–18 ГиБ, остальные варианты — 25–28 ГиБ на карту. Поэтому INT4 быстрее, а BF16 на двух картах не быстрее FP8 на одной.
• Длинный документ. Чтение длинного ввода упирается в вычисления.
• Две карты BF16 читают около 6 тыс. токенов в секунду.
• Одна карта INT4 или FP8 — 2,4–2,6 тыс.: перед умножением эти веса распаковываются в BF16.

• INT8 считается тензорными ядрами напрямую и читает 4,6 тыс. токенов в секунду на одной карте.

• Предел нагрузки. Одна карта INT4 даёт около 175 ток/с — на карту столько же, сколько BF16 на двух (342).

• FP8 и INT8 упираются в память. Уже при 12 пользователях память под запросы занята на 95–96 %, остальные ждут в очереди. При 32 пользователях первого токена ждут 36–55 с.

Каждый вариант сравнивается с исходной моделью (BF16) на одних и тех же вопросах. На рисунке разность долей верных ответов и её интервал. Если интервал перекрывает ноль, разница в пределах шума.

• FP8 ближе всех к исходной модели. Значимая разница у него только на знаниях: −0,25 п.п.
• Формат INT4 важнее алгоритма. От GPTQ g128 к GPTQ g32 меняются только размер группы (128 → 32) и симметрия, алгоритм тот же.
• Расхождение с исходной моделью падает вдвое: KL 0,040 → 0,020.

• Вызов инструментов растёт на 2,2 п.п., параллельные вызовы — на 13 п.п.

• Между AWQ g32 и GPTQ g32 разница — на вызовах инструментов. На параллельных вызовах GPTQ g32 лучше на 9 п.п., по знаниям — ничья.

• INT8 без сглаживания активаций теряет на знаниях больше всех: −1,14 п.п., хотя бит у него вдвое больше, чем у INT4. Сглаживания (SmoothQuant) для этой архитектуры в llm-compressor 0.15.0 нет.

• Belebele и MGSM варианты почти не различают: вопросов в них мало, чтобы увидеть разницу в 1 п.п.

Почему мы пересчитали MGSM. Стандартная оценка lm-eval берёт последнее число в ответе и не понимает русской записи чисел. Ответ «70 000 $» она читает как «000». У исходной модели так засчитаны неверными 33 из 51 «ошибки». Мы берём число из строки «Ответ» и учитываем пробелы между разрядами и десятичную запятую. Все спорные ответы проверены вручную.

Итог по 2 607 заданиям у всех вариантов Qwen3.8-27B почти одинаковый (таблица 1). Но в двух категориях кванты заметно расходятся с исходной моделью.

Доля верных, %. Жирным — значимые отличия от BF16 (p < 0,02). В остальных категориях варианты не различаются.

• INT4 с группой 128 теряет вторые вызовы. Пример из набора: найти иски против компании Dara Inc за 2019 год и за 2018-й. Верно — два вызова функции, по одному на год. BF16 сделал оба, GPTQ g128 — только первый. Таких ответов с одним вызовом вместо нескольких у GPTQ g128 — 50 из 200, у BF16 — 27. Из 30 заданий, которые GPTQ g128 проиграл эталону, 28 — с неверным числом вызовов. У AWQ g32 эффект слабее (38 ответов), у GPTQ g32 его нет.
• Квантование сдвигает склонность вызывать функцию. Когда подходящей функции нет, GPTQ g32 чаще отвечает текстом: вызов — в 45 ответах из 240 против 67 у BF16. INT8, наоборот, вызывает чаще — в 80. Это смещение поведения, а не знаний: выигрыш GPTQ g32 здесь не значит, что модель «стала лучше».
• Если модель работает агентом и вызывает инструменты пачками, проверяйте именно эту категорию: средний итог её провал не показывает.

Все числа по моделям, условия — над каждым столбцом.

• vLLM 0.32.0, образ закреплён по digest.
• Режим рассуждения (thinking) выключен, кэш префиксов выключен.
• Контекст до 40 960 токенов, до 32 одновременных запросов, длинный ввод читается кусками до 16 384 токенов.
• Каждая точка повторена 3 раза.
• Карты работали у штатного предела мощности 400 Вт.

• Режим рассуждения, многоходовые и агентные задачи, больше 32 одновременных запросов. BFCL — только одноходовые категории.
• Кэш префиксов и спекулятивное декодирование.
• INT8 со сглаживанием активаций.
• Другие карты и другие версии vLLM. Исключение — сверка FP8 с 0.29.0: скорость совпала в пределах 1 %.
• Энергопотребление как метрику.

Русские наборы переведены с английского, и перевод местами ломает задание. Такие вопросы одинаково портят все варианты, поэтому на разность не влияют, а на абсолютную цифру — да.

Как мы измеряем — в материале «Как мы измеряем: стенд и протокол».