Qwen3.6-35B-A3B INT4 AWQ (MoE, готовый квант) на одной A100 SXM4 40GB: скорость, память, качество
Qwen3.6-35B-A3B, MoE, 3BINT4 AWQ g128
- асимметричный
- только эксперты
- готовый: QuantTrio
- 1× A100 40GB
- vLLM 0.32.0
Условия
Что измеряли: скорость, память, качество.
- Модель
- QuantTrio/Qwen3.6-35B-A3B-AWQ, ревизия
119886a107237234 8f73ef0d f2d801cd cc0f455b - Архитектура
- Qwen3_5MoeForConditionalGeneration: full_attention 10, linear_attention 30, total 40
- Лицензия
- apache-2.0
- Что загружено
- только языковая часть (--language-model-only): визуальный энкодер не загружается; MTP-голова не используется (спекулятивное декодирование выключено)
- Квантование
-
awq
Не квантованы (6)
, linear_attn, mlp.gate, mtp, self_attn, shared_expert
- KV-кэш
- float16
- Движок
- vLLM 0.32.0, образ vllm/vllm-openai:v0.32.0 (
sha256:b)efccf0e7 e4089aa2 3926bb6f 887a85c0 d46c2a99 e6de5c5f fdf5cb79 57c5b34 - Версии программ
- PyTorch 2.13.0+cu130, CUDA runtime 13.0.2, Transformers 5.19.0, драйвер 580.178.04, CUDA драйвера 13.0
- Карты
- 1 × NVIDIA A100-SXM4-40GB, 40 960 МиБ по nvidia-smi, 39,49 ГиБ по CUDA
- Запуск
- TP 1, контекст до 40 960 токенов, до 32 запросов одновременно, префилл блоками до 16 384 токенов, gpu_memory_utilization 0,92, dtype bfloat16, KV-кэш auto, кэш префиксов: нет, CUDA graphs: да, спекулятивное декодирование: нет, seed 42
- Режим thinking
- выключен: шаблон чата с enable_thinking=false (качество); скорость — /v1/completions без шаблона чата
- Нагрузка
- vllm bench serve 0.32.0, /v1/completions; random: синтетические токены, уникальный сдвиг на запрос, без общего префикса; ignore_eos: да, temperature 0; закрытый цикл: не больше c запросов в полёте (--max-concurrency c, --request-rate inf); точки -r<R> — открытая нагрузка: пуассоновский поток R запросов/с (--request-rate R --burstiness 1), без ограничения одновременных; R = 0.15, 0.3, 0.45; клиент: тот же сервер, сеть хоста
- План
- 3 повтора каждой точки, прогрев 1; блоки повторов, внутри блока точки в случайном порядке (seed 20261109); пар стартов 3; опрос датчиков каждые 0,5 с
- Протокол
- 1.0, стенд 1.0.0 (
20e87dba); план s1-qwen3.6-35b-a3b-awq-quanttrio (9b12fde3 9c09212f b42b45a5 1d49622c 6b715e76 a6765f9f ec8bae50 b9f911a4)01d4c345 e3cc43f8 46a4538c f655f5b5 34b56279 7628f6f8 32cc6367
Команда запуска
Аргументы сервера внутри контейнера; адрес и порт сервера опущены.
/model --served-model-name QuantTrio/Qwen3.6-35B-A3B-AWQ --tensor-parallel-size 1 --max-model-len 40960 --max-num-seqs 32 --max-num-batched-tokens 16384 --gpu-memory-utilization 0.92 --dtype bfloat16 --load-format safetensors --no-trust-remote-code --language-model-only --generation-config vllm --seed 42 --no-enable-prefix-caching --default-chat-template-kwargs '{"enable_thinking": false}' --max-logprobs 20Проверки
- Упор в предел мощности
- 13,5 % отсчётов
- Аппаратное замедление
- 0 % отсчётов
- Тепловое ограничение (программное)
- 0 % отсчётов
- Тепловое ограничение (аппаратное)
- 0 % отсчётов
- Аварийное снижение мощности
- 0 % отсчётов
- Температура карты, максимум
- 80,0 °C
- Мощность, максимум
- 317 Вт при пределе 400 Вт
- Неудачные старты
- нет
- Итог сессии
- замер завершён
- Исключённые прогоны
- нет
| Точка | Прогонов зачтено / исключено | Длина ответов точная | Отклонение входа, макс. % | Счётчик сервера совпал | Попаданий в кэш префиксов | Вытеснений |
|---|---|---|---|---|---|---|
| single-in1024-out512-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| single-in8192-out512-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| single-in32768-out512-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c2 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c4 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c8 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c12 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c16 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c24 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c32 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa_open-in4096-out300-r0.15 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa_open-in4096-out300-r0.3 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa_open-in4096-out300-r0.45 | 3 / 0 | да | 0 | да | 0 | 0 |
Старты
Холодный старт
веса вытеснены из страничного кэша ОС, кэш компиляции vLLM пуст, контейнер новый
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| До ответа /health, с | 207,5 ± 2,2 | [202,0; 212,9] | 3 | 205,6; 209,9; 206,9 |
| До первого токена, с | 207,6 ± 2,2 | [202,1; 213,0] | 3 | 205,7; 210,0; 207,0 |
| Загрузка весов, с | 26,8 ± 0,8 | [24,7; 28,9] | 3 | 27,5; 25,9; 26,9 |
| Загрузка модели, с | 41,7 ± 0,6 | [40,2; 43,1] | 3 | 41,6; 41,1; 42,3 |
| torch.compile, с | 26,2 ± 0,3 | [25,4; 27,0] | 3 | 26,0; 26,6; 26,1 |
| Профилирование памяти, с | 80,7 ± 1,0 | [78,4; 83,1] | 3 | 79,8; 81,7; 80,7 |
| Захват CUDA graphs, с | 11,7 ± 0,6 | [10,2; 13,1] | 3 | 11,0; 12,0; 12,0 |
| Инициализация движка, с | 127,3 ± 2,3 | [121,6; 133,1] | 3 | 125,7; 130,0; 126,3 |
| Весов в кэше ОС перед стартом, % | 0 | [0; 0] | 3 | 0; 0; 0 |
Тёплый старт
сразу после холодного: тот же кэш компиляции, веса в страничном кэше, контейнер новый
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| До ответа /health, с | 77,0 ± 1,1 | [74,3; 79,8] | 3 | 78,2; 76,7; 76,1 |
| До первого токена, с | 77,1 ± 1,1 | [74,4; 79,9] | 3 | 78,4; 76,8; 76,2 |
| Загрузка весов, с | 22,3 ± 1,2 | [19,3; 25,2] | 3 | 23,6; 21,9; 21,4 |
| Загрузка модели, с | 36,0 ± 1,2 | [32,9; 39,1] | 3 | 37,4; 35,7; 34,9 |
| torch.compile, с | 0,84 ± 0,10 | [0,59; 1,09] | 3 | 0,79; 0,78; 0,96 |
| Профилирование памяти, с | 2,05 ± 0,06 | [1,91; 2,19] | 3 | 2,07; 2,10; 1,99 |
| Захват CUDA graphs, с | 6,00 | [6,00; 6,00] | 3 | 6,00; 6,00; 6,00 |
| Инициализация движка, с | 13,07 ± 0,12 | [12,78; 13,36] | 3 | 13,16; 13,11; 12,94 |
| Весов в кэше ОС перед стартом, % | 72 ± 8 | [52; 93] | 3 | 63; 76; 78 |
Точки нагрузки
один поток: вход 1 024, выход 512, c = 1
single-in1024-out512-c1; запросов в прогоне: 4, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 136,5 ± 0,3 | [135,8; 137,3] | 3 | 136,9; 136,3; 136,5 |
| Вход и выход, всего, ток/с | 409,6 ± 0,9 | [407,3; 411,9] | 3 | 410,7; 408,9; 409,4 |
| Запросов в секунду, запр/с | 0,2667 ± 0,0006 | [0,2652; 0,2682] | 3 | 0,2674; 0,2662; 0,2665 |
| Первый токен, медиана, мс | 153 ± 11 | [126; 180] | 3 | 141; 162; 156 |
| Первый токен, 95-й процентиль, мс | 166 ± 4 | [155; 177] | 3 | 162; 167; 170 |
| Полная задержка, медиана, мс | 3 746 ± 10 | [3 722; 3 770] | 3 | 3 738; 3 756; 3 744 |
| Полная задержка, 95-й процентиль, мс | 3 764 ± 12 | [3 733; 3 794] | 3 | 3 753; 3 762; 3 777 |
| Время на токен, медиана, мс | 7,0252 ± 0,0020 | [7,0202; 7,0303] | 3 | 7,0267; 7,0261; 7,0229 |
| Пауза между токенами, 99-й процентиль, мс | 11,92 ± 0,15 | [11,56; 12,29] | 3 | 12,06; 11,95; 11,77 |
| Скорость на пользователя, медиана, ток/с | 142,34 ± 0,04 | [142,24; 142,45] | 3 | 142,32; 142,33; 142,39 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 0,825 | [0,825; 0,825] | 3 | 0,825; 0,825; 0,825 |
| Пик памяти карты, ГиБ | 38,2 | [38,2; 38,2] | 3 | 38,2; 38,2; 38,2 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 156 |
| Первый токен, 95-й процентиль, мс | 170 |
| Полная задержка, медиана, мс | 3 750 |
| Полная задержка, 95-й процентиль, мс | 3 770 |
| Скорость на пользователя, медиана, ток/с | 142 |
один поток: вход 8 192, выход 512, c = 1
single-in8192-out512-c1; запросов в прогоне: 4, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 123,25 ± 0,16 | [122,85; 123,65] | 3 | 123,36; 123,32; 123,06 |
| Вход и выход, всего, ток/с | 2 095,2 ± 2,7 | [2 088,4; 2 102,0] | 3 | 2 097,1; 2 096,4; 2 092,1 |
| Запросов в секунду, запр/с | 0,2407 ± 0,0003 | [0,2399; 0,2415] | 3 | 0,2409; 0,2409; 0,2404 |
| Первый токен, медиана, мс | 497 ± 8 | [478; 517] | 3 | 491; 495; 506 |
| Первый токен, 95-й процентиль, мс | 508 ± 13 | [476; 540] | 3 | 505; 497; 522 |
| Полная задержка, медиана, мс | 4 155 ± 10 | [4 131; 4 180] | 3 | 4 147; 4 153; 4 166 |
| Полная задержка, 95-й процентиль, мс | 4 164 ± 10 | [4 138; 4 189] | 3 | 4 160; 4 155; 4 175 |
| Время на токен, медиана, мс | 7,1564 ± 0,0019 | [7,1516; 7,1613] | 3 | 7,1545; 7,1584; 7,1563 |
| Пауза между токенами, 99-й процентиль, мс | 12,05 ± 0,18 | [11,59; 12,50] | 3 | 11,97; 11,91; 12,25 |
| Скорость на пользователя, медиана, ток/с | 139,74 ± 0,04 | [139,64; 139,83] | 3 | 139,77; 139,70; 139,74 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 1,98 | [1,98; 1,98] | 3 | 1,98; 1,98; 1,98 |
| Пик памяти карты, ГиБ | 38,2 | [38,2; 38,2] | 3 | 38,2; 38,2; 38,2 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 495 |
| Первый токен, 95-й процентиль, мс | 516 |
| Полная задержка, медиана, мс | 4 150 |
| Полная задержка, 95-й процентиль, мс | 4 170 |
| Скорость на пользователя, медиана, ток/с | 140 |
один поток: вход 32 768, выход 512, c = 1
single-in32768-out512-c1; запросов в прогоне: 4, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 83,0 ± 0,6 | [81,6; 84,5] | 3 | 83,4; 83,3; 82,4 |
| Вход и выход, всего, ток/с | 5 400 ± 40 | [5 300; 5 490] | 3 | 5 420; 5 410; 5 350 |
| Запросов в секунду, запр/с | 0,1622 ± 0,0011 | [0,1594; 0,1650] | 3 | 0,1630; 0,1627; 0,1609 |
| Первый токен, медиана, мс | 2 310 ± 40 | [2 210; 2 420] | 3 | 2 290; 2 290; 2 360 |
| Первый токен, 95-й процентиль, мс | 2 330 ± 40 | [2 220; 2 440] | 3 | 2 290; 2 320; 2 380 |
| Полная задержка, медиана, мс | 6 170 ± 50 | [6 060; 6 290] | 3 | 6 150; 6 140; 6 230 |
| Полная задержка, 95-й процентиль, мс | 6 180 ± 40 | [6 080; 6 290] | 3 | 6 150; 6 160; 6 230 |
| Время на токен, медиана, мс | 7,545 ± 0,011 | [7,517; 7,573] | 3 | 7,555; 7,533; 7,548 |
| Пауза между токенами, 99-й процентиль, мс | 12,78 ± 0,06 | [12,63; 12,93] | 3 | 12,72; 12,79; 12,84 |
| Скорость на пользователя, медиана, ток/с | 132,53 ± 0,20 | [132,04; 133,02] | 3 | 132,36; 132,75; 132,49 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 5,78 | [5,78; 5,78] | 3 | 5,78; 5,78; 5,78 |
| Пик памяти карты, ГиБ | 38,2 | [38,2; 38,2] | 3 | 38,2; 38,2; 38,2 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 2 300 |
| Первый токен, 95-й процентиль, мс | 2 370 |
| Полная задержка, медиана, мс | 6 150 |
| Полная задержка, 95-й процентиль, мс | 6 230 |
| Скорость на пользователя, медиана, ток/с | 133 |
вопрос по документу: вход 4 096, выход 300, c = 1
doc_qa-in4096-out300-c1; запросов в прогоне: 8, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 125,1 ± 0,3 | [124,3; 126,0] | 3 | 125,0; 124,9; 125,5 |
| Вход и выход, всего, ток/с | 1 834 ± 5 | [1 821; 1 846] | 3 | 1 832; 1 830; 1 839 |
| Запросов в секунду, запр/с | 0,4171 ± 0,0011 | [0,4143; 0,4199] | 3 | 0,4167; 0,4162; 0,4184 |
| Первый токен, медиана, мс | 276 ± 8 | [255; 297] | 3 | 275; 285; 268 |
| Первый токен, 95-й процентиль, мс | 301 ± 15 | [263; 339] | 3 | 318; 295; 289 |
| Полная задержка, медиана, мс | 2 396 ± 8 | [2 376; 2 415] | 3 | 2 394; 2 404; 2 389 |
| Полная задержка, 95-й процентиль, мс | 2 420 ± 14 | [2 385; 2 456] | 3 | 2 437; 2 413; 2 412 |
| Время на токен, медиана, мс | 7,088 ± 0,007 | [7,069; 7,106] | 3 | 7,084; 7,083; 7,096 |
| Пауза между токенами, 99-й процентиль, мс | 11,96 ± 0,24 | [11,37; 12,56] | 3 | 12,20; 11,72; 11,97 |
| Скорость на пользователя, медиана, ток/с | 141,09 ± 0,15 | [140,73; 141,45] | 3 | 141,16; 141,19; 140,93 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 1,32 | [1,32; 1,32] | 3 | 1,32; 1,32; 1,32 |
| Пик памяти карты, ГиБ | 38,2 | [38,2; 38,2] | 3 | 38,2; 38,2; 38,2 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 274 |
| Первый токен, 95-й процентиль, мс | 306 |
| Полная задержка, медиана, мс | 2 390 |
| Полная задержка, 95-й процентиль, мс | 2 420 |
| Скорость на пользователя, медиана, ток/с | 141 |
вопрос по документу: вход 4 096, выход 300, c = 2
doc_qa-in4096-out300-c2; запросов в прогоне: 8, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 211,0 ± 0,4 | [210,1; 211,9] | 3 | 210,6; 211,3; 211,1 |
| Вход и выход, всего, ток/с | 3 092 ± 5 | [3 078; 3 105] | 3 | 3 086; 3 097; 3 093 |
| Запросов в секунду, запр/с | 0,7034 ± 0,0012 | [0,7003; 0,7064] | 3 | 0,7020; 0,7045; 0,7035 |
| Первый токен, медиана, мс | 422 ± 4 | [412; 433] | 3 | 419; 420; 427 |
| Первый токен, 95-й процентиль, мс | 507 ± 3 | [499; 515] | 3 | 503; 508; 510 |
| Полная задержка, медиана, мс | 2 840 ± 8 | [2 821; 2 858] | 3 | 2 848; 2 833; 2 837 |
| Полная задержка, 95-й процентиль, мс | 2 860,8 ± 2,6 | [2 854,3; 2 867,4] | 3 | 2 861,7; 2 862,9; 2 857,9 |
| Время на токен, медиана, мс | 8,098 ± 0,014 | [8,063; 8,133] | 3 | 8,109; 8,103; 8,082 |
| Пауза между токенами, 99-й процентиль, мс | 13,05 ± 0,16 | [12,66; 13,44] | 3 | 12,87; 13,11; 13,16 |
| Скорость на пользователя, медиана, ток/с | 123,57 ± 0,21 | [123,06; 124,08] | 3 | 123,42; 123,49; 123,81 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 2,64 | [2,64; 2,64] | 3 | 2,64; 2,64; 2,64 |
| Пик памяти карты, ГиБ | 38,2 | [38,2; 38,2] | 3 | 38,2; 38,2; 38,2 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 425 |
| Первый токен, 95-й процентиль, мс | 519 |
| Полная задержка, медиана, мс | 2 840 |
| Полная задержка, 95-й процентиль, мс | 2 860 |
| Скорость на пользователя, медиана, ток/с | 124 |
вопрос по документу: вход 4 096, выход 300, c = 4
doc_qa-in4096-out300-c4; запросов в прогоне: 16, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 348,9 ± 2,6 | [342,5; 355,4] | 3 | 348,5; 351,7; 346,6 |
| Вход и выход, всего, ток/с | 5 110 ± 40 | [5 020; 5 210] | 3 | 5 110; 5 150; 5 080 |
| Запросов в секунду, запр/с | 1,163 ± 0,009 | [1,142; 1,185] | 3 | 1,162; 1,172; 1,155 |
| Первый токен, медиана, мс | 834 ± 10 | [809; 860] | 3 | 843; 823; 837 |
| Первый токен, 95-й процентиль, мс | 874 ± 16 | [834; 915] | 3 | 888; 856; 879 |
| Полная задержка, медиана, мс | 3 420 ± 30 | [3 350; 3 500] | 3 | 3 420; 3 390; 3 450 |
| Полная задержка, 95-й процентиль, мс | 3 505 ± 18 | [3 461; 3 549] | 3 | 3 515; 3 485; 3 516 |
| Время на токен, медиана, мс | 8,68 ± 0,10 | [8,44; 8,92] | 3 | 8,64; 8,61; 8,79 |
| Пауза между токенами, 99-й процентиль, мс | 13,90 ± 0,17 | [13,49; 14,32] | 3 | 13,71; 13,97; 14,03 |
| Скорость на пользователя, медиана, ток/с | 115,2 ± 1,3 | [112,1; 118,3] | 3 | 115,7; 116,2; 113,8 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 5,28 | [5,28; 5,28] | 3 | 5,28; 5,28; 5,28 |
| Пик памяти карты, ГиБ | 38,2 | [38,2; 38,2] | 3 | 38,2; 38,2; 38,2 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 834 |
| Первый токен, 95-й процентиль, мс | 885 |
| Полная задержка, медиана, мс | 3 420 |
| Полная задержка, 95-й процентиль, мс | 3 510 |
| Скорость на пользователя, медиана, ток/с | 114 |
вопрос по документу: вход 4 096, выход 300, c = 8
doc_qa-in4096-out300-c8; запросов в прогоне: 32, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 501,2 ± 0,7 | [499,4; 503,0] | 3 | 501,4; 501,8; 500,4 |
| Вход и выход, всего, ток/с | 7 344 ± 11 | [7 318; 7 371] | 3 | 7 348; 7 353; 7 332 |
| Запросов в секунду, запр/с | 1,6707 ± 0,0024 | [1,6647; 1,6767] | 3 | 1,6715; 1,6726; 1,6679 |
| Первый токен, медиана, мс | 1 426 ± 11 | [1 398; 1 453] | 3 | 1 414; 1 427; 1 436 |
| Первый токен, 95-й процентиль, мс | 1 652 ± 5 | [1 639; 1 665] | 3 | 1 651; 1 647; 1 658 |
| Полная задержка, медиана, мс | 4 793 ± 6 | [4 780; 4 807] | 3 | 4 796; 4 787; 4 797 |
| Полная задержка, 95-й процентиль, мс | 4 840 ± 30 | [4 760; 4 930] | 3 | 4 850; 4 810; 4 870 |
| Время на токен, медиана, мс | 11,222 ± 0,014 | [11,187; 11,258] | 3 | 11,209; 11,237; 11,222 |
| Пауза между токенами, 99-й процентиль, мс | 15,8 ± 0,3 | [14,9; 16,6] | 3 | 15,9; 15,4; 16,0 |
| Скорость на пользователя, медиана, ток/с | 89,28 ± 0,09 | [89,05; 89,50] | 3 | 89,37; 89,19; 89,26 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 10,6 | [10,6; 10,6] | 3 | 10,6; 10,6; 10,6 |
| Пик памяти карты, ГиБ | 38,2 | [38,2; 38,2] | 3 | 38,2; 38,2; 38,2 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 1 430 |
| Первый токен, 95-й процентиль, мс | 1 650 |
| Полная задержка, медиана, мс | 4 790 |
| Полная задержка, 95-й процентиль, мс | 4 870 |
| Скорость на пользователя, медиана, ток/с | 89,3 |
вопрос по документу: вход 4 096, выход 300, c = 12
doc_qa-in4096-out300-c12; запросов в прогоне: 48, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 602,4 ± 2,9 | [595,1; 609,7] | 3 | 600,1; 601,5; 605,7 |
| Вход и выход, всего, ток/с | 8 830 ± 40 | [8 720; 8 930] | 3 | 8 790; 8 810; 8 880 |
| Запросов в секунду, запр/с | 2,008 ± 0,010 | [1,984; 2,032] | 3 | 2,000; 2,005; 2,019 |
| Первый токен, медиана, мс | 1 967 ± 9 | [1 943; 1 990] | 3 | 1 958; 1 966; 1 977 |
| Первый токен, 95-й процентиль, мс | 2 370 ± 30 | [2 290; 2 450] | 3 | 2 330; 2 390; 2 400 |
| Полная задержка, медиана, мс | 5 984 ± 19 | [5 936; 6 032] | 3 | 5 997; 5 993; 5 962 |
| Полная задержка, 95-й процентиль, мс | 6 030 ± 40 | [5 930; 6 130] | 3 | 6 030; 6 070; 5 990 |
| Время на токен, медиана, мс | 13,42 ± 0,16 | [13,03; 13,82] | 3 | 13,54; 13,49; 13,24 |
| Пауза между токенами, 99-й процентиль, мс | 17,58 ± 0,10 | [17,34; 17,83] | 3 | 17,69; 17,55; 17,50 |
| Скорость на пользователя, медиана, ток/с | 74,5 ± 0,9 | [72,3; 76,7] | 3 | 73,9; 74,1; 75,5 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 15,8416 ± 0,0000 | [15,8416; 15,8416] | 3 | 15,8416; 15,8416; 15,8416 |
| Пик памяти карты, ГиБ | 38,2 | [38,2; 38,2] | 3 | 38,2; 38,2; 38,2 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 1 970 |
| Первый токен, 95-й процентиль, мс | 2 380 |
| Полная задержка, медиана, мс | 5 990 |
| Полная задержка, 95-й процентиль, мс | 6 050 |
| Скорость на пользователя, медиана, ток/с | 74,4 |
вопрос по документу: вход 4 096, выход 300, c = 16
doc_qa-in4096-out300-c16; запросов в прогоне: 64, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 678 ± 5 | [665; 690] | 3 | 675; 683; 674 |
| Вход и выход, всего, ток/с | 9 930 ± 70 | [9 750; 10 110] | 3 | 9 900; 10 010; 9 880 |
| Запросов в секунду, запр/с | 2,258 ± 0,017 | [2,217; 2,300] | 3 | 2,252; 2,277; 2,246 |
| Первый токен, медиана, мс | 2 400 ± 30 | [2 310; 2 480] | 3 | 2 390; 2 370; 2 430 |
| Первый токен, 95-й процентиль, мс | 3 130 ± 40 | [3 030; 3 240] | 3 | 3 130; 3 090; 3 170 |
| Полная задержка, медиана, мс | 7 080 ± 50 | [6 970; 7 200] | 3 | 7 100; 7 030; 7 120 |
| Полная задержка, 95-й процентиль, мс | 7 140 ± 60 | [7 000; 7 280] | 3 | 7 160; 7 080; 7 180 |
| Время на токен, медиана, мс | 15,63 ± 0,09 | [15,40; 15,86] | 3 | 15,72; 15,54; 15,63 |
| Пауза между токенами, 99-й процентиль, мс | 18,78 ± 0,20 | [18,28; 19,29] | 3 | 18,70; 18,63; 19,01 |
| Скорость на пользователя, медиана, ток/с | 64,2 ± 0,4 | [63,3; 65,1] | 3 | 63,8; 64,6; 64,2 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 21,1 | [21,1; 21,1] | 3 | 21,1; 21,1; 21,1 |
| Пик памяти карты, ГиБ | 38,2 | [38,2; 38,2] | 3 | 38,2; 38,2; 38,2 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 2 400 |
| Первый токен, 95-й процентиль, мс | 3 140 |
| Полная задержка, медиана, мс | 7 080 |
| Полная задержка, 95-й процентиль, мс | 7 160 |
| Скорость на пользователя, медиана, ток/с | 64,2 |
вопрос по документу: вход 4 096, выход 300, c = 24
doc_qa-in4096-out300-c24; запросов в прогоне: 96, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 781 ± 4 | [770; 791] | 3 | 776; 781; 785 |
| Вход и выход, всего, ток/с | 11 440 ± 60 | [11 290; 11 590] | 3 | 11 370; 11 450; 11 500 |
| Запросов в секунду, запр/с | 2,602 ± 0,014 | [2,568; 2,637] | 3 | 2,587; 2,605; 2,615 |
| Первый токен, медиана, мс | 3 050 ± 200 | [2 550; 3 560] | 3 | 3 180; 3 160; 2 820 |
| Первый токен, 95-й процентиль, мс | 4 550 ± 10 | [4 525; 4 575] | 3 | 4 545; 4 561; 4 543 |
| Полная задержка, медиана, мс | 9 210 ± 30 | [9 130; 9 290] | 3 | 9 250; 9 180; 9 210 |
| Полная задержка, 95-й процентиль, мс | 9 700 ± 600 | [8 200; 11 300] | 3 | 9 400; 9 300; 10 400 |
| Время на токен, медиана, мс | 20,6 ± 0,5 | [19,4; 21,8] | 3 | 20,4; 20,3; 21,2 |
| Пауза между токенами, 99-й процентиль, мс | 70 ± 80 | [−130; 270] | 3 | 20; 30; 160 |
| Скорость на пользователя, медиана, ток/с | 48,6 ± 1,2 | [45,6; 51,6] | 3 | 49,1; 49,5; 47,2 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 31,7 | [31,7; 31,7] | 3 | 31,7; 31,7; 31,7 |
| Пик памяти карты, ГиБ | 38,2 | [38,2; 38,2] | 3 | 38,2; 38,2; 38,2 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 2 850 |
| Первый токен, 95-й процентиль, мс | 4 560 |
| Полная задержка, медиана, мс | 9 230 |
| Полная задержка, 95-й процентиль, мс | 9 670 |
| Скорость на пользователя, медиана, ток/с | 47,3 |
вопрос по документу: вход 4 096, выход 300, c = 32
doc_qa-in4096-out300-c32; запросов в прогоне: 128, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 841 ± 4 | [830; 852] | 3 | 845; 842; 837 |
| Вход и выход, всего, ток/с | 12 330 ± 70 | [12 170; 12 490] | 3 | 12 390; 12 340; 12 260 |
| Запросов в секунду, запр/с | 2,805 ± 0,015 | [2,768; 2,842] | 3 | 2,818; 2,808; 2,789 |
| Первый токен, медиана, мс | 3 760 ± 190 | [3 280; 4 250] | 3 | 3 540; 3 870; 3 890 |
| Первый токен, 95-й процентиль, мс | 5 790 ± 70 | [5 610; 5 960] | 3 | 5 710; 5 810; 5 850 |
| Полная задержка, медиана, мс | 11 390 ± 90 | [11 160; 11 620] | 3 | 11 300; 11 380; 11 480 |
| Полная задержка, 95-й процентиль, мс | 12 900 ± 400 | [12 000; 13 800] | 3 | 13 300; 12 700; 12 600 |
| Время на токен, медиана, мс | 25,5 ± 0,4 | [24,4; 26,6] | 3 | 26,0; 25,2; 25,3 |
| Пауза между токенами, 99-й процентиль, мс | 402 ± 10 | [377; 426] | 3 | 394; 413; 398 |
| Скорость на пользователя, медиана, ток/с | 39,2 ± 0,7 | [37,5; 41,0] | 3 | 38,4; 39,7; 39,5 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 42,2 | [42,2; 42,2] | 3 | 42,2; 42,2; 42,2 |
| Пик памяти карты, ГиБ | 38,2 | [38,2; 38,2] | 3 | 38,2; 38,2; 38,2 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 3 630 |
| Первый токен, 95-й процентиль, мс | 5 790 |
| Полная задержка, медиана, мс | 11 400 |
| Полная задержка, 95-й процентиль, мс | 12 700 |
| Скорость на пользователя, медиана, ток/с | 38,6 |
вопрос по документу, открытая нагрузка: вход 4 096, выход 300, поток 0,15 запр/с
doc_qa_open-in4096-out300-r0.15; запросов в прогоне: 30, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 44,461 ± 0,007 | [44,443; 44,479] | 3 | 44,454; 44,461; 44,468 |
| Вход и выход, всего, ток/с | 651,50 ± 0,11 | [651,23; 651,77] | 3 | 651,39; 651,50; 651,61 |
| Запросов в секунду, запр/с | 0,148203 ± 0,000025 | [0,148142; 0,148264] | 3 | 0,148179; 0,148204; 0,148228 |
| Первый токен, медиана, мс | 295 ± 6 | [281; 308] | 3 | 289; 299; 296 |
| Первый токен, 95-й процентиль, мс | 340 ± 21 | [288; 392] | 3 | 362; 321; 338 |
| Полная задержка, медиана, мс | 2 442 ± 12 | [2 413; 2 470] | 3 | 2 451; 2 429; 2 446 |
| Полная задержка, 95-й процентиль, мс | 2 940 ± 70 | [2 780; 3 110] | 3 | 2 980; 2 980; 2 870 |
| Время на токен, медиана, мс | 7,19 ± 0,09 | [6,97; 7,40] | 3 | 7,27; 7,10; 7,18 |
| Пауза между токенами, 99-й процентиль, мс | 12,635 ± 0,014 | [12,600; 12,670] | 3 | 12,626; 12,651; 12,628 |
| Скорость на пользователя, медиана, ток/с | 139,2 ± 1,7 | [135,0; 143,4] | 3 | 137,5; 140,8; 139,2 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 3,91 ± 0,10 | [3,67; 4,14] | 3 | 3,96; 3,96; 3,80 |
| Пик памяти карты, ГиБ | 38,2 | [38,2; 38,2] | 3 | 38,2; 38,2; 38,2 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 297 |
| Первый токен, 95-й процентиль, мс | 336 |
| Полная задержка, медиана, мс | 2 440 |
| Полная задержка, 95-й процентиль, мс | 2 980 |
| Скорость на пользователя, медиана, ток/с | 141 |
вопрос по документу, открытая нагрузка: вход 4 096, выход 300, поток 0,3 запр/с
doc_qa_open-in4096-out300-r0.3; запросов в прогоне: 60, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 88,933 ± 0,009 | [88,910; 88,956] | 3 | 88,926; 88,929; 88,943 |
| Вход и выход, всего, ток/с | 1 303,16 ± 0,13 | [1 302,83; 1 303,50] | 3 | 1 303,06; 1 303,11; 1 303,31 |
| Запросов в секунду, запр/с | 0,29644 ± 0,00003 | [0,29637; 0,29652] | 3 | 0,29642; 0,29643; 0,29648 |
| Первый токен, медиана, мс | 290,0 ± 2,1 | [284,9; 295,1] | 3 | 290,1; 287,9; 292,0 |
| Первый токен, 95-й процентиль, мс | 410 ± 60 | [260; 560] | 3 | 420; 340; 460 |
| Полная задержка, медиана, мс | 2 710 ± 50 | [2 590; 2 840] | 3 | 2 660; 2 730; 2 760 |
| Полная задержка, 95-й процентиль, мс | 3 500 ± 300 | [2 800; 4 300] | 3 | 3 400; 3 900; 3 400 |
| Время на токен, медиана, мс | 7,98 ± 0,11 | [7,71; 8,24] | 3 | 7,86; 8,01; 8,06 |
| Пауза между токенами, 99-й процентиль, мс | 13,28 ± 0,10 | [13,03; 13,53] | 3 | 13,17; 13,35; 13,32 |
| Скорость на пользователя, медиана, ток/с | 125,4 ± 1,7 | [121,3; 129,5] | 3 | 127,3; 124,8; 124,1 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 6,9 ± 1,4 | [3,4; 10,3] | 3 | 5,3; 7,8; 7,6 |
| Пик памяти карты, ГиБ | 38,2 | [38,2; 38,2] | 3 | 38,2; 38,2; 38,2 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 290 |
| Первый токен, 95-й процентиль, мс | 420 |
| Полная задержка, медиана, мс | 2 720 |
| Полная задержка, 95-й процентиль, мс | 3 450 |
| Скорость на пользователя, медиана, ток/с | 126 |
вопрос по документу, открытая нагрузка: вход 4 096, выход 300, поток 0,45 запр/с
doc_qa_open-in4096-out300-r0.45; запросов в прогоне: 90, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 133,26 ± 0,18 | [132,81; 133,72] | 3 | 133,05; 133,36; 133,38 |
| Вход и выход, всего, ток/с | 1 952,8 ± 2,7 | [1 946,1; 1 959,5] | 3 | 1 949,7; 1 954,2; 1 954,5 |
| Запросов в секунду, запр/с | 0,4442 ± 0,0006 | [0,4427; 0,4457] | 3 | 0,4435; 0,4445; 0,4446 |
| Первый токен, медиана, мс | 291,8 ± 2,5 | [285,5; 298,1] | 3 | 289,4; 294,4; 291,5 |
| Первый токен, 95-й процентиль, мс | 410 ± 30 | [330; 490] | 3 | 440; 380; 400 |
| Полная задержка, медиана, мс | 2 870 ± 80 | [2 670; 3 060] | 3 | 2 900; 2 780; 2 930 |
| Полная задержка, 95-й процентиль, мс | 3 560 ± 150 | [3 190; 3 930] | 3 | 3 500; 3 730; 3 450 |
| Время на токен, медиана, мс | 8,55 ± 0,23 | [7,98; 9,13] | 3 | 8,66; 8,29; 8,71 |
| Пауза между токенами, 99-й процентиль, мс | 14,00 ± 0,26 | [13,37; 14,64] | 3 | 13,76; 14,27; 13,98 |
| Скорость на пользователя, медиана, ток/с | 117 ± 3 | [109; 125] | 3 | 115; 121; 115 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 6,9 ± 0,9 | [4,6; 9,1] | 3 | 6,4; 7,9; 6,3 |
| Пик памяти карты, ГиБ | 38,2 | [38,2; 38,2] | 3 | 38,2; 38,2; 38,2 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 292 |
| Первый токен, 95-й процентиль, мс | 412 |
| Полная задержка, медиана, мс | 2 880 |
| Полная задержка, 95-й процентиль, мс | 3 590 |
| Скорость на пользователя, медиана, ток/с | 116 |
Память
Старты идут парами: холодный, затем тёплый. Поля, которые после первого старта сервера отличаются больше чем на 1 %, показаны раздельно: после перезапуска (тёплый старт) и при первом старте (холодный, с компиляцией модели).
| Величина | После перезапуска (тёплый старт) | При первом старте (холодный) | n | Каждый старт |
|---|---|---|---|---|
| Веса, ГиБ | 21,3 — одинаково при обоих видах старта | 6 | 21,3; 21,3; 21,3; 21,3; 21,3; 21,3 | |
| KV-кэш, ГиБ | 12,2 | 10,1 | 6 | х 10,1; т 12,2; х 10,1; т 12,2; х 10,1; т 12,2 |
| KV-кэш по журналу vLLM, токенов | 592 000 | 487 000 | 6 | х 487 000; т 592 000; х 487 000; т 592 000; х 487 000; т 592 000 |
| Пик активаций, ГиБ | 1,585 ± 0,005 — одинаково при обоих видах старта | 6 | 1,590; 1,580; 1,590; 1,580; 1,590; 1,580 | |
| CUDA graphs, ГиБ | 0,110 — одинаково при обоих видах старта | 6 | 0,110; 0,110; 0,110; 0,110; 0,110; 0,110 | |
| Веса и память вне PyTorch, ГиБ | 22,5 | 24,7 | 6 | х 24,7; т 22,5; х 24,7; т 22,5; х 24,7; т 22,5 |
| Бюджет gpu_memory_utilization, ГиБ | 36,3 — одинаково при обоих видах старта | 6 | 36,3; 36,3; 36,3; 36,3; 36,3; 36,3 | |
| Объём карты по CUDA, ГиБ | 39,5 — одинаково при обоих видах старта | 6 | 39,5; 39,5; 39,5; 39,5; 39,5; 39,5 | |
| Свободно перед стартом, ГиБ | 39,1 — одинаково при обоих видах старта | 6 | 39,1; 39,1; 39,1; 39,1; 39,1; 39,1 | |
| Занято после старта (nvidia-smi), ГиБ | 35,470 ± 0,006 — одинаково при обоих видах старта | 6 | 35,476; 35,464; 35,476; 35,464; 35,476; 35,464 | |
| Пик под нагрузкой (nvidia-smi), ГиБ | 38,2 | 1 | 38,2 | |
х — холодный старт, т — тёплый.
Из журнала vLLM
- Блок внимания, токенов
- 1 056
- Режим кэша линейных слоёв
- —
- Выравнивание страниц линейных слоёв, %
- 0,76
- Раскладка KV-кэша
- LBNHC
- Ядро FP8
- —
- FP8 только для весов (Marlin)
- нет
- Токенов на запрос в отчёте vLLM
- 40 960
- Одновременных запросов по отчёту vLLM
- 14,45
- Версия движка
- 0.32.0
- Чекпойнт, ГиБ
- 23,71
- Пул CUDA graphs, ГиБ
- 0,11
Из отчёта серии
- «Вопросов по документу» одновременно: 75 — расчёт по замеру памяти; отчёт S1, раздел «Память и ёмкость».
- То же после первого старта сервера: 62 — расчёт по замеру памяти; отчёт S1, раздел «Память и ёмкость».
Качество
KL-дивергенция к BF16 считается сравнением двух замеров (run.py compare)
belebele_ru
lm-eval 0.4.13, 142 с.
Результаты по заданиям (1)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| belebele_rus_Cyrl | 900 | acc | 84,2 | 1,22 |
| belebele_rus_Cyrl | 900 | acc_norm | 84,2 | 1,22 |
global_mmlu_ru
lm-eval 0.4.13, 1 620 с.
Результаты по заданиям (62)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| global_mmlu_full_ru | 14 042 | acc | 77,4 | 0,339 |
| global_mmlu_full_ru_abstract_algebra | 100 | acc | 60,0 | 4,92 |
| global_mmlu_full_ru_anatomy | 135 | acc | 79,3 | 3,50 |
| global_mmlu_full_ru_astronomy | 152 | acc | 93,4 | 2,02 |
| global_mmlu_full_ru_business_ethics | 100 | acc | 79,0 | 4,09 |
| global_mmlu_full_ru_clinical_knowledge | 265 | acc | 83,4 | 2,29 |
| global_mmlu_full_ru_college_biology | 144 | acc | 93,8 | 2,02 |
| global_mmlu_full_ru_college_chemistry | 100 | acc | 56,0 | 4,99 |
| global_mmlu_full_ru_college_computer_science | 100 | acc | 75,0 | 4,35 |
| global_mmlu_full_ru_college_mathematics | 100 | acc | 62,0 | 4,88 |
| global_mmlu_full_ru_college_medicine | 173 | acc | 79,8 | 3,06 |
| global_mmlu_full_ru_college_physics | 102 | acc | 71,6 | 4,49 |
| global_mmlu_full_ru_computer_security | 100 | acc | 84,0 | 3,68 |
| global_mmlu_full_ru_conceptual_physics | 235 | acc | 90,2 | 1,94 |
| global_mmlu_full_ru_econometrics | 114 | acc | 73,7 | 4,14 |
| global_mmlu_full_ru_electrical_engineering | 145 | acc | 79,3 | 3,38 |
| global_mmlu_full_ru_elementary_mathematics | 378 | acc | 80,4 | 2,04 |
| global_mmlu_full_ru_formal_logic | 126 | acc | 64,3 | 4,29 |
| global_mmlu_full_ru_global_facts | 100 | acc | 55,0 | 5,00 |
| global_mmlu_full_ru_high_school_biology | 310 | acc | 94,8 | 1,26 |
| global_mmlu_full_ru_high_school_chemistry | 203 | acc | 80,8 | 2,77 |
| global_mmlu_full_ru_high_school_computer_science | 100 | acc | 89,0 | 3,14 |
| global_mmlu_full_ru_high_school_european_history | 165 | acc | 83,0 | 2,93 |
| global_mmlu_full_ru_high_school_geography | 198 | acc | 85,9 | 2,48 |
| global_mmlu_full_ru_high_school_government_and_politics | 193 | acc | 87,0 | 2,42 |
| global_mmlu_full_ru_high_school_macroeconomics | 390 | acc | 83,6 | 1,88 |
| global_mmlu_full_ru_high_school_mathematics | 270 | acc | 58,1 | 3,01 |
| global_mmlu_full_ru_high_school_microeconomics | 238 | acc | 89,5 | 1,99 |
| global_mmlu_full_ru_high_school_physics | 151 | acc | 80,1 | 3,26 |
| global_mmlu_full_ru_high_school_psychology | 545 | acc | 88,8 | 1,35 |
| global_mmlu_full_ru_high_school_statistics | 216 | acc | 77,8 | 2,84 |
| global_mmlu_full_ru_high_school_us_history | 204 | acc | 91,2 | 1,99 |
| global_mmlu_full_ru_high_school_world_history | 237 | acc | 91,1 | 1,85 |
| global_mmlu_full_ru_human_aging | 223 | acc | 74,4 | 2,93 |
| global_mmlu_full_ru_human_sexuality | 131 | acc | 84,0 | 3,22 |
| global_mmlu_full_ru_humanities | 4 705 | acc | 70,5 | 0,643 |
| global_mmlu_full_ru_international_law | 121 | acc | 88,4 | 2,92 |
| global_mmlu_full_ru_jurisprudence | 108 | acc | 82,4 | 3,68 |
| global_mmlu_full_ru_logical_fallacies | 163 | acc | 77,9 | 3,26 |
| global_mmlu_full_ru_machine_learning | 112 | acc | 69,6 | 4,36 |
| global_mmlu_full_ru_management | 103 | acc | 86,4 | 3,39 |
| global_mmlu_full_ru_marketing | 234 | acc | 93,2 | 1,65 |
| global_mmlu_full_ru_medical_genetics | 100 | acc | 92,0 | 2,73 |
| global_mmlu_full_ru_miscellaneous | 783 | acc | 84,4 | 1,30 |
| global_mmlu_full_ru_moral_disputes | 346 | acc | 71,4 | 2,43 |
| global_mmlu_full_ru_moral_scenarios | 895 | acc | 59,9 | 1,64 |
| global_mmlu_full_ru_nutrition | 306 | acc | 86,6 | 1,95 |
| global_mmlu_full_ru_other | 3 107 | acc | 80,1 | 0,685 |
| global_mmlu_full_ru_philosophy | 311 | acc | 79,4 | 2,30 |
| global_mmlu_full_ru_prehistory | 324 | acc | 85,2 | 1,98 |
| global_mmlu_full_ru_professional_accounting | 282 | acc | 59,9 | 2,92 |
| global_mmlu_full_ru_professional_law | 1 534 | acc | 60,4 | 1,25 |
| global_mmlu_full_ru_professional_medicine | 272 | acc | 91,5 | 1,69 |
| global_mmlu_full_ru_professional_psychology | 612 | acc | 78,6 | 1,66 |
| global_mmlu_full_ru_public_relations | 110 | acc | 65,5 | 4,55 |
| global_mmlu_full_ru_security_studies | 245 | acc | 79,6 | 2,58 |
| global_mmlu_full_ru_social_sciences | 3 077 | acc | 83,3 | 0,666 |
| global_mmlu_full_ru_sociology | 201 | acc | 85,1 | 2,52 |
| global_mmlu_full_ru_stem | 3 153 | acc | 79,2 | 0,694 |
| global_mmlu_full_ru_us_foreign_policy | 100 | acc | 90,0 | 3,02 |
| global_mmlu_full_ru_virology | 166 | acc | 51,8 | 3,89 |
| global_mmlu_full_ru_world_religions | 171 | acc | 83,0 | 2,88 |
mgsm_ru
lm-eval 0.4.13, 129 с.
Результаты по заданиям (1)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| mgsm_native_cot_ru | 250 | exact_match/flexible-extract | 79,2 | 2,57 |
| mgsm_native_cot_ru | 250 | exact_match/strict-match | 0 | 0 |
bfcl
bfcl-eval 2026.3.23, 474 с; native function calling: /v1/chat/completions с tools, без tool_choice; temperature 0; отдельный старт сервера: аргументы замера плюс --enable-auto-tool-choice --tool-call-parser qwen3_coder.
Результаты по заданиям (10)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| Вызов инструментов: не вызывать, если не нужноbfcl_irrelevance | 240 | acc | 90,4 | 1,90 |
| Вызов инструментов: реальные запросы, выбор функцииbfcl_live_multiple | 1 053 | acc | 78,1 | 1,28 |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl_live_parallel | 16 | acc | 81,3 | 9,76 |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl_live_parallel_multiple | 24 | acc | 79,2 | 8,29 |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl_live_relevance | 16 | acc | 81,3 | 9,76 |
| Вызов инструментов: реальные запросы, одна функцияbfcl_live_simple | 258 | acc | 81,8 | 2,40 |
| Вызов инструментов: выбор из нескольких функцийbfcl_multiple | 200 | acc | 87,5 | 2,34 |
| Вызов инструментов: несколько вызовов сразуbfcl_parallel | 200 | acc | 91,0 | 2,02 |
| Вызов инструментов: несколько вызовов разных функцийbfcl_parallel_multiple | 200 | acc | 89,5 | 2,17 |
| Вызов инструментов: одна функцияbfcl_simple_python | 400 | acc | 92,8 | 1,30 |
Для KL собрано: 68 806 позиций в 121 фрагментах, top-20.
Сравнение на одних вопросах: эталон Qwen3.8-27BINT4 AWQ g32, вариант Qwen3.6-35B-A3BINT4 AWQ g128
Против Qwen3.8-27BINT4 AWQ g32.
| Набор | Вопросов | Эталон, % | Вариант, % | Разность | Интервал | p | Исход |
|---|---|---|---|---|---|---|---|
| Belebele ru, понимание текстаbelebele_ru (acc) | 900 | 91,9 | 84,2 | −7,7 | [−9,8; −5,7] | 4,22·10⁻¹³ | разность есть |
| Global-MMLU ru, знанияglobal_mmlu_ru (acc) | 14 042 | 77,0 | 77,4 | +0,4 | [−0,3; +1,0] | 0,258 | в пределах шума |
| MGSM ru, арифметика, число из строки «Ответ»mgsm_ru / flexible-extract (exact_match_answer_line) | 250 | 92,0 | 90,4 | −1,6 | [−4,4; +0,8] | 0,344 | в пределах шума |
| mgsm_ru / flexible-extract (exact_match) | 250 | 79,2 | 79,2 | 0 | [−3; +3] | 1,00 | в пределах шума |
| mgsm_ru / strict-match (exact_match) | 250 | 0 | 0 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: все заданияbfcl / all (acc) | 2 607 | 84,1 | 84,5 | +0,3 | [−1,0; +1,8] | 0,668 | в пределах шума |
| Вызов инструментов: одна функцияbfcl / simple_python (acc) | 400 | 97,0 | 92,8 | −4,3 | [−7,0; −1,8] | 0,00232 | разность есть |
| Вызов инструментов: выбор из нескольких функцийbfcl / multiple (acc) | 200 | 97,5 | 87,5 | −10 | [−15; −6] | 1,10·10⁻⁵ | разность есть |
| Вызов инструментов: несколько вызовов сразуbfcl / parallel (acc) | 200 | 75,0 | 91,0 | +16 | [+10; +22] | 4,43·10⁻⁷ | разность есть |
| Вызов инструментов: не вызывать, если не нужноbfcl / irrelevance (acc) | 240 | 72,5 | 90,4 | +18 | [+13; +23] | 2,61·10⁻¹² | разность есть |
| Вызов инструментов: несколько вызовов разных функцийbfcl / parallel_multiple (acc) | 200 | 86,5 | 89,5 | +3 | [−2; +8] | 0,263 | в пределах шума |
| Вызов инструментов: реальные запросы, одна функцияbfcl / live_simple (acc) | 258 | 86,8 | 81,8 | −5 | [−10; 0] | 0,0533 | разность есть |
| Вызов инструментов: реальные запросы, выбор функцииbfcl / live_multiple (acc) | 1 053 | 80,3 | 78,1 | −2,3 | [−4,6; −0,2] | 0,0498 | разность есть |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl / live_parallel (acc) | 16 | 87,5 | 81,3 | −6 | [−31; +19] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl / live_parallel_multiple (acc) | 24 | 75,0 | 79,2 | +4 | [−8; +21] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl / live_relevance (acc) | 16 | 68,8 | 81,3 | +13 | [−6; +38] | 0,625 | в пределах шума |
KL между разными моделями не приводим: сравнивать их распределения по токенам некорректно.
Сравнение на одних вопросах: эталон Qwen3.6-35B-A3BFP8, вариант Qwen3.6-35B-A3BINT4 AWQ g128
Против Qwen3.6-35B-A3BFP8.
| Набор | Вопросов | Эталон, % | Вариант, % | Разность | Интервал | p | Исход |
|---|---|---|---|---|---|---|---|
| Belebele ru, понимание текстаbelebele_ru (acc) | 900 | 84,0 | 84,2 | +0,2 | [−1,2; +1,7] | 0,878 | в пределах шума |
| Global-MMLU ru, знанияglobal_mmlu_ru (acc) | 14 042 | 77,6 | 77,4 | −0,3 | [−0,6; +0,1] | 0,161 | в пределах шума |
| MGSM ru, арифметика, число из строки «Ответ»mgsm_ru / flexible-extract (exact_match_answer_line) | 250 | 90,8 | 90,4 | −0,4 | [−2,8; +2,0] | 1,00 | в пределах шума |
| mgsm_ru / flexible-extract (exact_match) | 250 | 80,4 | 79,2 | −1,2 | [−4,0; +1,6] | 0,581 | в пределах шума |
| mgsm_ru / strict-match (exact_match) | 250 | 0 | 0 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: все заданияbfcl / all (acc) | 2 607 | 84,7 | 84,5 | −0,2 | [−1,0; +0,5] | 0,614 | в пределах шума |
| Вызов инструментов: одна функцияbfcl / simple_python (acc) | 400 | 93,3 | 92,8 | −0,5 | [−2,0; +0,8] | 0,727 | в пределах шума |
| Вызов инструментов: выбор из нескольких функцийbfcl / multiple (acc) | 200 | 90,0 | 87,5 | −2,5 | [−5,0; −0,5] | 0,0625 | разность есть |
| Вызов инструментов: несколько вызовов сразуbfcl / parallel (acc) | 200 | 91,0 | 91,0 | 0 | [−4; +3] | 1,00 | в пределах шума |
| Вызов инструментов: не вызывать, если не нужноbfcl / irrelevance (acc) | 240 | 89,2 | 90,4 | +1,3 | [−0,4; +3,3] | 0,375 | в пределах шума |
| Вызов инструментов: несколько вызовов разных функцийbfcl / parallel_multiple (acc) | 200 | 90,5 | 89,5 | −1,0 | [−2,5; 0,0] | 0,500 | в пределах шума |
| Вызов инструментов: реальные запросы, одна функцияbfcl / live_simple (acc) | 258 | 81,0 | 81,8 | +1 | [−3; +4] | 0,832 | в пределах шума |
| Вызов инструментов: реальные запросы, выбор функцииbfcl / live_multiple (acc) | 1 053 | 78,2 | 78,1 | −0,1 | [−1,3; +1,1] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl / live_parallel (acc) | 16 | 81,3 | 81,3 | 0 | [−19; +19] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl / live_parallel_multiple (acc) | 24 | 79,2 | 79,2 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl / live_relevance (acc) | 16 | 87,5 | 81,3 | −6 | [−19; 0] | 1,00 | в пределах шума |
Расхождение распределений на каждом токене: KL 0,0332 нат в среднем, 0,530 нат на 99-м процентиле; первый токен совпал в 95,1 % позиций (68 806 позиций). По фрагментам: 0,033 ± 0,014 [0,031; 0,036], n = 121.
Что не измеряли
- качество в режиме thinking и на агентных задачах: замеряется без thinking, на открытых русских наборах
- больше 32 одновременных запросов
- влияние содержания промпта на скорость: без спекулятивного декодирования оно определяется числом токенов, а не текстом
- попадания в кэш префиксов: prefix caching выключен, промпты уникальны
- спекулятивное декодирование (MTP-голова модели)
- задержка сети до клиента: клиент на том же сервере
- старт после перезагрузки: при холодном старте вытесняются только веса и кэш компиляции, образ docker и библиотеки могут быть в кэше ОС
- параметры семплирования: только жадное декодирование (temperature 0)
- энергопотребление как метрика: мощность пишется только как условие
- долговременная стабильность
Замечания
- готовый квант QuantTrio: AWQ INT4, группа 128, асимметричный — только маршрутизируемые эксперты; внимание, общий эксперт, роутер и слой 0 остаются в BF16