Весовые категорииДве A100 SXM4 40GB, NVLink09.11.2026

Qwen3.6-35B-A3B FP8 (MoE, официальная) на двух A100 SXM4 40GB (TP=2, NVLink): скорость, память, качество

Qwen3.6-35B-A3B, MoE, 3BFP8

блоки 128×128
только веса
официальный
2× A100 40GB, NVLink
vLLM 0.32.0

Редакция 1, проверен, серия S1

Условия

Что измеряли: скорость, память, качество.

Модель: Qwen/Qwen3.6-35B-A3B-FP8, ревизия 95a723d08a9490559dae23d0cff1d9466213d989
Архитектура: Qwen3_5MoeForConditionalGeneration: full_attention 10, linear_attention 30, total 40
Лицензия: apache-2.0
Что загружено: только языковая часть (--language-model-only): визуальный энкодер не загружается; MTP-голова не используется (спекулятивное декодирование выключено)
Квантование: fp8, e4m3, блоки 128×128, активации: dynamic; ядро MarlinFP8ScaledMMLinearKernel; квантованы только веса
Не квантованы (25)
embed_tokens, input_layernorm, linear_attn.A_log, linear_attn.conv1d, linear_attn.dt_bias, linear_attn.in_proj_a, linear_attn.in_proj_b, linear_attn.in_proj_ba, linear_attn.norm, lm_head, mlp.gate, mlp.shared_expert_gate, mtp.fc, mtp.layers.N.input_layernorm, mtp.layers.N.mlp.gate, mtp.layers.N.mlp.shared_expert_gate, mtp.layers.N.post_attention_layernorm, mtp.layers.N.self_attn.k_norm, mtp.layers.N.self_attn.q_norm, mtp.norm, mtp.pre_fc_norm_embedding, mtp.pre_fc_norm_hidden, post_attention_layernorm, self_attn.k_norm, self_attn.q_norm
KV-кэш: bfloat16
Движок: vLLM 0.32.0, образ vllm/vllm-openai:v0.32.0 (sha256:befccf0e7e4089aa23926bb6f887a85c0d46c2a99e6de5c5ffdf5cb7957c5b34)
Версии программ: PyTorch 2.13.0+cu130, CUDA runtime 13.0.2, Transformers 5.19.0, драйвер 580.178.04, CUDA драйвера 13.0
Карты: 2 × NVIDIA A100-SXM4-40GB, 40 960 МиБ по nvidia-smi, 39,49 ГиБ по CUDA; связь между картами: NVLink (NV11)
Запуск: TP 2, контекст до 40 960 токенов, до 32 запросов одновременно, префилл блоками до 16 384 токенов, gpu_memory_utilization 0,92, dtype bfloat16, KV-кэш auto, кэш префиксов: нет, CUDA graphs: да, спекулятивное декодирование: нет, seed 42
Режим thinking: выключен: шаблон чата с enable_thinking=false (качество); скорость — /v1/completions без шаблона чата
Нагрузка: vllm bench serve 0.32.0, /v1/completions; random: синтетические токены, уникальный сдвиг на запрос, без общего префикса; ignore_eos: да, temperature 0; закрытый цикл: не больше c запросов в полёте (--max-concurrency c, --request-rate inf); точки -r<R> — открытая нагрузка: пуассоновский поток R запросов/с (--request-rate R --burstiness 1), без ограничения одновременных; R = 0.15, 0.3, 0.45; клиент: тот же сервер, сеть хоста
План: 3 повтора каждой точки, прогрев 1; блоки повторов, внутри блока точки в случайном порядке (seed 20261109); пар стартов 3; опрос датчиков каждые 0,5 с
Протокол: 1.0, стенд 1.0.0 (cbcbe491ed2262e342e976bbbb16d27f6132a3016ef12a11141128967012dc1c); план s1-qwen3.6-35b-a3b-fp8-tp2 (3078d607a73fb92ba801f6a9ceb086b33a972761dc7d12f339b001a6cf3ba7da)

Команда запуска

Аргументы сервера внутри контейнера; адрес и порт сервера опущены.

/model --served-model-name Qwen/Qwen3.6-35B-A3B-FP8 --tensor-parallel-size 2 --max-model-len 40960 --max-num-seqs 32 --max-num-batched-tokens 16384 --gpu-memory-utilization 0.92 --dtype bfloat16 --load-format safetensors --no-trust-remote-code --language-model-only --generation-config vllm --seed 42 --no-enable-prefix-caching --default-chat-template-kwargs '{"enable_thinking": false}' --max-logprobs 20 --quantization fp8

Проверки

Упор в предел мощности: 8,98 % отсчётов
Аппаратное замедление: 0 % отсчётов
Тепловое ограничение (программное): 0 % отсчётов
Тепловое ограничение (аппаратное): 0 % отсчётов
Аварийное снижение мощности: 0 % отсчётов
Температура карты, максимум: 82,0 °C
Мощность, максимум: 333 Вт при пределе 400 Вт
Неудачные старты: нет
Итог сессии: замер завершён
Исключённые прогоны: нет

Проверки по точкам нагрузки
Точка	Прогонов зачтено / исключено	Длина ответов точная	Счётчик сервера совпал
single-in1024-out512-c1	3 / 0	да	да
single-in8192-out512-c1	3 / 0	да	да
single-in32768-out512-c1	3 / 0	да	да
doc_qa-in4096-out300-c1	3 / 0	да	да
doc_qa-in4096-out300-c2	3 / 0	да	да
doc_qa-in4096-out300-c4	3 / 0	да	да
doc_qa-in4096-out300-c8	3 / 0	да	да
doc_qa-in4096-out300-c12	3 / 0	да	да
doc_qa-in4096-out300-c16	3 / 0	да	да
doc_qa-in4096-out300-c24	3 / 0	да	да
doc_qa-in4096-out300-c32	3 / 0	да	да
doc_qa_open-in4096-out300-r0.15	3 / 0	да	да
doc_qa_open-in4096-out300-r0.3	3 / 0	да	да
doc_qa_open-in4096-out300-r0.45	3 / 0	да	да

Старты

Холодный старт

веса вытеснены из страничного кэша ОС, кэш компиляции vLLM пуст, контейнер новый

Холодный старт
Величина	Среднее ± sd	95 % интервал	n	Каждый прогон
До ответа /health, с	216,25 ± 0,23	[215,69; 216,81]	3	216,44; 216,30; 216,00
До первого токена, с	216,37 ± 0,22	[215,83; 216,90]	3	216,55; 216,41; 216,13
Загрузка весов, с	31,8 ± 1,1	[29,1; 34,5]	3	32,9; 30,7; 31,8
Загрузка модели, с	37,0 ± 1,2	[34,1; 39,9]	3	38,1; 35,7; 37,1
torch.compile, с	28,46 ± 0,21	[27,95; 28,97]	3	28,66; 28,46; 28,25
Профилирование памяти, с	81,4 ± 0,9	[79,3; 83,5]	3	81,5; 82,2; 80,5
Захват CUDA graphs, с	20,0	[20,0; 20,0]	3	20,0; 20,0; 20,0
Инициализация движка, с	129,0 ± 1,2	[125,9; 132,1]	3	128,6; 130,4; 128,0
Весов в кэше ОС перед стартом, %	100,000 ± 0,000	[100,000; 100,000]	3	100,000; 100,000; 100,000

Тёплый старт

сразу после холодного: тот же кэш компиляции, веса в страничном кэше, контейнер новый

Тёплый старт
Величина	Среднее ± sd	95 % интервал	n	Каждый прогон
До ответа /health, с	79,0 ± 2,3	[73,2; 84,7]	3	81,6; 77,9; 77,4
До первого токена, с	79,1 ± 2,3	[73,3; 84,8]	3	81,7; 78,0; 77,5
Загрузка весов, с	19,8 ± 1,7	[15,7; 24,0]	3	21,7; 18,5; 19,3
Загрузка модели, с	24,5 ± 1,0	[22,1; 27,0]	3	25,5; 23,5; 24,6
torch.compile, с	0,77 ± 0,07	[0,60; 0,95]	3	0,78; 0,84; 0,70
Профилирование памяти, с	1,31 ± 0,12	[1,01; 1,61]	3	1,44; 1,20; 1,29
Захват CUDA graphs, с	14,7 ± 0,6	[13,2; 16,1]	3	15,0; 15,0; 14,0
Инициализация движка, с	13,9 ± 0,7	[12,1; 15,8]	3	14,6; 14,0; 13,2
Весов в кэше ОС перед стартом, %	100,000 ± 0,000	[100,000; 100,000]	3	100,000; 100,000; 100,000

Точки нагрузки

один поток: вход 1 024, выход 512, c = 1

single-in1024-out512-c1; запросов в прогоне: 4, прогонов зачтено: 3.

single-in1024-out512-c1
Величина	Среднее ± sd	95 % интервал	n	Каждый прогон
Выход, всего, ток/с	166,89 ± 0,17	[166,45; 167,32]	3	167,03; 166,69; 166,93
Вход и выход, всего, ток/с	500,7 ± 0,5	[499,4; 501,9]	3	501,1; 500,1; 500,8
Запросов в секунду, запр/с	0,3259 ± 0,0003	[0,3251; 0,3268]	3	0,3262; 0,3256; 0,3260
Первый токен, медиана, мс	126,0 ± 1,7	[121,7; 130,2]	3	124,0; 127,3; 126,5
Первый токен, 95-й процентиль, мс	141 ± 4	[131; 151]	3	139; 146; 139
Полная задержка, медиана, мс	3 055,8 ± 2,0	[3 051,0; 3 060,7]	3	3 055,1; 3 054,4; 3 058,1
Полная задержка, 95-й процентиль, мс	3 101 ± 13	[3 068; 3 133]	3	3 093; 3 116; 3 094
Время на токен, медиана, мс	5,7365 ± 0,0005	[5,7352; 5,7377]	3	5,7359; 5,7366; 5,7369
Пауза между токенами, 99-й процентиль, мс	10,74 ± 0,18	[10,28; 11,20]	3	10,85; 10,53; 10,85
Скорость на пользователя, медиана, ток/с	174,324 ± 0,015	[174,286; 174,362]	3	174,341; 174,320; 174,311
Вытеснения	0	[0; 0]	3	0; 0; 0
Пик занятости KV-кэша, %	0,293	[0,293; 0,293]	3	0,293; 0,293; 0,293
Пик памяти карты, ГиБ	38,6637 ± 0,0023	[38,6581; 38,6693]	3	38,6611; 38,6650; 38,6650

По всем запросам зачтённых прогонов (12)
Величина	Значение
Первый токен, медиана, мс	124
Первый токен, 95-й процентиль, мс	145
Полная задержка, медиана, мс	3 060
Полная задержка, 95-й процентиль, мс	3 110
Скорость на пользователя, медиана, ток/с	174

один поток: вход 8 192, выход 512, c = 1

single-in8192-out512-c1; запросов в прогоне: 4, прогонов зачтено: 3.

single-in8192-out512-c1
Величина	Среднее ± sd	95 % интервал	n	Каждый прогон
Выход, всего, ток/с	153,66 ± 0,07	[153,49; 153,83]	3	153,69; 153,58; 153,71
Вход и выход, всего, ток/с	2 612,2 ± 1,2	[2 609,3; 2 615,1]	3	2 612,7; 2 610,9; 2 613,1
Запросов в секунду, запр/с	0,30012 ± 0,00013	[0,29978; 0,30045]	3	0,30017; 0,29997; 0,30022
Первый токен, медиана, мс	371,3 ± 2,8	[364,2; 378,3]	3	368,0; 372,8; 373,0
Первый токен, 95-й процентиль, мс	401 ± 8	[381; 422]	3	400; 394; 410
Полная задержка, медиана, мс	3 325,7 ± 1,5	[3 321,9; 3 329,4]	3	3 324,1; 3 327,1; 3 325,9
Полная задержка, 95-й процентиль, мс	3 354 ± 7	[3 337; 3 372]	3	3 350; 3 351; 3 362
Время на токен, медиана, мс	5,7821 ± 0,0014	[5,7785; 5,7856]	3	5,7832; 5,7825; 5,7805
Пауза между токенами, 99-й процентиль, мс	10,88 ± 0,18	[10,43; 11,33]	3	10,67; 11,00; 10,96
Скорость на пользователя, медиана, ток/с	172,95 ± 0,04	[172,84; 173,06]	3	172,91; 172,94; 173,00
Вытеснения	0	[0; 0]	3	0; 0; 0
Пик занятости KV-кэша, %	0,702	[0,702; 0,702]	3	0,702; 0,702; 0,702
Пик памяти карты, ГиБ	38,6637 ± 0,0023	[38,6581; 38,6693]	3	38,6611; 38,6650; 38,6650

По всем запросам зачтённых прогонов (12)
Величина	Значение
Первый токен, медиана, мс	371
Первый токен, 95-й процентиль, мс	410
Полная задержка, медиана, мс	3 330
Полная задержка, 95-й процентиль, мс	3 360
Скорость на пользователя, медиана, ток/с	173

один поток: вход 32 768, выход 512, c = 1

single-in32768-out512-c1; запросов в прогоне: 4, прогонов зачтено: 3.

single-in32768-out512-c1
Величина	Среднее ± sd	95 % интервал	n	Каждый прогон
Выход, всего, ток/с	109,0 ± 0,3	[108,2; 109,9]	3	109,1; 108,7; 109,3
Вход и выход, всего, ток/с	7 086 ± 23	[7 030; 7 142]	3	7 088; 7 063; 7 108
Запросов в секунду, запр/с	0,2129 ± 0,0007	[0,2112; 0,2146]	3	0,2130; 0,2122; 0,2136
Первый токен, медиана, мс	1 640 ± 20	[1 591; 1 689]	3	1 633; 1 662; 1 625
Первый токен, 95-й процентиль, мс	1 690 ± 30	[1 610; 1 760]	3	1 680; 1 720; 1 660
Полная задержка, медиана, мс	4 692 ± 16	[4 652; 4 732]	3	4 689; 4 709; 4 677
Полная задержка, 95-й процентиль, мс	4 730 ± 28	[4 661; 4 800]	3	4 732; 4 757; 4 701
Время на токен, медиана, мс	5,968 ± 0,014	[5,934; 6,001]	3	5,978; 5,952; 5,972
Пауза между токенами, 99-й процентиль, мс	11,06 ± 0,06	[10,92; 11,21]	3	11,13; 11,04; 11,02
Скорость на пользователя, медиана, ток/с	167,6 ± 0,4	[166,6; 168,5]	3	167,3; 168,0; 167,5
Вытеснения	0	[0; 0]	3	0; 0; 0
Пик занятости KV-кэша, %	2,05	[2,05; 2,05]	3	2,05; 2,05; 2,05
Пик памяти карты, ГиБ	38,6637 ± 0,0023	[38,6581; 38,6693]	3	38,6611; 38,6650; 38,6650

По всем запросам зачтённых прогонов (12)
Величина	Значение
Первый токен, медиана, мс	1 630
Первый токен, 95-й процентиль, мс	1 710
Полная задержка, медиана, мс	4 680
Полная задержка, 95-й процентиль, мс	4 750
Скорость на пользователя, медиана, ток/с	167

вопрос по документу: вход 4 096, выход 300, c = 1

doc_qa-in4096-out300-c1; запросов в прогоне: 8, прогонов зачтено: 3.

doc_qa-in4096-out300-c1
Величина	Среднее ± sd	95 % интервал	n	Каждый прогон
Выход, всего, ток/с	155,7 ± 0,5	[154,4; 157,1]	3	155,8; 155,1; 156,2
Вход и выход, всего, ток/с	2 282 ± 8	[2 262; 2 302]	3	2 284; 2 273; 2 289
Запросов в секунду, запр/с	0,5191 ± 0,0018	[0,5146; 0,5236]	3	0,5195; 0,5172; 0,5207
Первый токен, медиана, мс	208 ± 7	[191; 226]	3	204; 216; 204
Первый токен, 95-й процентиль, мс	222 ± 6	[207; 237]	3	225; 226; 215
Полная задержка, медиана, мс	1 924 ± 7	[1 906; 1 942]	3	1 922; 1 932; 1 918
Полная задержка, 95-й процентиль, мс	1 946 ± 5	[1 932; 1 959]	3	1 949; 1 949; 1 940
Время на токен, медиана, мс	5,7403 ± 0,0021	[5,7350; 5,7456]	3	5,7428; 5,7391; 5,7391
Пауза между токенами, 99-й процентиль, мс	10,89 ± 0,05	[10,77; 11,02]	3	10,88; 10,85; 10,95
Скорость на пользователя, медиана, ток/с	174,21 ± 0,07	[174,05; 174,37]	3	174,13; 174,25; 174,25
Вытеснения	0	[0; 0]	3	0; 0; 0
Пик занятости KV-кэша, %	0,468	[0,468; 0,468]	3	0,468; 0,468; 0,468
Пик памяти карты, ГиБ	38,7	[38,7; 38,7]	3	38,7; 38,7; 38,7

По всем запросам зачтённых прогонов (24)
Величина	Значение
Первый токен, медиана, мс	207
Первый токен, 95-й процентиль, мс	227
Полная задержка, медиана, мс	1 920
Полная задержка, 95-й процентиль, мс	1 950
Скорость на пользователя, медиана, ток/с	174

вопрос по документу: вход 4 096, выход 300, c = 2

doc_qa-in4096-out300-c2; запросов в прогоне: 8, прогонов зачтено: 3.

doc_qa-in4096-out300-c2
Величина	Среднее ± sd	95 % интервал	n	Каждый прогон
Выход, всего, ток/с	266,26 ± 0,21	[265,72; 266,79]	3	266,28; 266,03; 266,46
Вход и выход, всего, ток/с	3 902 ± 3	[3 894; 3 909]	3	3 902; 3 898; 3 904
Запросов в секунду, запр/с	0,8875 ± 0,0007	[0,8857; 0,8893]	3	0,8876; 0,8868; 0,8882
Первый токен, медиана, мс	287,2 ± 1,9	[282,4; 292,0]	3	287,8; 288,7; 285,0
Первый токен, 95-й процентиль, мс	387 ± 4	[377; 397]	3	382; 388; 390
Полная задержка, медиана, мс	2 240 ± 4	[2 230; 2 250]	3	2 242; 2 243; 2 236
Полная задержка, 95-й процентиль, мс	2 294 ± 9	[2 272; 2 317]	3	2 289; 2 289; 2 305
Время на токен, медиана, мс	6,5796 ± 0,0021	[6,5745; 6,5848]	3	6,5795; 6,5818; 6,5776
Пауза между токенами, 99-й процентиль, мс	11,47 ± 0,07	[11,29; 11,65]	3	11,43; 11,43; 11,56
Скорость на пользователя, медиана, ток/с	152,19 ± 0,04	[152,08; 152,30]	3	152,19; 152,15; 152,24
Вытеснения	0	[0; 0]	3	0; 0; 0
Пик занятости KV-кэша, %	0,936	[0,936; 0,936]	3	0,936; 0,936; 0,936
Пик памяти карты, ГиБ	38,6637 ± 0,0023	[38,6581; 38,6693]	3	38,6611; 38,6650; 38,6650

По всем запросам зачтённых прогонов (24)
Величина	Значение
Первый токен, медиана, мс	285
Первый токен, 95-й процентиль, мс	406
Полная задержка, медиана, мс	2 240
Полная задержка, 95-й процентиль, мс	2 300
Скорость на пользователя, медиана, ток/с	152

вопрос по документу: вход 4 096, выход 300, c = 4

doc_qa-in4096-out300-c4; запросов в прогоне: 16, прогонов зачтено: 3.

doc_qa-in4096-out300-c4
Величина	Среднее ± sd	95 % интервал	n	Каждый прогон
Выход, всего, ток/с	435,0 ± 1,6	[431,1; 438,9]	3	435,8; 436,0; 433,2
Вход и выход, всего, ток/с	6 374 ± 23	[6 318; 6 431]	3	6 385; 6 389; 6 348
Запросов в секунду, запр/с	1,450 ± 0,005	[1,437; 1,463]	3	1,453; 1,453; 1,444
Первый токен, медиана, мс	614,8 ± 1,7	[610,5; 619,1]	3	615,0; 613,0; 616,4
Первый токен, 95-й процентиль, мс	682 ± 4	[672; 693]	3	687; 681; 679
Полная задержка, медиана, мс	2 739 ± 16	[2 700; 2 778]	3	2 731; 2 730; 2 757
Полная задержка, 95-й процентиль, мс	2 820 ± 5	[2 808; 2 833]	3	2 825; 2 821; 2 815
Время на токен, медиана, мс	7,11 ± 0,04	[7,01; 7,22]	3	7,09; 7,09; 7,16
Пауза между токенами, 99-й процентиль, мс	12,3 ± 0,3	[11,5; 13,1]	3	12,0; 12,2; 12,6
Скорость на пользователя, медиана, ток/с	140,6 ± 0,8	[138,5; 142,6]	3	141,0; 141,1; 139,6
Вытеснения	0	[0; 0]	3	0; 0; 0
Пик занятости KV-кэша, %	1,87	[1,87; 1,87]	3	1,87; 1,87; 1,87
Пик памяти карты, ГиБ	38,6637 ± 0,0023	[38,6581; 38,6693]	3	38,6611; 38,6650; 38,6650

По всем запросам зачтённых прогонов (48)
Величина	Значение
Первый токен, медиана, мс	615
Первый токен, 95-й процентиль, мс	685
Полная задержка, медиана, мс	2 740
Полная задержка, 95-й процентиль, мс	2 820
Скорость на пользователя, медиана, ток/с	140

вопрос по документу: вход 4 096, выход 300, c = 8

doc_qa-in4096-out300-c8; запросов в прогоне: 32, прогонов зачтено: 3.

doc_qa-in4096-out300-c8
Величина	Среднее ± sd	95 % интервал	n	Каждый прогон
Выход, всего, ток/с	651,4 ± 1,8	[646,8; 655,9]	3	649,6; 653,3; 651,2
Вход и выход, всего, ток/с	9 545 ± 27	[9 478; 9 611]	3	9 519; 9 573; 9 542
Запросов в секунду, запр/с	2,171 ± 0,006	[2,156; 2,186]	3	2,165; 2,178; 2,171
Первый токен, медиана, мс	930 ± 70	[760; 1 100]	3	860; 990; 940
Первый токен, 95-й процентиль, мс	1 248 ± 12	[1 217; 1 278]	3	1 254; 1 233; 1 255
Полная задержка, медиана, мс	3 680 ± 15	[3 642; 3 718]	3	3 694; 3 683; 3 663
Полная задержка, 95-й процентиль, мс	3 750 ± 40	[3 660; 3 850]	3	3 760; 3 710; 3 790
Время на токен, медиана, мс	9,14 ± 0,19	[8,68; 9,61]	3	9,34; 8,97; 9,11
Пауза между токенами, 99-й процентиль, мс	13,55 ± 0,06	[13,40; 13,69]	3	13,59; 13,57; 13,48
Скорость на пользователя, медиана, ток/с	109,6 ± 2,4	[103,7; 115,6]	3	107,1; 111,9; 110,0
Вытеснения	0	[0; 0]	3	0; 0; 0
Пик занятости KV-кэша, %	3,74	[3,74; 3,74]	3	3,74; 3,74; 3,74
Пик памяти карты, ГиБ	38,6637 ± 0,0023	[38,6581; 38,6693]	3	38,6611; 38,6650; 38,6650

По всем запросам зачтённых прогонов (96)
Величина	Значение
Первый токен, медиана, мс	865
Первый токен, 95-й процентиль, мс	1 250
Полная задержка, медиана, мс	3 680
Полная задержка, 95-й процентиль, мс	3 780
Скорость на пользователя, медиана, ток/с	107

вопрос по документу: вход 4 096, выход 300, c = 12

doc_qa-in4096-out300-c12; запросов в прогоне: 48, прогонов зачтено: 3.

doc_qa-in4096-out300-c12
Величина	Среднее ± sd	95 % интервал	n	Каждый прогон
Выход, всего, ток/с	779 ± 6	[765; 793]	3	781; 772; 783
Вход и выход, всего, ток/с	11 410 ± 80	[11 210; 11 620]	3	11 450; 11 320; 11 470
Запросов в секунду, запр/с	2,596 ± 0,019	[2,549; 2,642]	3	2,605; 2,574; 2,608
Первый токен, медиана, мс	1 300 ± 40	[1 200; 1 400]	3	1 250; 1 330; 1 320
Первый токен, 95-й процентиль, мс	1 797 ± 12	[1 767; 1 827]	3	1 784; 1 800; 1 807
Полная задержка, медиана, мс	4 610 ± 40	[4 520; 4 700]	3	4 590; 4 650; 4 590
Полная задержка, 95-й процентиль, мс	4 690 ± 50	[4 570; 4 800]	3	4 720; 4 720; 4 630
Время на токен, медиана, мс	11,06 ± 0,16	[10,66; 11,45]	3	11,18; 11,11; 10,88
Пауза между токенами, 99-й процентиль, мс	15,19 ± 0,19	[14,71; 15,67]	3	15,19; 15,38; 15,00
Скорость на пользователя, медиана, ток/с	90,4 ± 1,3	[87,2; 93,7]	3	89,4; 90,0; 91,9
Вытеснения	0	[0; 0]	3	0; 0; 0
Пик занятости KV-кэша, %	5,61732 ± 0,00000	[5,61732; 5,61732]	3	5,61732; 5,61732; 5,61732
Пик памяти карты, ГиБ	38,6637 ± 0,0023	[38,6581; 38,6693]	3	38,6611; 38,6650; 38,6650

По всем запросам зачтённых прогонов (144)
Величина	Значение
Первый токен, медиана, мс	1 260
Первый токен, 95-й процентиль, мс	1 800
Полная задержка, медиана, мс	4 610
Полная задержка, 95-й процентиль, мс	4 710
Скорость на пользователя, медиана, ток/с	89,5

вопрос по документу: вход 4 096, выход 300, c = 16

doc_qa-in4096-out300-c16; запросов в прогоне: 64, прогонов зачтено: 3.

doc_qa-in4096-out300-c16
Величина	Среднее ± sd	95 % интервал	n	Каждый прогон
Выход, всего, ток/с	886,4 ± 1,3	[883,1; 889,6]	3	885,4; 887,8; 885,9
Вход и выход, всего, ток/с	12 988 ± 19	[12 941; 13 036]	3	12 974; 13 010; 12 981
Запросов в секунду, запр/с	2,955 ± 0,004	[2,944; 2,965]	3	2,951; 2,959; 2,953
Первый токен, медиана, мс	1 572 ± 19	[1 525; 1 619]	3	1 593; 1 564; 1 558
Первый токен, 95-й процентиль, мс	2 325 ± 5	[2 312; 2 339]	3	2 321; 2 324; 2 331
Полная задержка, медиана, мс	5 411 ± 22	[5 355; 5 466]	3	5 431; 5 386; 5 415
Полная задержка, 95-й процентиль, мс	5 474 ± 22	[5 420; 5 527]	3	5 498; 5 462; 5 461
Время на токен, медиана, мс	12,94 ± 0,09	[12,71; 13,17]	3	13,03; 12,84; 12,94
Пауза между токенами, 99-й процентиль, мс	16,08 ± 0,12	[15,78; 16,37]	3	16,13; 16,16; 15,94
Скорость на пользователя, медиана, ток/с	77,3 ± 0,6	[75,9; 78,8]	3	76,7; 77,9; 77,4
Вытеснения	0	[0; 0]	3	0; 0; 0
Пик занятости KV-кэша, %	7,49	[7,49; 7,49]	3	7,49; 7,49; 7,49
Пик памяти карты, ГиБ	38,7	[38,7; 38,7]	3	38,7; 38,7; 38,7

По всем запросам зачтённых прогонов (192)
Величина	Значение
Первый токен, медиана, мс	1 570
Первый токен, 95-й процентиль, мс	2 330
Полная задержка, медиана, мс	5 410
Полная задержка, 95-й процентиль, мс	5 490
Скорость на пользователя, медиана, ток/с	77,3

вопрос по документу: вход 4 096, выход 300, c = 24

doc_qa-in4096-out300-c24; запросов в прогоне: 96, прогонов зачтено: 3.

doc_qa-in4096-out300-c24
Величина	Среднее ± sd	95 % интервал	n	Каждый прогон
Выход, всего, ток/с	1 027 ± 4	[1 018; 1 037]	3	1 023; 1 029; 1 030
Вход и выход, всего, ток/с	15 050 ± 60	[14 910; 15 190]	3	14 990; 15 080; 15 090
Запросов в секунду, запр/с	3,424 ± 0,013	[3,392; 3,457]	3	3,409; 3,430; 3,433
Первый токен, медиана, мс	2 150 ± 40	[2 040; 2 260]	3	2 130; 2 200; 2 120
Первый токен, 95-й процентиль, мс	3 367,6 ± 2,5	[3 361,5; 3 373,8]	3	3 370,4; 3 366,8; 3 365,7
Полная задержка, медиана, мс	7 013 ± 29	[6 941; 7 086]	3	7 047; 6 995; 6 999
Полная задержка, 95-й процентиль, мс	7 158 ± 18	[7 114; 7 202]	3	7 150; 7 178; 7 145
Время на токен, медиана, мс	16,15 ± 0,11	[15,88; 16,42]	3	16,26; 16,04; 16,16
Пауза между токенами, 99-й процентиль, мс	24 ± 5	[11; 38]	3	22; 20; 30
Скорость на пользователя, медиана, ток/с	61,9 ± 0,4	[60,9; 63,0]	3	61,5; 62,3; 61,9
Вытеснения	0	[0; 0]	3	0; 0; 0
Пик занятости KV-кэша, %	11,2346 ± 0,0000	[11,2346; 11,2346]	3	11,2346; 11,2346; 11,2346
Пик памяти карты, ГиБ	38,7	[38,7; 38,7]	3	38,7; 38,7; 38,7

По всем запросам зачтённых прогонов (288)
Величина	Значение
Первый токен, медиана, мс	2 140
Первый токен, 95-й процентиль, мс	3 370
Полная задержка, медиана, мс	7 000
Полная задержка, 95-й процентиль, мс	7 150
Скорость на пользователя, медиана, ток/с	61,9

вопрос по документу: вход 4 096, выход 300, c = 32

doc_qa-in4096-out300-c32; запросов в прогоне: 128, прогонов зачтено: 3.

doc_qa-in4096-out300-c32
Величина	Среднее ± sd	95 % интервал	n	Каждый прогон
Выход, всего, ток/с	1 121,0 ± 2,4	[1 115,0; 1 127,1]	3	1 120,7; 1 123,6; 1 118,8
Вход и выход, всего, ток/с	16 430 ± 40	[16 340; 16 520]	3	16 420; 16 460; 16 390
Запросов в секунду, запр/с	3,737 ± 0,008	[3,717; 3,757]	3	3,736; 3,745; 3,729
Первый токен, медиана, мс	2 710 ± 100	[2 470; 2 950]	3	2 660; 2 650; 2 820
Первый токен, 95-й процентиль, мс	4 471 ± 9	[4 448; 4 493]	3	4 461; 4 473; 4 478
Полная задержка, медиана, мс	8 560 ± 50	[8 440; 8 670]	3	8 610; 8 510; 8 560
Полная задержка, 95-й процентиль, мс	9 200 ± 300	[8 400; 9 900]	3	9 300; 9 400; 8 800
Время на токен, медиана, мс	19,5 ± 0,4	[18,6; 20,4]	3	19,7; 19,7; 19,1
Пауза между токенами, 99-й процентиль, мс	460 ± 50	[330; 590]	3	520; 430; 430
Скорость на пользователя, медиана, ток/с	51,2 ± 0,9	[48,9; 53,5]	3	50,7; 50,7; 52,3
Вытеснения	0	[0; 0]	3	0; 0; 0
Пик занятости KV-кэша, %	15,0	[15,0; 15,0]	3	15,0; 15,0; 15,0
Пик памяти карты, ГиБ	38,7	[38,7; 38,7]	3	38,7; 38,7; 38,7

По всем запросам зачтённых прогонов (384)
Величина	Значение
Первый токен, медиана, мс	2 670
Первый токен, 95-й процентиль, мс	4 470
Полная задержка, медиана, мс	8 570
Полная задержка, 95-й процентиль, мс	8 840
Скорость на пользователя, медиана, ток/с	50,8

вопрос по документу, открытая нагрузка: вход 4 096, выход 300, поток 0,15 запр/с

doc_qa_open-in4096-out300-r0.15; запросов в прогоне: 30, прогонов зачтено: 3.

doc_qa_open-in4096-out300-r0.15
Величина	Среднее ± sd	95 % интервал	n	Каждый прогон
Выход, всего, ток/с	44,561 ± 0,010	[44,537; 44,585]	3	44,553; 44,559; 44,572
Вход и выход, всего, ток/с	652,97 ± 0,14	[652,62; 653,32]	3	652,85; 652,93; 653,13
Запросов в секунду, запр/с	0,14854 ± 0,00003	[0,14846; 0,14862]	3	0,14851; 0,14853; 0,14857
Первый токен, медиана, мс	236,2 ± 1,1	[233,6; 238,9]	3	235,5; 237,5; 235,7
Первый токен, 95-й процентиль, мс	271 ± 8	[251; 291]	3	280; 267; 266
Полная задержка, медиана, мс	1 992 ± 15	[1 954; 2 029]	3	2 002; 1 974; 1 999
Полная задержка, 95-й процентиль, мс	2 299 ± 19	[2 251; 2 347]	3	2 318; 2 300; 2 279
Время на токен, медиана, мс	5,802 ± 0,009	[5,779; 5,824]	3	5,808; 5,791; 5,805
Пауза между токенами, 99-й процентиль, мс	10,948 ± 0,018	[10,904; 10,992]	3	10,968; 10,943; 10,934
Скорость на пользователя, медиана, ток/с	172,37 ± 0,27	[171,69; 173,04]	3	172,17; 172,68; 172,26
Вытеснения	0	[0; 0]	3	0; 0; 0
Пик занятости KV-кэша, %	1,37 ± 0,03	[1,28; 1,45]	3	1,35; 1,40; 1,35
Пик памяти карты, ГиБ	38,7	[38,7; 38,7]	3	38,7; 38,7; 38,7

По всем запросам зачтённых прогонов (90)
Величина	Значение
Первый токен, медиана, мс	236
Первый токен, 95-й процентиль, мс	275
Полная задержка, медиана, мс	1 990
Полная задержка, 95-й процентиль, мс	2 320
Скорость на пользователя, медиана, ток/с	173

вопрос по документу, открытая нагрузка: вход 4 096, выход 300, поток 0,3 запр/с

doc_qa_open-in4096-out300-r0.3; запросов в прогоне: 60, прогонов зачтено: 3.

doc_qa_open-in4096-out300-r0.3
Величина	Среднее ± sd	95 % интервал	n	Каждый прогон
Выход, всего, ток/с	89,131 ± 0,012	[89,101; 89,160]	3	89,117; 89,137; 89,138
Вход и выход, всего, ток/с	1 306,06 ± 0,17	[1 305,63; 1 306,49]	3	1 305,86; 1 306,15; 1 306,17
Запросов в секунду, запр/с	0,29710 ± 0,00004	[0,29700; 0,29720]	3	0,29706; 0,29712; 0,29713
Первый токен, медиана, мс	227 ± 4	[217; 238]	3	228; 223; 231
Первый токен, 95-й процентиль, мс	286 ± 30	[212; 360]	3	277; 262; 319
Полная задержка, медиана, мс	2 110 ± 40	[2 010; 2 210]	3	2 060; 2 110; 2 140
Полная задержка, 95-й процентиль, мс	2 640 ± 160	[2 240; 3 040]	3	2 570; 2 830; 2 520
Время на токен, медиана, мс	6,26 ± 0,07	[6,08; 6,45]	3	6,18; 6,30; 6,31
Пауза между токенами, 99-й процентиль, мс	11,29 ± 0,18	[10,84; 11,74]	3	11,08; 11,39; 11,40
Скорость на пользователя, медиана, ток/с	159,7 ± 1,9	[155,0; 164,4]	3	161,9; 158,6; 158,5
Вытеснения	0	[0; 0]	3	0; 0; 0
Пик занятости KV-кэша, %	2,01 ± 0,29	[1,29; 2,73]	3	1,87; 2,34; 1,81
Пик памяти карты, ГиБ	38,6637 ± 0,0023	[38,6581; 38,6693]	3	38,6611; 38,6650; 38,6650

По всем запросам зачтённых прогонов (180)
Величина	Значение
Первый токен, медиана, мс	226
Первый токен, 95-й процентиль, мс	277
Полная задержка, медиана, мс	2 100
Полная задержка, 95-й процентиль, мс	2 580
Скорость на пользователя, медиана, ток/с	159

вопрос по документу, открытая нагрузка: вход 4 096, выход 300, поток 0,45 запр/с

doc_qa_open-in4096-out300-r0.45; запросов в прогоне: 90, прогонов зачтено: 3.

doc_qa_open-in4096-out300-r0.45
Величина	Среднее ± sd	95 % интервал	n	Каждый прогон
Выход, всего, ток/с	133,61 ± 0,11	[133,34; 133,88]	3	133,48; 133,67; 133,67
Вход и выход, всего, ток/с	1 957,8 ± 1,6	[1 953,8; 1 961,7]	3	1 956,0; 1 958,7; 1 958,7
Запросов в секунду, запр/с	0,4454 ± 0,0004	[0,4445; 0,4463]	3	0,4449; 0,4456; 0,4456
Первый токен, медиана, мс	221 ± 3	[214; 229]	3	224; 222; 218
Первый токен, 95-й процентиль, мс	290 ± 30	[210; 370]	3	330; 260; 280
Полная задержка, медиана, мс	2 210 ± 40	[2 120; 2 290]	3	2 230; 2 160; 2 220
Полная задержка, 95-й процентиль, мс	2 670 ± 140	[2 330; 3 010]	3	2 680; 2 800; 2 530
Время на токен, медиана, мс	6,62 ± 0,10	[6,36; 6,88]	3	6,72; 6,51; 6,64
Пауза между токенами, 99-й процентиль, мс	11,56 ± 0,10	[11,33; 11,80]	3	11,67; 11,48; 11,54
Скорость на пользователя, медиана, ток/с	151,0 ± 2,4	[145,1; 157,0]	3	148,8; 153,6; 150,7
Вытеснения	0	[0; 0]	3	0; 0; 0
Пик занятости KV-кэша, %	2,3 ± 0,4	[1,2; 3,4]	3	2,3; 2,7; 1,8
Пик памяти карты, ГиБ	38,6637 ± 0,0023	[38,6581; 38,6693]	3	38,6611; 38,6650; 38,6650

По всем запросам зачтённых прогонов (270)
Величина	Значение
Первый токен, медиана, мс	222
Первый токен, 95-й процентиль, мс	295
Полная задержка, медиана, мс	2 210
Полная задержка, 95-й процентиль, мс	2 680
Скорость на пользователя, медиана, ток/с	152

Память

Старты идут парами: холодный, затем тёплый. Поля, которые после первого старта сервера отличаются больше чем на 1 %, показаны раздельно: после перезапуска (тёплый старт) и при первом старте (холодный, с компиляцией модели).

Память по стартам основной конфигурации
Величина	После перезапуска (тёплый старт)	При первом старте (холодный)	n	Каждый старт
Веса, ГиБ	17,0 — одинаково при обоих видах старта		6	17,0; 17,0; 17,0; 17,0; 17,0; 17,0
KV-кэш, ГиБ	17,2	15,1	6	х 15,1; т 17,2; х 15,1; т 17,2; х 15,1; т 17,2
KV-кэш по журналу vLLM, токенов	1 670 000	1 460 000	6	х 1 460 000; т 1 670 000; х 1 460 000; т 1 670 000; х 1 460 000; т 1 670 000
Пик активаций, ГиБ	1,08 — одинаково при обоих видах старта		6	1,08; 1,08; 1,08; 1,08; 1,08; 1,08
CUDA graphs, ГиБ	0,130 — одинаково при обоих видах старта		6	0,130; 0,130; 0,130; 0,130; 0,130; 0,130
Веса и память вне PyTorch, ГиБ	18,0	20,2	6	х 20,2; т 18,0; х 20,2; т 18,0; х 20,2; т 18,0
Бюджет gpu_memory_utilization, ГиБ	36,3 — одинаково при обоих видах старта		6	36,3; 36,3; 36,3; 36,3; 36,3; 36,3
Объём карты по CUDA, ГиБ	39,5 — одинаково при обоих видах старта		6	39,5; 39,5; 39,5; 39,5; 39,5; 39,5
Свободно перед стартом, ГиБ	37,9 — одинаково при обоих видах старта		6	37,9; 37,9; 37,9; 37,9; 37,9; 37,9
Занято после старта (nvidia-smi), ГиБ	37,1680 ± 0,0011 — одинаково при обоих видах старта		6	37,1689; 37,1670; 37,1689; 37,1670; 37,1689; 37,1670
Пик под нагрузкой (nvidia-smi), ГиБ	38,7		1	38,7

х — холодный старт, т — тёплый.

Из журнала vLLM

Блок внимания, токенов: 1 056
Режим кэша линейных слоёв: —
Выравнивание страниц линейных слоёв, %: 0,76
Раскладка KV-кэша: LBNHC
Ядро FP8: MarlinFP8ScaledMMLinearKernel
FP8 только для весов (Marlin): да
Токенов на запрос в отчёте vLLM: 40 960
Одновременных запросов по отчёту vLLM: 40,71
Версия движка: 0.32.0
Чекпойнт, ГиБ: 34,89
Пул CUDA graphs, ГиБ: 0,13

Из отчёта серии

«Вопросов по документу» одновременно: 213 — расчёт по замеру памяти; отчёт S1, раздел «Память и ёмкость».
То же после первого старта сервера: 187 — расчёт по замеру памяти; отчёт S1, раздел «Память и ёмкость».

Качество

KL-дивергенция к BF16 считается сравнением двух замеров (run.py compare)

belebele_ru

lm-eval 0.4.13, 126 с.

Результаты по заданиям (1)

belebele_ru: доля верных, %
Задание	Вопросов	Метрика	Доля верных, %	Стандартная ошибка, %
belebele_rus_Cyrl	900	acc	84,0	1,22
belebele_rus_Cyrl	900	acc_norm	84,0	1,22

global_mmlu_ru

lm-eval 0.4.13, 1 350 с.

Результаты по заданиям (62)

global_mmlu_ru: доля верных, %
Задание	Вопросов	Метрика	Доля верных, %	Стандартная ошибка, %
global_mmlu_full_ru	14 042	acc	77,6	0,338
global_mmlu_full_ru_abstract_algebra	100	acc	62,0	4,88
global_mmlu_full_ru_anatomy	135	acc	75,6	3,71
global_mmlu_full_ru_astronomy	152	acc	92,1	2,19
global_mmlu_full_ru_business_ethics	100	acc	80,0	4,02
global_mmlu_full_ru_clinical_knowledge	265	acc	86,4	2,11
global_mmlu_full_ru_college_biology	144	acc	92,4	2,22
global_mmlu_full_ru_college_chemistry	100	acc	56,0	4,99
global_mmlu_full_ru_college_computer_science	100	acc	78,0	4,16
global_mmlu_full_ru_college_mathematics	100	acc	60,0	4,92
global_mmlu_full_ru_college_medicine	173	acc	79,8	3,06
global_mmlu_full_ru_college_physics	102	acc	69,6	4,58
global_mmlu_full_ru_computer_security	100	acc	83,0	3,78
global_mmlu_full_ru_conceptual_physics	235	acc	88,5	2,08
global_mmlu_full_ru_econometrics	114	acc	71,9	4,23
global_mmlu_full_ru_electrical_engineering	145	acc	79,3	3,38
global_mmlu_full_ru_elementary_mathematics	378	acc	80,7	2,03
global_mmlu_full_ru_formal_logic	126	acc	66,7	4,22
global_mmlu_full_ru_global_facts	100	acc	56,0	4,99
global_mmlu_full_ru_high_school_biology	310	acc	94,8	1,26
global_mmlu_full_ru_high_school_chemistry	203	acc	80,8	2,77
global_mmlu_full_ru_high_school_computer_science	100	acc	89,0	3,14
global_mmlu_full_ru_high_school_european_history	165	acc	85,5	2,75
global_mmlu_full_ru_high_school_geography	198	acc	86,4	2,45
global_mmlu_full_ru_high_school_government_and_politics	193	acc	87,0	2,42
global_mmlu_full_ru_high_school_macroeconomics	390	acc	84,6	1,83
global_mmlu_full_ru_high_school_mathematics	270	acc	60,7	2,98
global_mmlu_full_ru_high_school_microeconomics	238	acc	90,3	1,92
global_mmlu_full_ru_high_school_physics	151	acc	78,8	3,34
global_mmlu_full_ru_high_school_psychology	545	acc	89,9	1,29
global_mmlu_full_ru_high_school_statistics	216	acc	78,2	2,81
global_mmlu_full_ru_high_school_us_history	204	acc	90,7	2,04
global_mmlu_full_ru_high_school_world_history	237	acc	90,7	1,89
global_mmlu_full_ru_human_aging	223	acc	75,8	2,88
global_mmlu_full_ru_human_sexuality	131	acc	81,7	3,39
global_mmlu_full_ru_humanities	4 705	acc	71,1	0,639
global_mmlu_full_ru_international_law	121	acc	89,3	2,83
global_mmlu_full_ru_jurisprudence	108	acc	83,3	3,60
global_mmlu_full_ru_logical_fallacies	163	acc	77,3	3,29
global_mmlu_full_ru_machine_learning	112	acc	68,8	4,40
global_mmlu_full_ru_management	103	acc	84,5	3,59
global_mmlu_full_ru_marketing	234	acc	92,7	1,70
global_mmlu_full_ru_medical_genetics	100	acc	90,0	3,02
global_mmlu_full_ru_miscellaneous	783	acc	85,6	1,26
global_mmlu_full_ru_moral_disputes	346	acc	72,5	2,40
global_mmlu_full_ru_moral_scenarios	895	acc	60,8	1,63
global_mmlu_full_ru_nutrition	306	acc	86,9	1,93
global_mmlu_full_ru_other	3 107	acc	80,5	0,678
global_mmlu_full_ru_philosophy	311	acc	79,7	2,28
global_mmlu_full_ru_prehistory	324	acc	85,8	1,94
global_mmlu_full_ru_professional_accounting	282	acc	58,5	2,94
global_mmlu_full_ru_professional_law	1 534	acc	61,0	1,25
global_mmlu_full_ru_professional_medicine	272	acc	91,5	1,69
global_mmlu_full_ru_professional_psychology	612	acc	77,3	1,69
global_mmlu_full_ru_public_relations	110	acc	65,5	4,55
global_mmlu_full_ru_security_studies	245	acc	78,8	2,62
global_mmlu_full_ru_social_sciences	3 077	acc	83,4	0,662
global_mmlu_full_ru_sociology	201	acc	86,6	2,41
global_mmlu_full_ru_stem	3 153	acc	78,9	0,700
global_mmlu_full_ru_us_foreign_policy	100	acc	91,0	2,88
global_mmlu_full_ru_virology	166	acc	50,6	3,89
global_mmlu_full_ru_world_religions	171	acc	83,0	2,88

mgsm_ru

lm-eval 0.4.13, 103 с.

Результаты по заданиям (1)

mgsm_ru: доля верных, %
Задание	Вопросов	Метрика	Доля верных, %	Стандартная ошибка, %
mgsm_native_cot_ru	250	exact_match/flexible-extract	80,4	2,52
mgsm_native_cot_ru	250	exact_match/strict-match	0	0

bfcl

bfcl-eval 2026.3.23, 351 с; native function calling: /v1/chat/completions с tools, без tool_choice; temperature 0; отдельный старт сервера: аргументы замера плюс --enable-auto-tool-choice --tool-call-parser qwen3_coder.

Результаты по заданиям (10)

bfcl: доля верных, %
Задание	Вопросов	Метрика	Доля верных, %	Стандартная ошибка, %
Вызов инструментов: не вызывать, если не нужноbfcl_irrelevance	240	acc	89,2	2,01
Вызов инструментов: реальные запросы, выбор функцииbfcl_live_multiple	1 053	acc	78,2	1,27
Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl_live_parallel	16	acc	81,3	9,76
Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl_live_parallel_multiple	24	acc	79,2	8,29
Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl_live_relevance	16	acc	87,5	8,27
Вызов инструментов: реальные запросы, одна функцияbfcl_live_simple	258	acc	81,0	2,44
Вызов инструментов: выбор из нескольких функцийbfcl_multiple	200	acc	90,0	2,12
Вызов инструментов: несколько вызовов сразуbfcl_parallel	200	acc	91,0	2,02
Вызов инструментов: несколько вызовов разных функцийbfcl_parallel_multiple	200	acc	90,5	2,07
Вызов инструментов: одна функцияbfcl_simple_python	400	acc	93,3	1,25

Для KL собрано: 68 806 позиций в 121 фрагментах, top-20.

Сравнение на одних вопросах: эталон Qwen3.6-35B-A3BFP8, вариант Qwen3.6-35B-A3BINT4 AWQ g128

Против Qwen3.6-35B-A3BINT4 AWQ g128.

Разность «вариант минус эталон», п. п.; интервал — 95 %, парный бутстреп; p — тест Макнемара
Набор	Вопросов	Эталон, %	Вариант, %	Разность	Интервал	p	Исход
Belebele ru, понимание текстаbelebele_ru (acc)	900	84,0	84,2	+0,2	[−1,2; +1,7]	0,878	в пределах шума
Global-MMLU ru, знанияglobal_mmlu_ru (acc)	14 042	77,6	77,4	−0,3	[−0,6; +0,1]	0,161	в пределах шума
MGSM ru, арифметика, число из строки «Ответ»mgsm_ru / flexible-extract (exact_match_answer_line)	250	90,8	90,4	−0,4	[−2,8; +2,0]	1,00	в пределах шума
mgsm_ru / flexible-extract (exact_match)	250	80,4	79,2	−1,2	[−4,0; +1,6]	0,581	в пределах шума
mgsm_ru / strict-match (exact_match)	250	0	0	0	[0; 0]	1,00	в пределах шума
Вызов инструментов: все заданияbfcl / all (acc)	2 607	84,7	84,5	−0,2	[−1,0; +0,5]	0,614	в пределах шума
Вызов инструментов: одна функцияbfcl / simple_python (acc)	400	93,3	92,8	−0,5	[−2,0; +0,8]	0,727	в пределах шума
Вызов инструментов: выбор из нескольких функцийbfcl / multiple (acc)	200	90,0	87,5	−2,5	[−5,0; −0,5]	0,0625	разность есть
Вызов инструментов: несколько вызовов сразуbfcl / parallel (acc)	200	91,0	91,0	0	[−4; +3]	1,00	в пределах шума
Вызов инструментов: не вызывать, если не нужноbfcl / irrelevance (acc)	240	89,2	90,4	+1,3	[−0,4; +3,3]	0,375	в пределах шума
Вызов инструментов: несколько вызовов разных функцийbfcl / parallel_multiple (acc)	200	90,5	89,5	−1,0	[−2,5; 0,0]	0,500	в пределах шума
Вызов инструментов: реальные запросы, одна функцияbfcl / live_simple (acc)	258	81,0	81,8	+1	[−3; +4]	0,832	в пределах шума
Вызов инструментов: реальные запросы, выбор функцииbfcl / live_multiple (acc)	1 053	78,2	78,1	−0,1	[−1,3; +1,1]	1,00	в пределах шума
Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl / live_parallel (acc)	16	81,3	81,3	0	[−19; +19]	1,00	в пределах шума
Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl / live_parallel_multiple (acc)	24	79,2	79,2	0	[0; 0]	1,00	в пределах шума
Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl / live_relevance (acc)	16	87,5	81,3	−6	[−19; 0]	1,00	в пределах шума

Расхождение распределений на каждом токене: KL 0,0332 нат в среднем, 0,530 нат на 99-м процентиле; первый токен совпал в 95,1 % позиций (68 806 позиций). По фрагментам: 0,033 ± 0,014 [0,031; 0,036], n = 121.

Что не измеряли

качество в режиме thinking и на агентных задачах: замеряется без thinking, на открытых русских наборах
больше 32 одновременных запросов
влияние содержания промпта на скорость: без спекулятивного декодирования оно определяется числом токенов, а не текстом
попадания в кэш префиксов: prefix caching выключен, промпты уникальны
спекулятивное декодирование (MTP-голова модели)
задержка сети до клиента: клиент на том же сервере
старт после перезагрузки: при холодном старте вытесняются только веса и кэш компиляции, образ docker и библиотеки могут быть в кэше ОС
параметры семплирования: только жадное декодирование (temperature 0)
энергопотребление как метрика: мощность пишется только как условие
долговременная стабильность

Замечания

официальная FP8 авторов модели (блоки 128×128); эталон качества для MoE-варианта QuantTrio AWQ
У A100 нет FP8-вычислений: vLLM хранит веса в FP8, а умножает в BF16 (ядро MarlinFP8ScaledMMLinearKernel).

Где упоминается

Кванты на A100: сгонка веса