Qwen3.8-27B FP8 на одной A100 SXM4 40GB: скорость, память, качество
Qwen3.8-27BFP8
- блоки 128×128
- только веса
- официальный
- 1× A100 40GB
- vLLM 0.32.0
Условия
Что измеряли: скорость, память, качество.
- Модель
- Qwen/Qwen3.8-27B-FP8, ревизия
017b9c7af6b5689d 5dd426a7 6e0bc077 eb5ca20a - Архитектура
- Qwen3_5ForConditionalGeneration: full_attention 16, linear_attention 48, total 64
- Лицензия
- apache-2.0
- Что загружено
- только языковая часть (--language-model-only): визуальный энкодер не загружается; MTP-голова не используется (спекулятивное декодирование выключено)
- Квантование
-
fp8, e4m3, блоки 128×128, активации: dynamic; ядро MarlinFP8ScaledMMLinearKernel; квантованы только веса
Не квантованы (25)
embed_tokens, input_layernorm, linear_attn.A_log, linear_attn.conv1d, linear_attn.dt_bias, linear_attn.in_proj_a, linear_attn.in_proj_b, linear_attn.in_proj_ba, linear_attn.norm, lm_head, mlp.gate, mlp.shared_expert_gate, mtp.fc, mtp.layers.N.input_layernorm, mtp.layers.N.mlp.gate, mtp.layers.N.mlp.shared_expert_gate, mtp.layers.N.post_attention_layernorm, mtp.layers.N.self_attn.k_norm, mtp.layers.N.self_attn.q_norm, mtp.norm, mtp.pre_fc_norm_embedding, mtp.pre_fc_norm_hidden, post_attention_layernorm, self_attn.k_norm, self_attn.q_norm
- KV-кэш
- bfloat16
- Движок
- vLLM 0.32.0, образ vllm/vllm-openai:v0.32.0 (
sha256:b)efccf0e7 e4089aa2 3926bb6f 887a85c0 d46c2a99 e6de5c5f fdf5cb79 57c5b34 - Версии программ
- PyTorch 2.13.0+cu130, CUDA runtime 13.0.2, Transformers 5.19.0, драйвер 580.178.04, CUDA драйвера 13.0
- Карты
- 1 × NVIDIA A100-SXM4-40GB, 40 960 МиБ по nvidia-smi, 39,49 ГиБ по CUDA
- Запуск
- TP 1, контекст до 40 960 токенов, до 32 запросов одновременно, префилл блоками до 16 384 токенов, gpu_memory_utilization 0,92, dtype bfloat16, KV-кэш auto, кэш префиксов: нет, CUDA graphs: да, спекулятивное декодирование: нет, seed 42
- Режим thinking
- выключен: шаблон чата с enable_thinking=false (качество); скорость — /v1/completions без шаблона чата
- Нагрузка
- vllm bench serve 0.32.0, /v1/completions; random: синтетические токены, уникальный сдвиг на запрос, без общего префикса; ignore_eos: да, temperature 0; закрытый цикл: не больше c запросов в полёте (--max-concurrency c, --request-rate inf); точки -r<R> — открытая нагрузка: пуассоновский поток R запросов/с (--request-rate R --burstiness 1), без ограничения одновременных; R = 0.15, 0.3, 0.45; клиент: тот же сервер, сеть хоста
- План
- 3 повтора каждой точки, прогрев 1; блоки повторов, внутри блока точки в случайном порядке (seed 20261109); пар стартов 3; опрос датчиков каждые 0,5 с
- Протокол
- 1.0, стенд 1.0.0 (
3d8838ab); план s1-qwen3.8-27b-fp8 (f80e0cd0 8812c963 b5ea179d 838efc0e 8f4e3115 c5404150 91368665 79fbffd5)a9c71a95 3704a2af 27f794ae c45c6388 1ecf07d7 5a57731d 20c5b94a
Команда запуска
Аргументы сервера внутри контейнера; адрес и порт сервера опущены.
/model --served-model-name Qwen/Qwen3.8-27B-FP8 --tensor-parallel-size 1 --max-model-len 40960 --max-num-seqs 32 --max-num-batched-tokens 16384 --gpu-memory-utilization 0.92 --dtype bfloat16 --load-format safetensors --no-trust-remote-code --language-model-only --generation-config vllm --seed 42 --no-enable-prefix-caching --default-chat-template-kwargs '{"enable_thinking": false}' --max-logprobs 20 --quantization fp8Проверки
- Упор в предел мощности
- 68,1 % отсчётов
- Аппаратное замедление
- 0 % отсчётов
- Тепловое ограничение (программное)
- 0 % отсчётов
- Тепловое ограничение (аппаратное)
- 0 % отсчётов
- Аварийное снижение мощности
- 0 % отсчётов
- Температура карты, максимум
- 79,0 °C
- Мощность, максимум
- 375 Вт при пределе 400 Вт
- Неудачные старты
- нет
- Итог сессии
- замер завершён
- Исключённые прогоны
- нет
| Точка | Прогонов зачтено / исключено | Длина ответов точная | Отклонение входа, макс. % | Счётчик сервера совпал | Попаданий в кэш префиксов | Вытеснений |
|---|---|---|---|---|---|---|
| single-in1024-out512-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| single-in8192-out512-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| single-in32768-out512-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c2 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c4 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c8 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c12 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c16 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c24 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c32 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa_open-in4096-out300-r0.15 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa_open-in4096-out300-r0.3 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa_open-in4096-out300-r0.45 | 3 / 0 | да | 0 | да | 0 | 0 |
Старты
Холодный старт
веса вытеснены из страничного кэша ОС, кэш компиляции vLLM пуст, контейнер новый
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| До ответа /health, с | 204,0 ± 0,4 | [203,0; 205,0] | 3 | 204,2; 203,5; 204,3 |
| До первого токена, с | 204,1 ± 0,4 | [203,1; 205,1] | 3 | 204,3; 203,6; 204,4 |
| Загрузка весов, с | 14,0 ± 0,4 | [13,1; 14,9] | 3 | 14,1; 14,2; 13,6 |
| Загрузка модели, с | 18,3 ± 0,4 | [17,3; 19,3] | 3 | 18,3; 18,7; 17,9 |
| torch.compile, с | 45,2 ± 0,3 | [44,4; 45,9] | 3 | 44,9; 45,0; 45,5 |
| Профилирование памяти, с | 84,3 ± 0,5 | [83,0; 85,6] | 3 | 84,3; 83,8; 84,8 |
| Захват CUDA graphs, с | 9,7 ± 0,6 | [8,2; 11,1] | 3 | 10,0; 9,0; 10,0 |
| Инициализация движка, с | 148,0 ± 1,1 | [145,4; 150,6] | 3 | 147,9; 147,0; 149,1 |
| Весов в кэше ОС перед стартом, % | 0 | [0; 0] | 3 | 0; 0; 0 |
Тёплый старт
сразу после холодного: тот же кэш компиляции, веса в страничном кэше, контейнер новый
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| До ответа /health, с | 58,3 ± 1,5 | [54,5; 62,1] | 3 | 60,0; 58,0; 57,0 |
| До первого токена, с | 58,4 ± 1,5 | [54,6; 62,2] | 3 | 60,1; 58,1; 57,1 |
| Загрузка весов, с | 7,2 ± 1,1 | [4,6; 9,9] | 3 | 8,5; 6,6; 6,7 |
| Загрузка модели, с | 11,6 ± 1,1 | [8,9; 14,4] | 3 | 12,9; 11,0; 11,0 |
| torch.compile, с | 1,36 ± 0,05 | [1,23; 1,49] | 3 | 1,34; 1,32; 1,42 |
| Профилирование памяти, с | 6,59 ± 0,26 | [5,95; 7,22] | 3 | 6,87; 6,52; 6,37 |
| Захват CUDA graphs, с | 6,00 | [6,00; 6,00] | 3 | 6,00; 6,00; 6,00 |
| Инициализация движка, с | 18,2 ± 0,4 | [17,3; 19,1] | 3 | 18,6; 18,0; 18,0 |
| Весов в кэше ОС перед стартом, % | 90 ± 12 | [61; 119] | 3 | 77; 97; 97 |
Точки нагрузки
один поток: вход 1 024, выход 512, c = 1
single-in1024-out512-c1; запросов в прогоне: 4, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 40,66 ± 0,08 | [40,45; 40,86] | 3 | 40,61; 40,61; 40,75 |
| Вход и выход, всего, ток/с | 121,97 ± 0,24 | [121,36; 122,57] | 3 | 121,82; 121,84; 122,24 |
| Запросов в секунду, запр/с | 0,07940 ± 0,00016 | [0,07901; 0,07980] | 3 | 0,07931; 0,07932; 0,07959 |
| Первый токен, медиана, мс | 417,2 ± 2,4 | [411,2; 423,2] | 3 | 416,5; 419,9; 415,2 |
| Первый токен, 95-й процентиль, мс | 422 ± 5 | [410; 434] | 3 | 420; 427; 419 |
| Полная задержка, медиана, мс | 12 595 ± 26 | [12 529; 12 661] | 3 | 12 608; 12 612; 12 564 |
| Полная задержка, 95-й процентиль, мс | 12 620 ± 40 | [12 510; 12 720] | 3 | 12 650; 12 630; 12 570 |
| Время на токен, медиана, мс | 23,83 ± 0,05 | [23,72; 23,94] | 3 | 23,86; 23,85; 23,78 |
| Пауза между токенами, 99-й процентиль, мс | 28,89 ± 0,08 | [28,71; 29,08] | 3 | 28,95; 28,92; 28,81 |
| Скорость на пользователя, медиана, ток/с | 41,96 ± 0,08 | [41,76; 42,16] | 3 | 41,91; 41,93; 42,05 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 4,46 | [4,46; 4,46] | 3 | 4,46; 4,46; 4,46 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 417 |
| Первый токен, 95-й процентиль, мс | 424 |
| Полная задержка, медиана, мс | 12 600 |
| Полная задержка, 95-й процентиль, мс | 12 600 |
| Скорость на пользователя, медиана, ток/с | 42,0 |
один поток: вход 8 192, выход 512, c = 1
single-in8192-out512-c1; запросов в прогоне: 4, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 32,97 ± 0,03 | [32,89; 33,06] | 3 | 32,94; 32,97; 33,01 |
| Вход и выход, всего, ток/с | 560,5 ± 0,6 | [559,1; 562,0] | 3 | 560,0; 560,5; 561,1 |
| Запросов в секунду, запр/с | 0,06440 ± 0,00007 | [0,06423; 0,06456] | 3 | 0,06434; 0,06439; 0,06447 |
| Первый токен, медиана, мс | 3 173 ± 13 | [3 141; 3 206] | 3 | 3 183; 3 178; 3 158 |
| Первый токен, 95-й процентиль, мс | 3 193 ± 4 | [3 182; 3 204] | 3 | 3 190; 3 198; 3 191 |
| Полная задержка, медиана, мс | 15 526 ± 23 | [15 469; 15 583] | 3 | 15 550; 15 522; 15 505 |
| Полная задержка, 95-й процентиль, мс | 15 551 ± 16 | [15 512; 15 590] | 3 | 15 554; 15 565; 15 534 |
| Время на токен, медиана, мс | 24,171 ± 0,022 | [24,117; 24,224] | 3 | 24,196; 24,159; 24,158 |
| Пауза между токенами, 99-й процентиль, мс | 29,230 ± 0,017 | [29,187; 29,273] | 3 | 29,211; 29,234; 29,245 |
| Скорость на пользователя, медиана, ток/с | 41,37 ± 0,04 | [41,28; 41,46] | 3 | 41,33; 41,39; 41,39 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 13,4 | [13,4; 13,4] | 3 | 13,4; 13,4; 13,4 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 3 180 |
| Первый токен, 95-й процентиль, мс | 3 200 |
| Полная задержка, медиана, мс | 15 500 |
| Полная задержка, 95-й процентиль, мс | 15 600 |
| Скорость на пользователя, медиана, ток/с | 41,4 |
один поток: вход 32 768, выход 512, c = 1
single-in32768-out512-c1; запросов в прогоне: 4, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 19,070 ± 0,016 | [19,030; 19,110] | 3 | 19,054; 19,070; 19,086 |
| Вход и выход, всего, ток/с | 1 239,6 ± 1,0 | [1 237,0; 1 242,1] | 3 | 1 238,5; 1 239,6; 1 240,6 |
| Запросов в секунду, запр/с | 0,03725 ± 0,00003 | [0,03717; 0,03732] | 3 | 0,03721; 0,03725; 0,03728 |
| Первый токен, медиана, мс | 13 861 ± 26 | [13 796; 13 926] | 3 | 13 885; 13 864; 13 833 |
| Первый токен, 95-й процентиль, мс | 13 920 ± 40 | [13 820; 14 010] | 3 | 13 910; 13 880; 13 960 |
| Полная задержка, медиана, мс | 26 860 ± 50 | [26 750; 26 970] | 3 | 26 900; 26 860; 26 810 |
| Полная задержка, 95-й процентиль, мс | 26 920 ± 60 | [26 770; 27 060] | 3 | 26 910; 26 860; 26 970 |
| Время на токен, медиана, мс | 25,418 ± 0,026 | [25,353; 25,484] | 3 | 25,449; 25,402; 25,404 |
| Пауза между токенами, 99-й процентиль, мс | 30,628 ± 0,022 | [30,574; 30,682] | 3 | 30,619; 30,653; 30,612 |
| Скорость на пользователя, медиана, ток/с | 39,34 ± 0,04 | [39,24; 39,44] | 3 | 39,29; 39,37; 39,36 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 41,1 | [41,1; 41,1] | 3 | 41,1; 41,1; 41,1 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 13 900 |
| Первый токен, 95-й процентиль, мс | 13 900 |
| Полная задержка, медиана, мс | 26 900 |
| Полная задержка, 95-й процентиль, мс | 27 000 |
| Скорость на пользователя, медиана, ток/с | 39,4 |
вопрос по документу: вход 4 096, выход 300, c = 1
doc_qa-in4096-out300-c1; запросов в прогоне: 8, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 34,255 ± 0,019 | [34,208; 34,302] | 3 | 34,248; 34,240; 34,277 |
| Вход и выход, всего, ток/с | 501,95 ± 0,28 | [501,25; 502,64] | 3 | 501,85; 501,73; 502,27 |
| Запросов в секунду, запр/с | 0,11418 ± 0,00006 | [0,11403; 0,11434] | 3 | 0,11416; 0,11413; 0,11426 |
| Первый токен, медиана, мс | 1 581 ± 6 | [1 567; 1 595] | 3 | 1 587; 1 576; 1 579 |
| Первый токен, 95-й процентиль, мс | 1 600 ± 8 | [1 580; 1 621] | 3 | 1 600; 1 609; 1 593 |
| Полная задержка, медиана, мс | 8 752 ± 6 | [8 739; 8 766] | 3 | 8 759; 8 751; 8 748 |
| Полная задержка, 95-й процентиль, мс | 8 787 ± 18 | [8 743; 8 830] | 3 | 8 778; 8 807; 8 775 |
| Время на токен, медиана, мс | 23,986 ± 0,012 | [23,956; 24,017] | 3 | 23,978; 24,000; 23,980 |
| Пауза между токенами, 99-й процентиль, мс | 29,12 ± 0,08 | [28,92; 29,31] | 3 | 29,10; 29,20; 29,05 |
| Скорость на пользователя, медиана, ток/с | 41,691 ± 0,021 | [41,638; 41,744] | 3 | 41,704; 41,666; 41,702 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 8,04 | [8,04; 8,04] | 3 | 8,04; 8,04; 8,04 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 1 580 |
| Первый токен, 95-й процентиль, мс | 1 600 |
| Полная задержка, медиана, мс | 8 760 |
| Полная задержка, 95-й процентиль, мс | 8 790 |
| Скорость на пользователя, медиана, ток/с | 41,7 |
вопрос по документу: вход 4 096, выход 300, c = 2
doc_qa-in4096-out300-c2; запросов в прогоне: 8, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 57,25 ± 0,21 | [56,74; 57,77] | 3 | 57,33; 57,02; 57,41 |
| Вход и выход, всего, ток/с | 839 ± 3 | [831; 846] | 3 | 840; 835; 841 |
| Запросов в секунду, запр/с | 0,1908 ± 0,0007 | [0,1891; 0,1926] | 3 | 0,1911; 0,1901; 0,1914 |
| Первый токен, медиана, мс | 2 824 ± 22 | [2 770; 2 877] | 3 | 2 826; 2 844; 2 801 |
| Первый токен, 95-й процентиль, мс | 3 115 ± 21 | [3 062; 3 167] | 3 | 3 112; 3 137; 3 095 |
| Полная задержка, медиана, мс | 10 470 ± 40 | [10 370; 10 580] | 3 | 10 450; 10 520; 10 450 |
| Полная задержка, 95-й процентиль, мс | 10 500 ± 40 | [10 410; 10 590] | 3 | 10 500; 10 530; 10 460 |
| Время на токен, медиана, мс | 25,59 ± 0,05 | [25,48; 25,71] | 3 | 25,57; 25,65; 25,56 |
| Пауза между токенами, 99-й процентиль, мс | 29,85 ± 0,13 | [29,54; 30,17] | 3 | 29,99; 29,85; 29,73 |
| Скорость на пользователя, медиана, ток/с | 39,12 ± 0,07 | [38,94; 39,30] | 3 | 39,15; 39,04; 39,17 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 16,1 | [16,1; 16,1] | 3 | 16,1; 16,1; 16,1 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 2 820 |
| Первый токен, 95-й процентиль, мс | 3 130 |
| Полная задержка, медиана, мс | 10 500 |
| Полная задержка, 95-й процентиль, мс | 10 500 |
| Скорость на пользователя, медиана, ток/с | 39,1 |
вопрос по документу: вход 4 096, выход 300, c = 4
doc_qa-in4096-out300-c4; запросов в прогоне: 16, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 86,60 ± 0,21 | [86,08; 87,11] | 3 | 86,38; 86,62; 86,79 |
| Вход и выход, всего, ток/с | 1 269 ± 3 | [1 261; 1 276] | 3 | 1 266; 1 269; 1 272 |
| Запросов в секунду, запр/с | 0,2887 ± 0,0007 | [0,2869; 0,2904] | 3 | 0,2879; 0,2887; 0,2893 |
| Первый токен, медиана, мс | 6 164 ± 27 | [6 096; 6 232] | 3 | 6 194; 6 160; 6 140 |
| Первый токен, 95-й процентиль, мс | 6 200 ± 40 | [6 100; 6 290] | 3 | 6 240; 6 180; 6 170 |
| Полная задержка, медиана, мс | 13 860 ± 40 | [13 750; 13 960] | 3 | 13 900; 13 850; 13 820 |
| Полная задержка, 95-й процентиль, мс | 13 880 ± 40 | [13 770; 13 990] | 3 | 13 930; 13 870; 13 840 |
| Время на токен, медиана, мс | 25,704 ± 0,023 | [25,646; 25,762] | 3 | 25,709; 25,724; 25,678 |
| Пауза между токенами, 99-й процентиль, мс | 30,89 ± 0,11 | [30,62; 31,15] | 3 | 31,01; 30,80; 30,85 |
| Скорость на пользователя, медиана, ток/с | 38,91 ± 0,04 | [38,82; 38,99] | 3 | 38,90; 38,87; 38,94 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 32,1 | [32,1; 32,1] | 3 | 32,1; 32,1; 32,1 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 6 160 |
| Первый токен, 95-й процентиль, мс | 6 230 |
| Полная задержка, медиана, мс | 13 800 |
| Полная задержка, 95-й процентиль, мс | 13 900 |
| Скорость на пользователя, медиана, ток/с | 38,9 |
вопрос по документу: вход 4 096, выход 300, c = 8
doc_qa-in4096-out300-c8; запросов в прогоне: 32, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 117,27 ± 0,11 | [117,01; 117,53] | 3 | 117,18; 117,24; 117,38 |
| Вход и выход, всего, ток/с | 1 718,4 ± 1,5 | [1 714,5; 1 722,2] | 3 | 1 717,0; 1 718,0; 1 720,1 |
| Запросов в секунду, запр/с | 0,3909 ± 0,0004 | [0,3900; 0,3918] | 3 | 0,3906; 0,3908; 0,3913 |
| Первый токен, медиана, мс | 11 784 ± 20 | [11 735; 11 834] | 3 | 11 799; 11 792; 11 762 |
| Первый токен, 95-й процентиль, мс | 12 298 ± 15 | [12 260; 12 335] | 3 | 12 314; 12 295; 12 284 |
| Полная задержка, медиана, мс | 20 464 ± 21 | [20 413; 20 515] | 3 | 20 482; 20 469; 20 441 |
| Полная задержка, 95-й процентиль, мс | 20 505 ± 15 | [20 467; 20 542] | 3 | 20 518; 20 507; 20 489 |
| Время на токен, медиана, мс | 29,032 ± 0,008 | [29,012; 29,051] | 3 | 29,033; 29,039; 29,023 |
| Пауза между токенами, 99-й процентиль, мс | 32,75 ± 0,07 | [32,58; 32,93] | 3 | 32,76; 32,82; 32,68 |
| Скорость на пользователя, медиана, ток/с | 34,548 ± 0,010 | [34,524; 34,572] | 3 | 34,547; 34,539; 34,558 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 64,3 | [64,3; 64,3] | 3 | 64,3; 64,3; 64,3 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 11 800 |
| Первый токен, 95-й процентиль, мс | 12 300 |
| Полная задержка, медиана, мс | 20 500 |
| Полная задержка, 95-й процентиль, мс | 20 500 |
| Скорость на пользователя, медиана, ток/с | 34,5 |
вопрос по документу: вход 4 096, выход 300, c = 12
doc_qa-in4096-out300-c12; запросов в прогоне: 48, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 131,63 ± 0,15 | [131,25; 132,01] | 3 | 131,73; 131,46; 131,70 |
| Вход и выход, всего, ток/с | 1 928,8 ± 2,2 | [1 923,3; 1 934,3] | 3 | 1 930,3; 1 926,3; 1 929,9 |
| Запросов в секунду, запр/с | 0,4388 ± 0,0005 | [0,4375; 0,4400] | 3 | 0,4391; 0,4382; 0,4390 |
| Первый токен, медиана, мс | 17 415 ± 24 | [17 356; 17 474] | 3 | 17 394; 17 440; 17 410 |
| Первый токен, 95-й процентиль, мс | 18 350 ± 90 | [18 130; 18 560] | 3 | 18 300; 18 450; 18 290 |
| Полная задержка, медиана, мс | 27 352 ± 21 | [27 300; 27 404] | 3 | 27 332; 27 373; 27 350 |
| Полная задержка, 95-й процентиль, мс | 28 130 ± 80 | [27 940; 28 320] | 3 | 28 090; 28 220; 28 080 |
| Время на токен, медиана, мс | 33,229 ± 0,007 | [33,212; 33,246] | 3 | 33,234; 33,231; 33,221 |
| Пауза между токенами, 99-й процентиль, мс | 35,41 ± 0,14 | [35,07; 35,76] | 3 | 35,56; 35,40; 35,28 |
| Скорость на пользователя, медиана, ток/с | 30,095 ± 0,006 | [30,079; 30,110] | 3 | 30,090; 30,093; 30,102 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 96,4 | [96,4; 96,4] | 3 | 96,4; 96,4; 96,4 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 17 400 |
| Первый токен, 95-й процентиль, мс | 18 400 |
| Полная задержка, медиана, мс | 27 400 |
| Полная задержка, 95-й процентиль, мс | 28 100 |
| Скорость на пользователя, медиана, ток/с | 30,1 |
вопрос по документу: вход 4 096, выход 300, c = 16
doc_qa-in4096-out300-c16; запросов в прогоне: 64, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 127,31 ± 0,17 | [126,89; 127,73] | 3 | 127,33; 127,47; 127,13 |
| Вход и выход, всего, ток/с | 1 865,5 ± 2,5 | [1 859,4; 1 871,7] | 3 | 1 865,8; 1 867,8; 1 862,9 |
| Запросов в секунду, запр/с | 0,4244 ± 0,0006 | [0,4230; 0,4258] | 3 | 0,4244; 0,4249; 0,4238 |
| Первый токен, медиана, мс | 16 670 ± 40 | [16 560; 16 780] | 3 | 16 690; 16 700; 16 620 |
| Первый токен, 95-й процентиль, мс | 31 720 ± 170 | [31 290; 32 140] | 3 | 31 670; 31 570; 31 910 |
| Полная задержка, медиана, мс | 32 440 ± 150 | [32 070; 32 810] | 3 | 32 410; 32 300; 32 600 |
| Полная задержка, 95-й процентиль, мс | 53 350 ± 260 | [52 710; 53 990] | 3 | 53 280; 53 130; 53 630 |
| Время на токен, медиана, мс | 62,05 ± 0,07 | [61,88; 62,22] | 3 | 62,12; 61,99; 62,04 |
| Пауза между токенами, 99-й процентиль, мс | 836 ± 4 | [827; 846] | 3 | 840; 836; 833 |
| Скорость на пользователя, медиана, ток/с | 16,117 ± 0,018 | [16,073; 16,161] | 3 | 16,098; 16,133; 16,120 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 96,4 | [96,4; 96,4] | 3 | 96,4; 96,4; 96,4 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 16 700 |
| Первый токен, 95-й процентиль, мс | 32 500 |
| Полная задержка, медиана, мс | 32 500 |
| Полная задержка, 95-й процентиль, мс | 54 800 |
| Скорость на пользователя, медиана, ток/с | 16,1 |
вопрос по документу: вход 4 096, выход 300, c = 24
doc_qa-in4096-out300-c24; запросов в прогоне: 96, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 131,33 ± 0,26 | [130,69; 131,97] | 3 | 131,42; 131,04; 131,53 |
| Вход и выход, всего, ток/с | 1 924 ± 4 | [1 915; 1 934] | 3 | 1 926; 1 920; 1 927 |
| Запросов в секунду, запр/с | 0,4378 ± 0,0009 | [0,4356; 0,4399] | 3 | 0,4381; 0,4368; 0,4384 |
| Первый токен, медиана, мс | 36 130 ± 100 | [35 880; 36 380] | 3 | 36 100; 36 240; 36 050 |
| Первый токен, 95-й процентиль, мс | 44 840 ± 240 | [44 240; 45 450] | 3 | 44 780; 45 110; 44 640 |
| Полная задержка, медиана, мс | 54 860 ± 60 | [54 720; 55 000] | 3 | 54 840; 54 920; 54 820 |
| Полная задержка, 95-й процентиль, мс | 60 960 ± 280 | [60 250; 61 670] | 3 | 60 880; 61 270; 60 720 |
| Время на токен, медиана, мс | 62,21 ± 0,04 | [62,11; 62,30] | 3 | 62,19; 62,25; 62,19 |
| Пауза между токенами, 99-й процентиль, мс | 840,3 ± 2,8 | [833,3; 847,3] | 3 | 842,0; 841,8; 837,0 |
| Скорость на пользователя, медиана, ток/с | 16,075 ± 0,010 | [16,051; 16,099] | 3 | 16,081; 16,064; 16,081 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 96,4 | [96,4; 96,4] | 3 | 96,4; 96,4; 96,4 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 36 100 |
| Первый токен, 95-й процентиль, мс | 45 300 |
| Полная задержка, медиана, мс | 54 800 |
| Полная задержка, 95-й процентиль, мс | 62 800 |
| Скорость на пользователя, медиана, ток/с | 16,1 |
вопрос по документу: вход 4 096, выход 300, c = 32
doc_qa-in4096-out300-c32; запросов в прогоне: 128, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 130,30 ± 0,17 | [129,88; 130,71] | 3 | 130,23; 130,17; 130,49 |
| Вход и выход, всего, ток/с | 1 909,3 ± 2,4 | [1 903,2; 1 915,3] | 3 | 1 908,3; 1 907,5; 1 912,0 |
| Запросов в секунду, запр/с | 0,4343 ± 0,0006 | [0,4329; 0,4357] | 3 | 0,4341; 0,4339; 0,4350 |
| Первый токен, медиана, мс | 54 810 ± 130 | [54 480; 55 150] | 3 | 54 920; 54 860; 54 660 |
| Первый токен, 95-й процентиль, мс | 63 360 ± 190 | [62 890; 63 830] | 3 | 63 300; 63 570; 63 210 |
| Полная задержка, медиана, мс | 71 710 ± 190 | [71 230; 72 180] | 3 | 71 720; 71 890; 71 510 |
| Полная задержка, 95-й процентиль, мс | 82 680 ± 270 | [82 010; 83 360] | 3 | 82 570; 82 990; 82 490 |
| Время на токен, медиана, мс | 62,29 ± 0,06 | [62,13; 62,45] | 3 | 62,30; 62,22; 62,34 |
| Пауза между токенами, 99-й процентиль, мс | 846 ± 7 | [829; 863] | 3 | 842; 854; 842 |
| Скорость на пользователя, медиана, ток/с | 16,055 ± 0,016 | [16,014; 16,095] | 3 | 16,051; 16,072; 16,040 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 96,4 | [96,4; 96,4] | 3 | 96,4; 96,4; 96,4 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 54 900 |
| Первый токен, 95-й процентиль, мс | 64 300 |
| Полная задержка, медиана, мс | 71 800 |
| Полная задержка, 95-й процентиль, мс | 82 800 |
| Скорость на пользователя, медиана, ток/с | 16,1 |
вопрос по документу, открытая нагрузка: вход 4 096, выход 300, поток 0,15 запр/с
doc_qa_open-in4096-out300-r0.15; запросов в прогоне: 30, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 43,065 ± 0,018 | [43,021; 43,108] | 3 | 43,060; 43,084; 43,050 |
| Вход и выход, всего, ток/с | 631,04 ± 0,26 | [630,40; 631,68] | 3 | 630,97; 631,32; 630,82 |
| Запросов в секунду, запр/с | 0,14355 ± 0,00006 | [0,14340; 0,14369] | 3 | 0,14353; 0,14361; 0,14350 |
| Первый токен, медиана, мс | 1 633 ± 9 | [1 611; 1 654] | 3 | 1 629; 1 643; 1 626 |
| Первый токен, 95-й процентиль, мс | 3 140 ± 210 | [2 620; 3 670] | 3 | 3 260; 3 270; 2 900 |
| Полная задержка, медиана, мс | 11 900 ± 300 | [11 100; 12 800] | 3 | 12 000; 12 200; 11 600 |
| Полная задержка, 95-й процентиль, мс | 16 600 ± 1 300 | [13 400; 19 900] | 3 | 17 800; 16 900; 15 200 |
| Время на токен, медиана, мс | 33,7 ± 2,7 | [27,0; 40,3] | 3 | 34,9; 35,5; 30,6 |
| Пауза между токенами, 99-й процентиль, мс | 400 ± 300 | [−400; 1 100] | 3 | 600; 600; 0 |
| Скорость на пользователя, медиана, ток/с | 29,8 ± 2,5 | [23,7; 36,0] | 3 | 28,7; 28,2; 32,7 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 48 ± 8 | [28; 68] | 3 | 56; 48; 40 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 1 640 |
| Первый токен, 95-й процентиль, мс | 3 260 |
| Полная задержка, медиана, мс | 12 000 |
| Полная задержка, 95-й процентиль, мс | 16 900 |
| Скорость на пользователя, медиана, ток/с | 29,8 |
вопрос по документу, открытая нагрузка: вход 4 096, выход 300, поток 0,3 запр/с
doc_qa_open-in4096-out300-r0.3; запросов в прогоне: 60, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 86,12 ± 0,06 | [85,97; 86,28] | 3 | 86,18; 86,06; 86,13 |
| Вход и выход, всего, ток/с | 1 262,0 ± 0,9 | [1 259,7; 1 264,2] | 3 | 1 262,8; 1 261,0; 1 262,0 |
| Запросов в секунду, запр/с | 0,28707 ± 0,00021 | [0,28655; 0,28759] | 3 | 0,28727; 0,28685; 0,28709 |
| Первый токен, медиана, мс | 2 610 ± 50 | [2 500; 2 730] | 3 | 2 560; 2 630; 2 650 |
| Первый токен, 95-й процентиль, мс | 8 400 ± 500 | [7 000; 9 700] | 3 | 7 800; 8 900; 8 400 |
| Полная задержка, медиана, мс | 17 100 ± 1 000 | [14 500; 19 600] | 3 | 18 100; 17 000; 16 000 |
| Полная задержка, 95-й процентиль, мс | 27 500 ± 300 | [26 600; 28 300] | 3 | 27 200; 27 400; 27 800 |
| Время на токен, медиана, мс | 46,0 ± 0,7 | [44,2; 47,8] | 3 | 45,3; 46,0; 46,7 |
| Пауза между токенами, 99-й процентиль, мс | 1 015,8 ± 2,7 | [1 009,1; 1 022,5] | 3 | 1 018,9; 1 014,2; 1 014,2 |
| Скорость на пользователя, медиана, ток/с | 21,8 ± 0,3 | [20,9; 22,6] | 3 | 22,1; 21,8; 21,4 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 96,4 | [96,4; 96,4] | 3 | 96,4; 96,4; 96,4 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 2 630 |
| Первый токен, 95-й процентиль, мс | 8 460 |
| Полная задержка, медиана, мс | 17 000 |
| Полная задержка, 95-й процентиль, мс | 27 500 |
| Скорость на пользователя, медиана, ток/с | 21,8 |
вопрос по документу, открытая нагрузка: вход 4 096, выход 300, поток 0,45 запр/с
doc_qa_open-in4096-out300-r0.45; запросов в прогоне: 90, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 121,6 ± 1,8 | [117,1; 126,0] | 3 | 123,4; 121,4; 119,9 |
| Вход и выход, всего, ток/с | 1 781 ± 26 | [1 716; 1 847] | 3 | 1 809; 1 779; 1 756 |
| Запросов в секунду, запр/с | 0,405 ± 0,006 | [0,390; 0,420] | 3 | 0,411; 0,405; 0,400 |
| Первый токен, медиана, мс | 10 000 ± 4 000 | [0; 19 000] | 3 | 6 000; 14 000; 9 000 |
| Первый токен, 95-й процентиль, мс | 27 000 ± 10 000 | [3 000; 51 000] | 3 | 18 000; 25 000; 37 000 |
| Полная задержка, медиана, мс | 32 000 ± 4 000 | [22 000; 42 000] | 3 | 28 000; 36 000; 33 000 |
| Полная задержка, 95-й процентиль, мс | 51 000 ± 9 000 | [28 000; 74 000] | 3 | 42 000; 50 000; 60 000 |
| Время на токен, медиана, мс | 80 ± 4 | [69; 90] | 3 | 76; 84; 79 |
| Пауза между токенами, 99-й процентиль, мс | 1 400 ± 300 | [600; 2 100] | 3 | 1 600; 1 000; 1 600 |
| Скорость на пользователя, медиана, ток/с | 12,6 ± 0,6 | [11,0; 14,2] | 3 | 13,1; 11,9; 12,7 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 96,4 | [96,4; 96,4] | 3 | 96,4; 96,4; 96,4 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 7 490 |
| Первый токен, 95-й процентиль, мс | 31 600 |
| Полная задержка, медиана, мс | 31 200 |
| Полная задержка, 95-й процентиль, мс | 54 800 |
| Скорость на пользователя, медиана, ток/с | 12,6 |
Память
Старты идут парами: холодный, затем тёплый. Поля, которые после первого старта сервера отличаются больше чем на 1 %, показаны раздельно: после перезапуска (тёплый старт) и при первом старте (холодный, с компиляцией модели).
| Величина | После перезапуска (тёплый старт) | При первом старте (холодный) | n | Каждый старт |
|---|---|---|---|---|
| Веса, ГиБ | 27,9 — одинаково при обоих видах старта | 6 | 27,9; 27,9; 27,9; 27,9; 27,9; 27,9 | |
| KV-кэш, ГиБ | 5,41 | 3,09 | 6 | х 3,09; т 5,41; х 3,09; т 5,41; х 3,09; т 5,41 |
| KV-кэш по журналу vLLM, токенов | 82 700 | 46 800 | 6 | х 46 800; т 82 700; х 46 800; т 82 700; х 46 800; т 82 700 |
| Пик активаций, ГиБ | 2,79 | 2,91 | 6 | х 2,91; т 2,79; х 2,91; т 2,79; х 2,91; т 2,79 |
| CUDA graphs, ГиБ | 0,0800 — одинаково при обоих видах старта | 6 | 0,0800; 0,0800; 0,0800; 0,0800; 0,0800; 0,0800 | |
| Веса и память вне PyTorch, ГиБ | 28,1 | 30,3 | 6 | х 30,3; т 28,1; х 30,3; т 28,1; х 30,3; т 28,1 |
| Бюджет gpu_memory_utilization, ГиБ | 36,3 — одинаково при обоих видах старта | 6 | 36,3; 36,3; 36,3; 36,3; 36,3; 36,3 | |
| Объём карты по CUDA, ГиБ | 39,5 — одинаково при обоих видах старта | 6 | 39,5; 39,5; 39,5; 39,5; 39,5; 39,5 | |
| Свободно перед стартом, ГиБ | 39,1 — одинаково при обоих видах старта | 6 | 39,1; 39,1; 39,1; 39,1; 39,1; 39,1 | |
| Занято после старта (nvidia-smi), ГиБ | 34,09 ± 0,08 — одинаково при обоих видах старта | 6 | 34,02; 34,17; 34,02; 34,17; 34,02; 34,17 | |
| Пик под нагрузкой (nvidia-smi), ГиБ | 39,4 | 1 | 39,4 | |
х — холодный старт, т — тёплый.
Из журнала vLLM
- Блок внимания, токенов
- 784
- Режим кэша линейных слоёв
- —
- Выравнивание страниц линейных слоёв, %
- 0,13
- Раскладка KV-кэша
- LBNHC
- Ядро FP8
- MarlinFP8ScaledMMLinearKernel
- FP8 только для весов (Marlin)
- да
- Токенов на запрос в отчёте vLLM
- 40 960
- Одновременных запросов по отчёту vLLM
- 2,02
- Версия движка
- 0.32.0
- Чекпойнт, ГиБ
- 28,75
- Пул CUDA graphs, ГиБ
- 0,08
Из отчёта серии
- «Вопросов по документу» одновременно: 12 — расчёт по замеру памяти; отчёт S1, раздел «Память и ёмкость».
- То же после первого старта сервера: 7 — расчёт по замеру памяти; отчёт S1, раздел «Память и ёмкость».
Качество
KL-дивергенция к BF16 считается сравнением двух замеров (run.py compare)
belebele_ru
lm-eval 0.4.13, 332 с.
Результаты по заданиям (1)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| belebele_rus_Cyrl | 900 | acc | 92,6 | 0,875 |
| belebele_rus_Cyrl | 900 | acc_norm | 92,6 | 0,875 |
global_mmlu_ru
lm-eval 0.4.13, 3 420 с.
Результаты по заданиям (62)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| global_mmlu_full_ru | 14 042 | acc | 77,2 | 0,341 |
| global_mmlu_full_ru_abstract_algebra | 100 | acc | 63,0 | 4,85 |
| global_mmlu_full_ru_anatomy | 135 | acc | 76,3 | 3,67 |
| global_mmlu_full_ru_astronomy | 152 | acc | 92,1 | 2,19 |
| global_mmlu_full_ru_business_ethics | 100 | acc | 72,0 | 4,51 |
| global_mmlu_full_ru_clinical_knowledge | 265 | acc | 84,2 | 2,25 |
| global_mmlu_full_ru_college_biology | 144 | acc | 92,4 | 2,22 |
| global_mmlu_full_ru_college_chemistry | 100 | acc | 62,0 | 4,88 |
| global_mmlu_full_ru_college_computer_science | 100 | acc | 71,0 | 4,56 |
| global_mmlu_full_ru_college_mathematics | 100 | acc | 64,0 | 4,82 |
| global_mmlu_full_ru_college_medicine | 173 | acc | 78,0 | 3,16 |
| global_mmlu_full_ru_college_physics | 102 | acc | 62,7 | 4,81 |
| global_mmlu_full_ru_computer_security | 100 | acc | 82,0 | 3,86 |
| global_mmlu_full_ru_conceptual_physics | 235 | acc | 86,0 | 2,27 |
| global_mmlu_full_ru_econometrics | 114 | acc | 74,6 | 4,10 |
| global_mmlu_full_ru_electrical_engineering | 145 | acc | 75,9 | 3,57 |
| global_mmlu_full_ru_elementary_mathematics | 378 | acc | 77,5 | 2,15 |
| global_mmlu_full_ru_formal_logic | 126 | acc | 62,7 | 4,33 |
| global_mmlu_full_ru_global_facts | 100 | acc | 54,0 | 5,01 |
| global_mmlu_full_ru_high_school_biology | 310 | acc | 93,9 | 1,36 |
| global_mmlu_full_ru_high_school_chemistry | 203 | acc | 79,8 | 2,82 |
| global_mmlu_full_ru_high_school_computer_science | 100 | acc | 90,0 | 3,02 |
| global_mmlu_full_ru_high_school_european_history | 165 | acc | 85,5 | 2,75 |
| global_mmlu_full_ru_high_school_geography | 198 | acc | 86,9 | 2,41 |
| global_mmlu_full_ru_high_school_government_and_politics | 193 | acc | 90,2 | 2,15 |
| global_mmlu_full_ru_high_school_macroeconomics | 390 | acc | 85,4 | 1,79 |
| global_mmlu_full_ru_high_school_mathematics | 270 | acc | 52,6 | 3,04 |
| global_mmlu_full_ru_high_school_microeconomics | 238 | acc | 92,4 | 1,72 |
| global_mmlu_full_ru_high_school_physics | 151 | acc | 75,5 | 3,51 |
| global_mmlu_full_ru_high_school_psychology | 545 | acc | 91,7 | 1,18 |
| global_mmlu_full_ru_high_school_statistics | 216 | acc | 78,2 | 2,81 |
| global_mmlu_full_ru_high_school_us_history | 204 | acc | 91,7 | 1,94 |
| global_mmlu_full_ru_high_school_world_history | 237 | acc | 92,0 | 1,77 |
| global_mmlu_full_ru_human_aging | 223 | acc | 74,4 | 2,93 |
| global_mmlu_full_ru_human_sexuality | 131 | acc | 84,7 | 3,15 |
| global_mmlu_full_ru_humanities | 4 705 | acc | 71,8 | 0,637 |
| global_mmlu_full_ru_international_law | 121 | acc | 85,1 | 3,25 |
| global_mmlu_full_ru_jurisprudence | 108 | acc | 87,0 | 3,25 |
| global_mmlu_full_ru_logical_fallacies | 163 | acc | 77,9 | 3,26 |
| global_mmlu_full_ru_machine_learning | 112 | acc | 67,0 | 4,46 |
| global_mmlu_full_ru_management | 103 | acc | 82,5 | 3,76 |
| global_mmlu_full_ru_marketing | 234 | acc | 88,0 | 2,13 |
| global_mmlu_full_ru_medical_genetics | 100 | acc | 86,0 | 3,49 |
| global_mmlu_full_ru_miscellaneous | 783 | acc | 82,6 | 1,35 |
| global_mmlu_full_ru_moral_disputes | 346 | acc | 75,7 | 2,31 |
| global_mmlu_full_ru_moral_scenarios | 895 | acc | 62,6 | 1,62 |
| global_mmlu_full_ru_nutrition | 306 | acc | 85,3 | 2,03 |
| global_mmlu_full_ru_other | 3 107 | acc | 78,7 | 0,708 |
| global_mmlu_full_ru_philosophy | 311 | acc | 79,7 | 2,28 |
| global_mmlu_full_ru_prehistory | 324 | acc | 80,6 | 2,20 |
| global_mmlu_full_ru_professional_accounting | 282 | acc | 61,0 | 2,91 |
| global_mmlu_full_ru_professional_law | 1 534 | acc | 61,8 | 1,24 |
| global_mmlu_full_ru_professional_medicine | 272 | acc | 92,6 | 1,59 |
| global_mmlu_full_ru_professional_psychology | 612 | acc | 76,6 | 1,71 |
| global_mmlu_full_ru_public_relations | 110 | acc | 63,6 | 4,61 |
| global_mmlu_full_ru_security_studies | 245 | acc | 73,9 | 2,81 |
| global_mmlu_full_ru_social_sciences | 3 077 | acc | 84,0 | 0,647 |
| global_mmlu_full_ru_sociology | 201 | acc | 89,6 | 2,16 |
| global_mmlu_full_ru_stem | 3 153 | acc | 77,1 | 0,720 |
| global_mmlu_full_ru_us_foreign_policy | 100 | acc | 91,0 | 2,88 |
| global_mmlu_full_ru_virology | 166 | acc | 51,2 | 3,89 |
| global_mmlu_full_ru_world_religions | 171 | acc | 86,5 | 2,62 |
mgsm_ru
lm-eval 0.4.13, 231 с.
Результаты по заданиям (1)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| mgsm_native_cot_ru | 250 | exact_match/flexible-extract | 80,0 | 2,53 |
| mgsm_native_cot_ru | 250 | exact_match/strict-match | 0 | 0 |
bfcl
bfcl-eval 2026.3.23, 1 290 с; native function calling: /v1/chat/completions с tools, без tool_choice; temperature 0; отдельный старт сервера: аргументы замера плюс --enable-auto-tool-choice --tool-call-parser qwen3_coder.
Результаты по заданиям (10)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| Вызов инструментов: не вызывать, если не нужноbfcl_irrelevance | 240 | acc | 69,6 | 2,97 |
| Вызов инструментов: реальные запросы, выбор функцииbfcl_live_multiple | 1 053 | acc | 80,7 | 1,22 |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl_live_parallel | 16 | acc | 81,3 | 9,76 |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl_live_parallel_multiple | 24 | acc | 79,2 | 8,29 |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl_live_relevance | 16 | acc | 68,8 | 11,6 |
| Вызов инструментов: реальные запросы, одна функцияbfcl_live_simple | 258 | acc | 87,6 | 2,05 |
| Вызов инструментов: выбор из нескольких функцийbfcl_multiple | 200 | acc | 97,0 | 1,21 |
| Вызов инструментов: несколько вызовов сразуbfcl_parallel | 200 | acc | 83,0 | 2,66 |
| Вызов инструментов: несколько вызовов разных функцийbfcl_parallel_multiple | 200 | acc | 83,0 | 2,66 |
| Вызов инструментов: одна функцияbfcl_simple_python | 400 | acc | 97,5 | 0,781 |
Для KL собрано: 68 806 позиций в 121 фрагментах, top-20.
Сравнение на одних вопросах: эталон Qwen3.8-27BBF16, вариант Qwen3.8-27BFP8
Против Qwen3.8-27BBF16.
| Набор | Вопросов | Эталон, % | Вариант, % | Разность | Интервал | p | Исход |
|---|---|---|---|---|---|---|---|
| Belebele ru, понимание текстаbelebele_ru (acc) | 900 | 92,3 | 92,6 | +0,2 | [−0,3; +0,8] | 0,727 | в пределах шума |
| Global-MMLU ru, знанияglobal_mmlu_ru (acc) | 14 042 | 77,4 | 77,2 | −0,25 | [−0,46; −0,04] | 0,0232 | разность есть |
| MGSM ru, арифметика, число из строки «Ответ»mgsm_ru / flexible-extract (exact_match_answer_line) | 250 | 92,8 | 92,0 | −0,8 | [−2,4; +0,8] | 0,625 | в пределах шума |
| mgsm_ru / flexible-extract (exact_match) | 250 | 79,6 | 80,0 | +0,4 | [−1,6; +2,4] | 1,00 | в пределах шума |
| mgsm_ru / strict-match (exact_match) | 250 | 0 | 0 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: все заданияbfcl / all (acc) | 2 607 | 84,5 | 84,5 | −0,1 | [−0,6; +0,5] | 0,888 | в пределах шума |
| Вызов инструментов: одна функцияbfcl / simple_python (acc) | 400 | 97,0 | 97,5 | +0,5 | [0,0; +1,3] | 0,500 | в пределах шума |
| Вызов инструментов: выбор из нескольких функцийbfcl / multiple (acc) | 200 | 96,5 | 97,0 | +0,5 | [0,0; +1,5] | 1,00 | в пределах шума |
| Вызов инструментов: несколько вызовов сразуbfcl / parallel (acc) | 200 | 82,0 | 83,0 | +1,0 | [−1,5; +3,5] | 0,688 | в пределах шума |
| Вызов инструментов: не вызывать, если не нужноbfcl / irrelevance (acc) | 240 | 72,1 | 69,6 | −3 | [−6; +1] | 0,210 | в пределах шума |
| Вызов инструментов: несколько вызовов разных функцийbfcl / parallel_multiple (acc) | 200 | 83,5 | 83,0 | −0,5 | [−2,5; +1,0] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, одна функцияbfcl / live_simple (acc) | 258 | 87,6 | 87,6 | 0,0 | [−1,2; +1,2] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, выбор функцииbfcl / live_multiple (acc) | 1 053 | 80,8 | 80,7 | −0,1 | [−0,9; +0,8] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl / live_parallel (acc) | 16 | 81,3 | 81,3 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl / live_parallel_multiple (acc) | 24 | 75,0 | 79,2 | +4 | [0; +13] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl / live_relevance (acc) | 16 | 68,8 | 68,8 | 0 | [0; 0] | 1,00 | в пределах шума |
Расхождение распределений на каждом токене: KL 0,00332 нат в среднем, 0,0499 нат на 99-м процентиле; первый токен совпал в 98,5 % позиций (68 806 позиций). По фрагментам: 0,0034 ± 0,0014 [0,0031; 0,0036], n = 121.
Сравнение на одних вопросах: эталон Qwen3.8-27BFP8, вариант Qwen3.8-27BINT4 AWQ g32
Против Qwen3.8-27BINT4 AWQ g32.
| Набор | Вопросов | Эталон, % | Вариант, % | Разность | Интервал | p | Исход |
|---|---|---|---|---|---|---|---|
| Belebele ru, понимание текстаbelebele_ru (acc) | 900 | 92,6 | 91,9 | −0,7 | [−1,6; +0,1] | 0,180 | в пределах шума |
| Global-MMLU ru, знанияglobal_mmlu_ru (acc) | 14 042 | 77,2 | 77,0 | −0,2 | [−0,5; +0,1] | 0,352 | в пределах шума |
| MGSM ru, арифметика, число из строки «Ответ»mgsm_ru / flexible-extract (exact_match_answer_line) | 250 | 92,0 | 92,0 | 0,0 | [−2,0; +2,0] | 1,00 | в пределах шума |
| mgsm_ru / flexible-extract (exact_match) | 250 | 80,0 | 79,2 | −0,8 | [−3,2; +1,2] | 0,727 | в пределах шума |
| mgsm_ru / strict-match (exact_match) | 250 | 0 | 0 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: все заданияbfcl / all (acc) | 2 607 | 84,5 | 84,1 | −0,3 | [−1,2; +0,5] | 0,474 | в пределах шума |
| Вызов инструментов: одна функцияbfcl / simple_python (acc) | 400 | 97,5 | 97,0 | −0,5 | [−1,3; 0,0] | 0,500 | в пределах шума |
| Вызов инструментов: выбор из нескольких функцийbfcl / multiple (acc) | 200 | 97,0 | 97,5 | +0,5 | [−1,5; +3,0] | 1,00 | в пределах шума |
| Вызов инструментов: несколько вызовов сразуbfcl / parallel (acc) | 200 | 83,0 | 75,0 | −8 | [−14; −3] | 0,00700 | разность есть |
| Вызов инструментов: не вызывать, если не нужноbfcl / irrelevance (acc) | 240 | 69,6 | 72,5 | +3 | [−1; +7] | 0,210 | в пределах шума |
| Вызов инструментов: несколько вызовов разных функцийbfcl / parallel_multiple (acc) | 200 | 83,0 | 86,5 | +4 | [0; +7] | 0,0923 | в пределах шума |
| Вызов инструментов: реальные запросы, одна функцияbfcl / live_simple (acc) | 258 | 87,6 | 86,8 | −0,8 | [−3,1; +1,2] | 0,727 | в пределах шума |
| Вызов инструментов: реальные запросы, выбор функцииbfcl / live_multiple (acc) | 1 053 | 80,7 | 80,3 | −0,4 | [−1,5; +0,8] | 0,636 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl / live_parallel (acc) | 16 | 81,3 | 87,5 | +6 | [0; +19] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl / live_parallel_multiple (acc) | 24 | 79,2 | 75,0 | −4 | [−13; 0] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl / live_relevance (acc) | 16 | 68,8 | 68,8 | 0 | [0; 0] | 1,00 | в пределах шума |
Расхождение распределений на каждом токене: KL 0,0263 нат в среднем, 0,402 нат на 99-м процентиле; первый токен совпал в 95,9 % позиций (68 806 позиций). По фрагментам: 0,027 ± 0,011 [0,025; 0,029], n = 121.
Что не измеряли
- качество в режиме thinking и на агентных задачах: замеряется без thinking, на открытых русских наборах
- больше 32 одновременных запросов
- влияние содержания промпта на скорость: без спекулятивного декодирования оно определяется числом токенов, а не текстом
- попадания в кэш префиксов: prefix caching выключен, промпты уникальны
- спекулятивное декодирование (MTP-голова модели)
- задержка сети до клиента: клиент на том же сервере
- старт после перезагрузки: при холодном старте вытесняются только веса и кэш компиляции, образ docker и библиотеки могут быть в кэше ОС
- параметры семплирования: только жадное декодирование (temperature 0)
- энергопотребление как метрика: мощность пишется только как условие
- долговременная стабильность
Замечания
- официальная FP8 авторов модели
- У A100 нет FP8-вычислений: vLLM хранит веса в FP8, а умножает в BF16 (ядро MarlinFP8ScaledMMLinearKernel).