Qwen3.8-27B BF16 на двух A100 SXM4 40GB (TP=2, NVLink): скорость, память, качество
Qwen3.8-27BBF16
- без квантования
- официальный
- 2× A100 40GB, NVLink
- vLLM 0.32.0
Условия
Что измеряли: скорость, память, качество.
- Модель
- Qwen/Qwen3.8-27B, ревизия
37561816e66b5b91 53b1b64c 10968c18 c1e6f4a0 - Архитектура
- Qwen3_5ForConditionalGeneration: full_attention 16, linear_attention 48, total 64
- Лицензия
- apache-2.0
- Что загружено
- только языковая часть (--language-model-only): визуальный энкодер не загружается; MTP-голова не используется (спекулятивное декодирование выключено)
- Квантование
- нет
- KV-кэш
- bfloat16
- Движок
- vLLM 0.32.0, образ vllm/vllm-openai:v0.32.0 (
sha256:b)efccf0e7 e4089aa2 3926bb6f 887a85c0 d46c2a99 e6de5c5f fdf5cb79 57c5b34 - Версии программ
- PyTorch 2.13.0+cu130, CUDA runtime 13.0.2, Transformers 5.19.0, драйвер 580.178.04, CUDA драйвера 13.0
- Карты
- 2 × NVIDIA A100-SXM4-40GB, 40 960 МиБ по nvidia-smi, 39,49 ГиБ по CUDA; связь между картами: NVLink (NV11)
- Запуск
- TP 2, контекст до 40 960 токенов, до 32 запросов одновременно, префилл блоками до 16 384 токенов, gpu_memory_utilization 0,92, dtype bfloat16, KV-кэш auto, кэш префиксов: нет, CUDA graphs: да, спекулятивное декодирование: нет, seed 42
- Режим thinking
- выключен: шаблон чата с enable_thinking=false (качество); скорость — /v1/completions без шаблона чата
- Нагрузка
- vllm bench serve 0.32.0, /v1/completions; random: синтетические токены, уникальный сдвиг на запрос, без общего префикса; ignore_eos: да, temperature 0; закрытый цикл: не больше c запросов в полёте (--max-concurrency c, --request-rate inf); точки -r<R> — открытая нагрузка: пуассоновский поток R запросов/с (--request-rate R --burstiness 1), без ограничения одновременных; R = 0.15, 0.3, 0.45; клиент: тот же сервер, сеть хоста
- План
- 3 повтора каждой точки, прогрев 1; блоки повторов, внутри блока точки в случайном порядке (seed 20261109); пар стартов 3; опрос датчиков каждые 0,5 с
- Протокол
- 1.0, стенд 1.0.0 (
416886b7); план s1-qwen3.8-27b-bf16-tp2 (b1305756 d15df5e9 5855b0b6 62b49429 6c07d14e d9e7e5dc efb0efcb 31c88570)2926d32f 58e9688d 686fa70d 0a7c8442 48605f65 272aaac1 6eef20bc
Команда запуска
Аргументы сервера внутри контейнера; адрес и порт сервера опущены.
/model --served-model-name Qwen/Qwen3.8-27B --tensor-parallel-size 2 --max-model-len 40960 --max-num-seqs 32 --max-num-batched-tokens 16384 --gpu-memory-utilization 0.92 --dtype bfloat16 --load-format safetensors --no-trust-remote-code --language-model-only --generation-config vllm --seed 42 --no-enable-prefix-caching --default-chat-template-kwargs '{"enable_thinking": false}' --max-logprobs 20Проверки
- Упор в предел мощности
- 38,8 % отсчётов
- Аппаратное замедление
- 0 % отсчётов
- Тепловое ограничение (программное)
- 0 % отсчётов
- Тепловое ограничение (аппаратное)
- 0 % отсчётов
- Аварийное снижение мощности
- 0 % отсчётов
- Температура карты, максимум
- 81,0 °C
- Мощность, максимум
- 344 Вт при пределе 400 Вт
- Неудачные старты
- нет
- Итог сессии
- замер завершён
- Исключённые прогоны
- нет
| Точка | Прогонов зачтено / исключено | Длина ответов точная | Отклонение входа, макс. % | Счётчик сервера совпал | Попаданий в кэш префиксов | Вытеснений |
|---|---|---|---|---|---|---|
| single-in1024-out512-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| single-in8192-out512-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| single-in32768-out512-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c2 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c4 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c8 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c12 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c16 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c24 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c32 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa_open-in4096-out300-r0.15 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa_open-in4096-out300-r0.3 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa_open-in4096-out300-r0.45 | 3 / 0 | да | 0 | да | 0 | 0 |
Старты
Холодный старт
веса вытеснены из страничного кэша ОС, кэш компиляции vLLM пуст, контейнер новый
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| До ответа /health, с | 266 ± 25 | [205; 328] | 3 | 239; 276; 285 |
| До первого токена, с | 267 ± 25 | [205; 328] | 3 | 239; 276; 285 |
| Загрузка весов, с | 33,6 ± 1,1 | [31,0; 36,3] | 3 | 34,9; 33,2; 32,9 |
| Загрузка модели, с | 37,3 ± 1,0 | [34,7; 39,8] | 3 | 38,4; 36,7; 36,6 |
| torch.compile, с | 48 ± 3 | [40; 56] | 3 | 45; 47; 52 |
| Профилирование памяти, с | 101 ± 14 | [65; 136] | 3 | 84; 106; 112 |
| Захват CUDA graphs, с | 20 ± 4 | [11; 28] | 3 | 16; 23; 20 |
| Инициализация движка, с | 171 ± 20 | [123; 220] | 3 | 149; 178; 186 |
| Весов в кэше ОС перед стартом, % | 0 | [0; 0] | 3 | 0; 0; 0 |
Тёплый старт
сразу после холодного: тот же кэш компиляции, веса в страничном кэше, контейнер новый
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| До ответа /health, с | 75 ± 3 | [68; 83] | 3 | 73; 79; 73 |
| До первого токена, с | 75 ± 3 | [68; 83] | 3 | 74; 79; 73 |
| Загрузка весов, с | 13 ± 4 | [4; 22] | 3 | 17; 11; 11 |
| Загрузка модели, с | 16 ± 4 | [8; 25] | 3 | 20; 15; 14 |
| torch.compile, с | 1,14 ± 0,19 | [0,66; 1,62] | 3 | 1,26; 1,25; 0,92 |
| Профилирование памяти, с | 2,80 ± 0,13 | [2,47; 3,13] | 3 | 2,73; 2,71; 2,95 |
| Захват CUDA graphs, с | 13,3 ± 2,3 | [7,6; 19,1] | 3 | 12,0; 16,0; 12,0 |
| Инициализация движка, с | 15,8 ± 2,3 | [10,1; 21,5] | 3 | 13,8; 18,3; 15,3 |
| Весов в кэше ОС перед стартом, % | 82 ± 17 | [41; 124] | 3 | 63; 89; 95 |
Точки нагрузки
один поток: вход 1 024, выход 512, c = 1
single-in1024-out512-c1; запросов в прогоне: 4, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 42,00 ± 0,03 | [41,92; 42,07] | 3 | 41,96; 42,01; 42,01 |
| Вход и выход, всего, ток/с | 125,99 ± 0,09 | [125,75; 126,22] | 3 | 125,88; 126,04; 126,04 |
| Запросов в секунду, запр/с | 0,08202 ± 0,00006 | [0,08187; 0,08217] | 3 | 0,08195; 0,08206; 0,08206 |
| Первый токен, медиана, мс | 198 ± 3 | [191; 206] | 3 | 199; 195; 201 |
| Первый токен, 95-й процентиль, мс | 209,4 ± 2,4 | [203,5; 215,2] | 3 | 208,9; 211,9; 207,3 |
| Полная задержка, медиана, мс | 12 190 ± 11 | [12 164; 12 217] | 3 | 12 202; 12 182; 12 188 |
| Полная задержка, 95-й процентиль, мс | 12 203 ± 7 | [12 185; 12 221] | 3 | 12 211; 12 203; 12 196 |
| Время на токен, медиана, мс | 23,469 ± 0,022 | [23,416; 23,523] | 3 | 23,494; 23,457; 23,456 |
| Пауза между токенами, 99-й процентиль, мс | 28,47 ± 0,07 | [28,30; 28,64] | 3 | 28,50; 28,52; 28,39 |
| Скорость на пользователя, медиана, ток/с | 42,61 ± 0,04 | [42,51; 42,71] | 3 | 42,56; 42,63; 42,63 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 1,27 | [1,27; 1,27] | 3 | 1,27; 1,27; 1,27 |
| Пик памяти карты, ГиБ | 38,9508 ± 0,0023 | [38,9452; 38,9564] | 3 | 38,9482; 38,9521; 38,9521 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 198 |
| Первый токен, 95-й процентиль, мс | 212 |
| Полная задержка, медиана, мс | 12 200 |
| Полная задержка, 95-й процентиль, мс | 12 200 |
| Скорость на пользователя, медиана, ток/с | 42,6 |
один поток: вход 8 192, выход 512, c = 1
single-in8192-out512-c1; запросов в прогоне: 4, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 38,360 ± 0,015 | [38,324; 38,396] | 3 | 38,349; 38,354; 38,377 |
| Вход и выход, всего, ток/с | 652,12 ± 0,25 | [651,51; 652,73] | 3 | 651,94; 652,02; 652,40 |
| Запросов в секунду, запр/с | 0,074922 ± 0,000028 | [0,074852; 0,074992] | 3 | 0,074901; 0,074911; 0,074954 |
| Первый токен, медиана, мс | 1 244,5 ± 2,9 | [1 237,4; 1 251,6] | 3 | 1 241,2; 1 246,4; 1 245,8 |
| Первый токен, 95-й процентиль, мс | 1 255 ± 5 | [1 244; 1 267] | 3 | 1 254; 1 260; 1 251 |
| Полная задержка, медиана, мс | 13 346,0 ± 1,3 | [13 342,9; 13 349,2] | 3 | 13 344,6; 13 347,0; 13 346,5 |
| Полная задержка, 95-й процентиль, мс | 13 362 ± 13 | [13 331; 13 394] | 3 | 13 376; 13 361; 13 350 |
| Время на токен, медиана, мс | 23,6827 ± 0,0027 | [23,6760; 23,6894] | 3 | 23,6858; 23,6816; 23,6807 |
| Пауза между токенами, 99-й процентиль, мс | 28,54 ± 0,07 | [28,38; 28,71] | 3 | 28,47; 28,58; 28,59 |
| Скорость на пользователя, медиана, ток/с | 42,225 ± 0,005 | [42,213; 42,237] | 3 | 42,220; 42,227; 42,228 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 3,82 | [3,82; 3,82] | 3 | 3,82; 3,82; 3,82 |
| Пик памяти карты, ГиБ | 38,9508 ± 0,0023 | [38,9452; 38,9564] | 3 | 38,9482; 38,9521; 38,9521 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 1 240 |
| Первый токен, 95-й процентиль, мс | 1 260 |
| Полная задержка, медиана, мс | 13 300 |
| Полная задержка, 95-й процентиль, мс | 13 400 |
| Скорость на пользователя, медиана, ток/с | 42,2 |
один поток: вход 32 768, выход 512, c = 1
single-in32768-out512-c1; запросов в прогоне: 4, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 28,50 ± 0,10 | [28,26; 28,74] | 3 | 28,42; 28,46; 28,60 |
| Вход и выход, всего, ток/с | 1 852 ± 6 | [1 837; 1 868] | 3 | 1 847; 1 850; 1 859 |
| Запросов в секунду, запр/с | 0,05566 ± 0,00019 | [0,05519; 0,05612] | 3 | 0,05551; 0,05559; 0,05587 |
| Первый токен, медиана, мс | 5 510 ± 50 | [5 390; 5 630] | 3 | 5 540; 5 520; 5 450 |
| Первый токен, 95-й процентиль, мс | 5 550 ± 70 | [5 370; 5 740] | 3 | 5 600; 5 590; 5 470 |
| Полная задержка, медиана, мс | 17 960 ± 60 | [17 810; 18 120] | 3 | 18 010; 17 980; 17 890 |
| Полная задержка, 95-й процентиль, мс | 18 000 ± 70 | [17 820; 18 180] | 3 | 18 060; 18 030; 17 920 |
| Время на токен, медиана, мс | 24,371 ± 0,019 | [24,325; 24,418] | 3 | 24,390; 24,370; 24,353 |
| Пауза между токенами, 99-й процентиль, мс | 29,3 ± 0,4 | [28,4; 30,2] | 3 | 28,9; 29,6; 29,4 |
| Скорость на пользователя, медиана, ток/с | 41,03 ± 0,03 | [40,95; 41,11] | 3 | 41,00; 41,03; 41,06 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 11,7048 ± 0,0000 | [11,7048; 11,7048] | 3 | 11,7048; 11,7048; 11,7048 |
| Пик памяти карты, ГиБ | 38,9508 ± 0,0023 | [38,9452; 38,9564] | 3 | 38,9482; 38,9521; 38,9521 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 5 510 |
| Первый токен, 95-й процентиль, мс | 5 600 |
| Полная задержка, медиана, мс | 18 000 |
| Полная задержка, 95-й процентиль, мс | 18 000 |
| Скорость на пользователя, медиана, ток/с | 41,0 |
вопрос по документу: вход 4 096, выход 300, c = 1
doc_qa-in4096-out300-c1; запросов в прогоне: 8, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 38,97 ± 0,03 | [38,89; 39,05] | 3 | 38,97; 38,94; 39,00 |
| Вход и выход, всего, ток/с | 571,0 ± 0,5 | [569,9; 572,2] | 3 | 571,1; 570,6; 571,5 |
| Запросов в секунду, запр/с | 0,12990 ± 0,00010 | [0,12965; 0,13016] | 3 | 0,12990; 0,12980; 0,13000 |
| Первый токен, медиана, мс | 644 ± 4 | [634; 654] | 3 | 643; 648; 641 |
| Первый токен, 95-й процентиль, мс | 661 ± 10 | [636; 686] | 3 | 662; 671; 651 |
| Полная задержка, медиана, мс | 7 695 ± 8 | [7 674; 7 716] | 3 | 7 693; 7 704; 7 687 |
| Полная задержка, 95-й процентиль, мс | 7 719 ± 9 | [7 697; 7 740] | 3 | 7 718; 7 728; 7 711 |
| Время на токен, медиана, мс | 23,590 ± 0,020 | [23,542; 23,639] | 3 | 23,602; 23,602; 23,568 |
| Пауза между токенами, 99-й процентиль, мс | 28,71 ± 0,13 | [28,40; 29,03] | 3 | 28,81; 28,76; 28,57 |
| Скорость на пользователя, медиана, ток/с | 42,39 ± 0,04 | [42,30; 42,48] | 3 | 42,37; 42,37; 42,43 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 2,29 | [2,29; 2,29] | 3 | 2,29; 2,29; 2,29 |
| Пик памяти карты, ГиБ | 39,0 | [39,0; 39,0] | 3 | 39,0; 39,0; 39,0 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 644 |
| Первый токен, 95-й процентиль, мс | 662 |
| Полная задержка, медиана, мс | 7 700 |
| Полная задержка, 95-й процентиль, мс | 7 720 |
| Скорость на пользователя, медиана, ток/с | 42,4 |
вопрос по документу: вход 4 096, выход 300, c = 2
doc_qa-in4096-out300-c2; запросов в прогоне: 8, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 70,759 ± 0,020 | [70,710; 70,808] | 3 | 70,781; 70,745; 70,750 |
| Вход и выход, всего, ток/с | 1 036,85 ± 0,29 | [1 036,14; 1 037,57] | 3 | 1 037,18; 1 036,65; 1 036,73 |
| Запросов в секунду, запр/с | 0,23586 ± 0,00007 | [0,23570; 0,23603] | 3 | 0,23594; 0,23582; 0,23583 |
| Первый токен, медиана, мс | 933,1 ± 2,8 | [926,1; 940,0] | 3 | 930,2; 935,8; 933,2 |
| Первый токен, 95-й процентиль, мс | 1 260 ± 4 | [1 249; 1 271] | 3 | 1 258; 1 266; 1 258 |
| Полная задержка, медиана, мс | 8 468,5 ± 0,6 | [8 467,0; 8 469,9] | 3 | 8 468,2; 8 468,1; 8 469,1 |
| Полная задержка, 95-й процентиль, мс | 8 501 ± 7 | [8 484; 8 518] | 3 | 8 497; 8 509; 8 497 |
| Время на токен, медиана, мс | 25,196 ± 0,006 | [25,180; 25,211] | 3 | 25,189; 25,197; 25,201 |
| Пауза между токенами, 99-й процентиль, мс | 29,187 ± 0,019 | [29,139; 29,234] | 3 | 29,182; 29,208; 29,170 |
| Скорость на пользователя, медиана, ток/с | 39,750 ± 0,009 | [39,727; 39,773] | 3 | 39,760; 39,747; 39,742 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 4,58 | [4,58; 4,58] | 3 | 4,58; 4,58; 4,58 |
| Пик памяти карты, ГиБ | 38,9508 ± 0,0023 | [38,9452; 38,9564] | 3 | 38,9482; 38,9521; 38,9521 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 933 |
| Первый токен, 95-й процентиль, мс | 1 270 |
| Полная задержка, медиана, мс | 8 470 |
| Полная задержка, 95-й процентиль, мс | 8 510 |
| Скорость на пользователя, медиана, ток/с | 39,8 |
вопрос по документу: вход 4 096, выход 300, c = 4
doc_qa-in4096-out300-c4; запросов в прогоне: 16, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 122,45 ± 0,11 | [122,17; 122,73] | 3 | 122,49; 122,32; 122,53 |
| Вход и выход, всего, ток/с | 1 794,3 ± 1,7 | [1 790,2; 1 798,4] | 3 | 1 795,0; 1 792,4; 1 795,5 |
| Запросов в секунду, запр/с | 0,4082 ± 0,0004 | [0,4072; 0,4091] | 3 | 0,4083; 0,4077; 0,4084 |
| Первый токен, медиана, мс | 2 350 ± 4 | [2 341; 2 359] | 3 | 2 347; 2 354; 2 351 |
| Первый токен, 95-й процентиль, мс | 2 398 ± 9 | [2 376; 2 420] | 3 | 2 393; 2 408; 2 393 |
| Полная задержка, медиана, мс | 9 789 ± 9 | [9 767; 9 812] | 3 | 9 785; 9 800; 9 783 |
| Полная задержка, 95-й процентиль, мс | 9 831 ± 5 | [9 819; 9 843] | 3 | 9 828; 9 836; 9 828 |
| Время на токен, медиана, мс | 24,877 ± 0,021 | [24,825; 24,929] | 3 | 24,869; 24,901; 24,862 |
| Пауза между токенами, 99-й процентиль, мс | 29,99 ± 0,09 | [29,78; 30,21] | 3 | 30,09; 29,97; 29,92 |
| Скорость на пользователя, медиана, ток/с | 40,20 ± 0,03 | [40,11; 40,28] | 3 | 40,21; 40,16; 40,22 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 9,16 | [9,16; 9,16] | 3 | 9,16; 9,16; 9,16 |
| Пик памяти карты, ГиБ | 38,9508 ± 0,0023 | [38,9452; 38,9564] | 3 | 38,9482; 38,9521; 38,9521 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 2 350 |
| Первый токен, 95-й процентиль, мс | 2 400 |
| Полная задержка, медиана, мс | 9 790 |
| Полная задержка, 95-й процентиль, мс | 9 830 |
| Скорость на пользователя, медиана, ток/с | 40,2 |
вопрос по документу: вход 4 096, выход 300, c = 8
doc_qa-in4096-out300-c8; запросов в прогоне: 32, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 192,40 ± 0,28 | [191,71; 193,10] | 3 | 192,09; 192,52; 192,61 |
| Вход и выход, всего, ток/с | 2 819 ± 4 | [2 809; 2 829] | 3 | 2 815; 2 821; 2 822 |
| Запросов в секунду, запр/с | 0,6413 ± 0,0009 | [0,6390; 0,6437] | 3 | 0,6403; 0,6417; 0,6420 |
| Первый токен, медиана, мс | 3 690 ± 160 | [3 290; 4 090] | 3 | 3 500; 3 780; 3 780 |
| Первый токен, 95-й процентиль, мс | 4 682 ± 12 | [4 652; 4 713] | 3 | 4 673; 4 677; 4 696 |
| Полная задержка, медиана, мс | 12 457 ± 13 | [12 424; 12 490] | 3 | 12 470; 12 458; 12 443 |
| Полная задержка, 95-й процентиль, мс | 12 700 ± 300 | [11 900; 13 500] | 3 | 13 100; 12 500; 12 500 |
| Время на токен, медиана, мс | 29,4 ± 0,6 | [27,9; 30,9] | 3 | 30,1; 29,0; 29,0 |
| Пауза между токенами, 99-й процентиль, мс | 31,32 ± 0,10 | [31,08; 31,56] | 3 | 31,41; 31,34; 31,22 |
| Скорость на пользователя, медиана, ток/с | 34,3 ± 0,8 | [32,3; 36,3] | 3 | 33,4; 34,8; 34,8 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 18,3 | [18,3; 18,3] | 3 | 18,3; 18,3; 18,3 |
| Пик памяти карты, ГиБ | 38,9508 ± 0,0023 | [38,9452; 38,9564] | 3 | 38,9482; 38,9521; 38,9521 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 3 520 |
| Первый токен, 95-й процентиль, мс | 4 680 |
| Полная задержка, медиана, мс | 12 500 |
| Полная задержка, 95-й процентиль, мс | 12 500 |
| Скорость на пользователя, медиана, ток/с | 33,4 |
вопрос по документу: вход 4 096, выход 300, c = 12
doc_qa-in4096-out300-c12; запросов в прогоне: 48, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 236,1 ± 0,4 | [235,2; 237,0] | 3 | 236,5; 235,9; 236,0 |
| Вход и выход, всего, ток/с | 3 460 ± 5 | [3 447; 3 473] | 3 | 3 466; 3 456; 3 458 |
| Запросов в секунду, запр/с | 0,7871 ± 0,0012 | [0,7841; 0,7900] | 3 | 0,7884; 0,7863; 0,7865 |
| Первый токен, медиана, мс | 4 683 ± 17 | [4 642; 4 724] | 3 | 4 665; 4 687; 4 697 |
| Первый токен, 95-й процентиль, мс | 6 930 ± 15 | [6 892; 6 968] | 3 | 6 913; 6 943; 6 934 |
| Полная задержка, медиана, мс | 15 242 ± 26 | [15 178; 15 307] | 3 | 15 213; 15 264; 15 250 |
| Полная задержка, 95-й процентиль, мс | 15 817 ± 16 | [15 776; 15 858] | 3 | 15 801; 15 834; 15 817 |
| Время на токен, медиана, мс | 35,34 ± 0,03 | [35,26; 35,42] | 3 | 35,30; 35,36; 35,35 |
| Пауза между токенами, 99-й процентиль, мс | 33,17 ± 0,19 | [32,70; 33,64] | 3 | 33,37; 33,14; 32,99 |
| Скорость на пользователя, медиана, ток/с | 28,299 ± 0,026 | [28,234; 28,364] | 3 | 28,329; 28,282; 28,287 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 27,4809 ± 0,0000 | [27,4809; 27,4809] | 3 | 27,4809; 27,4809; 27,4809 |
| Пик памяти карты, ГиБ | 38,9508 ± 0,0023 | [38,9452; 38,9564] | 3 | 38,9482; 38,9521; 38,9521 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 4 690 |
| Первый токен, 95-й процентиль, мс | 6 930 |
| Полная задержка, медиана, мс | 15 200 |
| Полная задержка, 95-й процентиль, мс | 15 800 |
| Скорость на пользователя, медиана, ток/с | 28,3 |
вопрос по документу: вход 4 096, выход 300, c = 16
doc_qa-in4096-out300-c16; запросов в прогоне: 64, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 271,4 ± 0,6 | [269,8; 272,9] | 3 | 271,3; 270,8; 272,0 |
| Вход и выход, всего, ток/с | 3 977 ± 9 | [3 954; 4 000] | 3 | 3 976; 3 968; 3 986 |
| Запросов в секунду, запр/с | 0,9046 ± 0,0021 | [0,8994; 0,9098] | 3 | 0,9045; 0,9025; 0,9067 |
| Первый токен, медиана, мс | 5 766 ± 19 | [5 719; 5 813] | 3 | 5 762; 5 787; 5 749 |
| Первый токен, 95-й процентиль, мс | 9 118 ± 19 | [9 071; 9 165] | 3 | 9 111; 9 140; 9 104 |
| Полная задержка, медиана, мс | 17 680 ± 50 | [17 550; 17 810] | 3 | 17 690; 17 720; 17 620 |
| Полная задержка, 95-й процентиль, мс | 18 276 ± 27 | [18 209; 18 342] | 3 | 18 272; 18 304; 18 251 |
| Время на токен, медиана, мс | 39,77 ± 0,07 | [39,60; 39,93] | 3 | 39,77; 39,83; 39,70 |
| Пауза между токенами, 99-й процентиль, мс | 34,4 ± 0,6 | [33,1; 35,8] | 3 | 34,5; 35,0; 33,9 |
| Скорость на пользователя, медиана, ток/с | 25,19 ± 0,04 | [25,09; 25,30] | 3 | 25,19; 25,15; 25,24 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 36,6 | [36,6; 36,6] | 3 | 36,6; 36,6; 36,6 |
| Пик памяти карты, ГиБ | 39,0 | [39,0; 39,0] | 3 | 39,0; 39,0; 39,0 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 5 760 |
| Первый токен, 95-й процентиль, мс | 9 200 |
| Полная задержка, медиана, мс | 17 700 |
| Полная задержка, 95-й процентиль, мс | 18 300 |
| Скорость на пользователя, медиана, ток/с | 25,2 |
вопрос по документу: вход 4 096, выход 300, c = 24
doc_qa-in4096-out300-c24; запросов в прогоне: 96, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 315,0 ± 0,8 | [313,1; 317,0] | 3 | 314,9; 314,3; 315,9 |
| Вход и выход, всего, ток/с | 4 616 ± 12 | [4 587; 4 645] | 3 | 4 614; 4 606; 4 629 |
| Запросов в секунду, запр/с | 1,0501 ± 0,0026 | [1,0435; 1,0566] | 3 | 1,0495; 1,0477; 1,0529 |
| Первый токен, медиана, мс | 8 200 ± 700 | [6 600; 9 900] | 3 | 8 600; 8 600; 7 400 |
| Первый токен, 95-й процентиль, мс | 12 020 ± 60 | [11 880; 12 170] | 3 | 12 010; 12 090; 11 970 |
| Полная задержка, медиана, мс | 22 850 ± 50 | [22 730; 22 980] | 3 | 22 870; 22 890; 22 800 |
| Полная задержка, 95-й процентиль, мс | 25 690 ± 100 | [25 450; 25 930] | 3 | 25 680; 25 790; 25 600 |
| Время на токен, медиана, мс | 50 ± 3 | [42; 57] | 3 | 48; 48; 53 |
| Пауза между токенами, 99-й процентиль, мс | 638,7 ± 2,4 | [632,8; 644,7] | 3 | 637,5; 637,2; 641,5 |
| Скорость на пользователя, медиана, ток/с | 20,2 ± 1,2 | [17,2; 23,3] | 3 | 20,9; 20,9; 18,8 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 54,9618 ± 0,0000 | [54,9618; 54,9618] | 3 | 54,9618; 54,9618; 54,9618 |
| Пик памяти карты, ГиБ | 39,0 | [39,0; 39,0] | 3 | 39,0; 39,0; 39,0 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 7 490 |
| Первый токен, 95-й процентиль, мс | 12 100 |
| Полная задержка, медиана, мс | 22 900 |
| Полная задержка, 95-й процентиль, мс | 25 800 |
| Скорость на пользователя, медиана, ток/с | 18,9 |
вопрос по документу: вход 4 096, выход 300, c = 32
doc_qa-in4096-out300-c32; запросов в прогоне: 128, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 342,3 ± 0,5 | [341,1; 343,5] | 3 | 342,0; 342,8; 342,0 |
| Вход и выход, всего, ток/с | 5 016 ± 7 | [4 998; 5 033] | 3 | 5 012; 5 024; 5 011 |
| Запросов в секунду, запр/с | 1,1410 ± 0,0016 | [1,1371; 1,1449] | 3 | 1,1402; 1,1428; 1,1399 |
| Первый токен, медиана, мс | 8 629 ± 22 | [8 575; 8 684] | 3 | 8 628; 8 608; 8 652 |
| Первый токен, 95-й процентиль, мс | 16 581 ± 20 | [16 530; 16 632] | 3 | 16 561; 16 601; 16 581 |
| Полная задержка, медиана, мс | 28 050 ± 40 | [27 960; 28 150] | 3 | 28 070; 28 010; 28 080 |
| Полная задержка, 95-й процентиль, мс | 34 850 ± 40 | [34 750; 34 950] | 3 | 34 860; 34 810; 34 880 |
| Время на токен, медиана, мс | 63,8 ± 0,9 | [61,5; 66,2] | 3 | 63,3; 64,9; 63,3 |
| Пауза между токенами, 99-й процентиль, мс | 2 274 ± 6 | [2 259; 2 289] | 3 | 2 277; 2 267; 2 278 |
| Скорость на пользователя, медиана, ток/с | 15,67 ± 0,23 | [15,10; 16,23] | 3 | 15,79; 15,40; 15,80 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 73,3 | [73,3; 73,3] | 3 | 73,3; 73,3; 73,3 |
| Пик памяти карты, ГиБ | 39,0 | [39,0; 39,0] | 3 | 39,0; 39,0; 39,0 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 8 630 |
| Первый токен, 95-й процентиль, мс | 16 600 |
| Полная задержка, медиана, мс | 28 100 |
| Полная задержка, 95-й процентиль, мс | 34 800 |
| Скорость на пользователя, медиана, ток/с | 15,4 |
вопрос по документу, открытая нагрузка: вход 4 096, выход 300, поток 0,15 запр/с
doc_qa_open-in4096-out300-r0.15; запросов в прогоне: 30, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 43,297 ± 0,012 | [43,268; 43,326] | 3 | 43,295; 43,309; 43,286 |
| Вход и выход, всего, ток/с | 634,44 ± 0,17 | [634,02; 634,87] | 3 | 634,42; 634,62; 634,29 |
| Запросов в секунду, запр/с | 0,14432 ± 0,00004 | [0,14423; 0,14442] | 3 | 0,14432; 0,14436; 0,14429 |
| Первый токен, медиана, мс | 696 ± 5 | [684; 707] | 3 | 692; 694; 701 |
| Первый токен, 95-й процентиль, мс | 890 ± 140 | [530; 1 240] | 3 | 980; 960; 720 |
| Полная задержка, медиана, мс | 8 650 ± 70 | [8 480; 8 820] | 3 | 8 710; 8 660; 8 580 |
| Полная задержка, 95-й процентиль, мс | 9 910 ± 230 | [9 330; 10 490] | 3 | 9 940; 10 120; 9 660 |
| Время на токен, медиана, мс | 26,53 ± 0,24 | [25,94; 27,13] | 3 | 26,75; 26,57; 26,28 |
| Пауза между токенами, 99-й процентиль, мс | 29,8 ± 0,3 | [29,0; 30,6] | 3 | 30,1; 29,7; 29,5 |
| Скорость на пользователя, медиана, ток/с | 37,7 ± 0,3 | [36,8; 38,5] | 3 | 37,4; 37,6; 38,1 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 10,7 ± 1,3 | [7,4; 14,0] | 3 | 11,5; 11,5; 9,2 |
| Пик памяти карты, ГиБ | 39,0 | [39,0; 39,0] | 3 | 39,0; 39,0; 39,0 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 695 |
| Первый токен, 95-й процентиль, мс | 959 |
| Полная задержка, медиана, мс | 8 630 |
| Полная задержка, 95-й процентиль, мс | 9 910 |
| Скорость на пользователя, медиана, ток/с | 37,8 |
вопрос по документу, открытая нагрузка: вход 4 096, выход 300, поток 0,3 запр/с
doc_qa_open-in4096-out300-r0.3; запросов в прогоне: 60, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 86,60 ± 0,03 | [86,52; 86,67] | 3 | 86,63; 86,57; 86,58 |
| Вход и выход, всего, ток/с | 1 268,9 ± 0,5 | [1 267,8; 1 270,0] | 3 | 1 269,4; 1 268,6; 1 268,7 |
| Запросов в секунду, запр/с | 0,28865 ± 0,00010 | [0,28839; 0,28891] | 3 | 0,28877; 0,28857; 0,28861 |
| Первый токен, медиана, мс | 714 ± 11 | [687; 740] | 3 | 701; 720; 720 |
| Первый токен, 95-й процентиль, мс | 1 380 ± 100 | [1 130; 1 630] | 3 | 1 360; 1 490; 1 290 |
| Полная задержка, медиана, мс | 9 560 ± 200 | [9 070; 10 050] | 3 | 9 650; 9 700; 9 330 |
| Полная задержка, 95-й процентиль, мс | 13 200 ± 500 | [12 000; 14 400] | 3 | 12 800; 13 700; 13 000 |
| Время на токен, медиана, мс | 29,04 ± 0,20 | [28,53; 29,54] | 3 | 29,16; 29,15; 28,80 |
| Пауза между токенами, 99-й процентиль, мс | 32,5 ± 0,4 | [31,4; 33,5] | 3 | 32,6; 32,8; 32,0 |
| Скорость на пользователя, медиана, ток/с | 34,44 ± 0,24 | [33,84; 35,04] | 3 | 34,29; 34,31; 34,72 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 23,7 ± 1,3 | [20,4; 26,9] | 3 | 22,9; 25,2; 22,9 |
| Пик памяти карты, ГиБ | 38,9508 ± 0,0023 | [38,9452; 38,9564] | 3 | 38,9482; 38,9521; 38,9521 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 713 |
| Первый токен, 95-й процентиль, мс | 1 360 |
| Полная задержка, медиана, мс | 9 430 |
| Полная задержка, 95-й процентиль, мс | 13 200 |
| Скорость на пользователя, медиана, ток/с | 34,5 |
вопрос по документу, открытая нагрузка: вход 4 096, выход 300, поток 0,45 запр/с
doc_qa_open-in4096-out300-r0.45; запросов в прогоне: 90, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 129,6 ± 0,4 | [128,6; 130,7] | 3 | 129,1; 129,9; 129,9 |
| Вход и выход, всего, ток/с | 1 900 ± 6 | [1 884; 1 915] | 3 | 1 892; 1 903; 1 903 |
| Запросов в секунду, запр/с | 0,4321 ± 0,0014 | [0,4286; 0,4356] | 3 | 0,4305; 0,4329; 0,4330 |
| Первый токен, медиана, мс | 718 ± 7 | [700; 736] | 3 | 710; 721; 723 |
| Первый токен, 95-й процентиль, мс | 1 610 ± 70 | [1 440; 1 780] | 3 | 1 550; 1 590; 1 680 |
| Полная задержка, медиана, мс | 11 300 ± 400 | [10 200; 12 400] | 3 | 10 900; 11 200; 11 800 |
| Полная задержка, 95-й процентиль, мс | 15 000 ± 800 | [12 900; 17 000] | 3 | 15 200; 14 100; 15 600 |
| Время на токен, медиана, мс | 34,6 ± 1,3 | [31,5; 37,8] | 3 | 33,5; 34,4; 36,0 |
| Пауза между токенами, 99-й процентиль, мс | 627 ± 3 | [619; 636] | 3 | 626; 625; 631 |
| Скорость на пользователя, медиана, ток/с | 28,9 ± 1,0 | [26,3; 31,5] | 3 | 29,8; 29,1; 27,8 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 29 ± 3 | [20; 38] | 3 | 32; 25; 30 |
| Пик памяти карты, ГиБ | 38,9508 ± 0,0023 | [38,9452; 38,9564] | 3 | 38,9482; 38,9521; 38,9521 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 719 |
| Первый токен, 95-й процентиль, мс | 1 600 |
| Полная задержка, медиана, мс | 11 200 |
| Полная задержка, 95-й процентиль, мс | 15 400 |
| Скорость на пользователя, медиана, ток/с | 28,7 |
Память
Старты идут парами: холодный, затем тёплый. Поля, которые после первого старта сервера отличаются больше чем на 1 %, показаны раздельно: после перезапуска (тёплый старт) и при первом старте (холодный, с компиляцией модели).
| Величина | После перезапуска (тёплый старт) | При первом старте (холодный) | n | Каждый старт |
|---|---|---|---|---|
| Веса, ГиБ | 25,1500 ± 0,0000 — одинаково при обоих видах старта | 6 | 25,1500; 25,1500; 25,1500; 25,1500; 25,1500; 25,1500 | |
| KV-кэш, ГиБ | 9,43 | 7,30 | 6 | х 7,30; т 9,43; х 7,30; т 9,43; х 7,30; т 9,43 |
| KV-кэш по журналу vLLM, токенов | 288 000 | 223 000 | 6 | х 223 000; т 288 000; х 223 000; т 288 000; х 223 000; т 288 000 |
| Пик активаций, ГиБ | 1,70 — одинаково при обоих видах старта | 6 | 1,70; 1,70; 1,70; 1,70; 1,70; 1,70 | |
| CUDA graphs, ГиБ | 0,0900000 ± 0,0000000 — одинаково при обоих видах старта | 6 | 0,0900000; 0,0900000; 0,0900000; 0,0900000; 0,0900000; 0,0900000 | |
| Веса и память вне PyTorch, ГиБ | 25,2 | 27,3 | 6 | х 27,3; т 25,2; х 27,3; т 25,2; х 27,3; т 25,2 |
| Бюджет gpu_memory_utilization, ГиБ | 36,3 — одинаково при обоих видах старта | 6 | 36,3; 36,3; 36,3; 36,3; 36,3; 36,3 | |
| Объём карты по CUDA, ГиБ | 39,5 — одинаково при обоих видах старта | 6 | 39,5; 39,5; 39,5; 39,5; 39,5; 39,5 | |
| Свободно перед стартом, ГиБ | 38,4 — одинаково при обоих видах старта | 6 | 38,4; 38,4; 38,4; 38,4; 38,4; 38,4 | |
| Занято после старта (nvidia-smi), ГиБ | 36,0 — одинаково при обоих видах старта | 6 | 36,0; 36,0; 36,0; 36,0; 36,0; 36,0 | |
| Пик под нагрузкой (nvidia-smi), ГиБ | 39,0 | 1 | 39,0 | |
х — холодный старт, т — тёплый.
Из журнала vLLM
- Блок внимания, токенов
- 784
- Режим кэша линейных слоёв
- —
- Выравнивание страниц линейных слоёв, %
- 0,13
- Раскладка KV-кэша
- LBNHC
- Ядро FP8
- —
- FP8 только для весов (Marlin)
- нет
- Токенов на запрос в отчёте vLLM
- 40 960
- Одновременных запросов по отчёту vLLM
- 7,04
- Версия движка
- 0.32.0
- Чекпойнт, ГиБ
- 51,75
- Пул CUDA graphs, ГиБ
- 0,09
Из отчёта серии
- «Вопросов по документу» одновременно: 43 — расчёт по замеру памяти; отчёт S1, раздел «Память и ёмкость».
- То же после первого старта сервера: 33 — расчёт по замеру памяти; отчёт S1, раздел «Память и ёмкость».
Качество
KL-дивергенция к BF16 считается сравнением двух замеров (run.py compare)
belebele_ru
lm-eval 0.4.13, 165 с.
Результаты по заданиям (1)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| belebele_rus_Cyrl | 900 | acc | 92,3 | 0,887 |
| belebele_rus_Cyrl | 900 | acc_norm | 92,3 | 0,887 |
global_mmlu_ru
lm-eval 0.4.13, 1 670 с.
Результаты по заданиям (62)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| global_mmlu_full_ru | 14 042 | acc | 77,4 | 0,340 |
| global_mmlu_full_ru_abstract_algebra | 100 | acc | 63,0 | 4,85 |
| global_mmlu_full_ru_anatomy | 135 | acc | 77,8 | 3,59 |
| global_mmlu_full_ru_astronomy | 152 | acc | 93,4 | 2,02 |
| global_mmlu_full_ru_business_ethics | 100 | acc | 72,0 | 4,51 |
| global_mmlu_full_ru_clinical_knowledge | 265 | acc | 84,2 | 2,25 |
| global_mmlu_full_ru_college_biology | 144 | acc | 92,4 | 2,22 |
| global_mmlu_full_ru_college_chemistry | 100 | acc | 62,0 | 4,88 |
| global_mmlu_full_ru_college_computer_science | 100 | acc | 72,0 | 4,51 |
| global_mmlu_full_ru_college_mathematics | 100 | acc | 64,0 | 4,82 |
| global_mmlu_full_ru_college_medicine | 173 | acc | 78,6 | 3,13 |
| global_mmlu_full_ru_college_physics | 102 | acc | 60,8 | 4,86 |
| global_mmlu_full_ru_computer_security | 100 | acc | 81,0 | 3,94 |
| global_mmlu_full_ru_conceptual_physics | 235 | acc | 86,8 | 2,21 |
| global_mmlu_full_ru_econometrics | 114 | acc | 76,3 | 4,00 |
| global_mmlu_full_ru_electrical_engineering | 145 | acc | 77,2 | 3,49 |
| global_mmlu_full_ru_elementary_mathematics | 378 | acc | 77,0 | 2,17 |
| global_mmlu_full_ru_formal_logic | 126 | acc | 61,9 | 4,34 |
| global_mmlu_full_ru_global_facts | 100 | acc | 57,0 | 4,98 |
| global_mmlu_full_ru_high_school_biology | 310 | acc | 93,9 | 1,36 |
| global_mmlu_full_ru_high_school_chemistry | 203 | acc | 79,3 | 2,85 |
| global_mmlu_full_ru_high_school_computer_science | 100 | acc | 90,0 | 3,02 |
| global_mmlu_full_ru_high_school_european_history | 165 | acc | 85,5 | 2,75 |
| global_mmlu_full_ru_high_school_geography | 198 | acc | 88,4 | 2,28 |
| global_mmlu_full_ru_high_school_government_and_politics | 193 | acc | 90,2 | 2,15 |
| global_mmlu_full_ru_high_school_macroeconomics | 390 | acc | 84,6 | 1,83 |
| global_mmlu_full_ru_high_school_mathematics | 270 | acc | 54,1 | 3,04 |
| global_mmlu_full_ru_high_school_microeconomics | 238 | acc | 92,4 | 1,72 |
| global_mmlu_full_ru_high_school_physics | 151 | acc | 74,2 | 3,57 |
| global_mmlu_full_ru_high_school_psychology | 545 | acc | 91,9 | 1,17 |
| global_mmlu_full_ru_high_school_statistics | 216 | acc | 78,2 | 2,81 |
| global_mmlu_full_ru_high_school_us_history | 204 | acc | 92,6 | 1,83 |
| global_mmlu_full_ru_high_school_world_history | 237 | acc | 92,4 | 1,72 |
| global_mmlu_full_ru_human_aging | 223 | acc | 74,0 | 2,94 |
| global_mmlu_full_ru_human_sexuality | 131 | acc | 85,5 | 3,09 |
| global_mmlu_full_ru_humanities | 4 705 | acc | 72,0 | 0,634 |
| global_mmlu_full_ru_international_law | 121 | acc | 84,3 | 3,32 |
| global_mmlu_full_ru_jurisprudence | 108 | acc | 84,3 | 3,52 |
| global_mmlu_full_ru_logical_fallacies | 163 | acc | 78,5 | 3,23 |
| global_mmlu_full_ru_machine_learning | 112 | acc | 66,1 | 4,49 |
| global_mmlu_full_ru_management | 103 | acc | 81,6 | 3,84 |
| global_mmlu_full_ru_marketing | 234 | acc | 87,2 | 2,19 |
| global_mmlu_full_ru_medical_genetics | 100 | acc | 86,0 | 3,49 |
| global_mmlu_full_ru_miscellaneous | 783 | acc | 83,3 | 1,33 |
| global_mmlu_full_ru_moral_disputes | 346 | acc | 76,9 | 2,27 |
| global_mmlu_full_ru_moral_scenarios | 895 | acc | 63,0 | 1,61 |
| global_mmlu_full_ru_nutrition | 306 | acc | 85,0 | 2,05 |
| global_mmlu_full_ru_other | 3 107 | acc | 79,0 | 0,706 |
| global_mmlu_full_ru_philosophy | 311 | acc | 79,7 | 2,28 |
| global_mmlu_full_ru_prehistory | 324 | acc | 82,4 | 2,12 |
| global_mmlu_full_ru_professional_accounting | 282 | acc | 61,7 | 2,90 |
| global_mmlu_full_ru_professional_law | 1 534 | acc | 61,8 | 1,24 |
| global_mmlu_full_ru_professional_medicine | 272 | acc | 93,0 | 1,55 |
| global_mmlu_full_ru_professional_psychology | 612 | acc | 77,5 | 1,69 |
| global_mmlu_full_ru_public_relations | 110 | acc | 63,6 | 4,61 |
| global_mmlu_full_ru_security_studies | 245 | acc | 75,1 | 2,77 |
| global_mmlu_full_ru_social_sciences | 3 077 | acc | 84,4 | 0,642 |
| global_mmlu_full_ru_sociology | 201 | acc | 88,6 | 2,25 |
| global_mmlu_full_ru_stem | 3 153 | acc | 77,2 | 0,718 |
| global_mmlu_full_ru_us_foreign_policy | 100 | acc | 91,0 | 2,88 |
| global_mmlu_full_ru_virology | 166 | acc | 52,4 | 3,89 |
| global_mmlu_full_ru_world_religions | 171 | acc | 86,0 | 2,66 |
mgsm_ru
lm-eval 0.4.13, 197 с.
Результаты по заданиям (1)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| mgsm_native_cot_ru | 250 | exact_match/flexible-extract | 79,6 | 2,55 |
| mgsm_native_cot_ru | 250 | exact_match/strict-match | 0 | 0 |
bfcl
bfcl-eval 2026.3.23, 702 с; native function calling: /v1/chat/completions с tools, без tool_choice; temperature 0; отдельный старт сервера: аргументы замера плюс --enable-auto-tool-choice --tool-call-parser qwen3_coder.
Результаты по заданиям (10)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| Вызов инструментов: не вызывать, если не нужноbfcl_irrelevance | 240 | acc | 72,1 | 2,90 |
| Вызов инструментов: реальные запросы, выбор функцииbfcl_live_multiple | 1 053 | acc | 80,8 | 1,21 |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl_live_parallel | 16 | acc | 81,3 | 9,76 |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl_live_parallel_multiple | 24 | acc | 75,0 | 8,84 |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl_live_relevance | 16 | acc | 68,8 | 11,6 |
| Вызов инструментов: реальные запросы, одна функцияbfcl_live_simple | 258 | acc | 87,6 | 2,05 |
| Вызов инструментов: выбор из нескольких функцийbfcl_multiple | 200 | acc | 96,5 | 1,30 |
| Вызов инструментов: несколько вызовов сразуbfcl_parallel | 200 | acc | 82,0 | 2,72 |
| Вызов инструментов: несколько вызовов разных функцийbfcl_parallel_multiple | 200 | acc | 83,5 | 2,62 |
| Вызов инструментов: одна функцияbfcl_simple_python | 400 | acc | 97,0 | 0,853 |
Для KL собрано: 68 806 позиций в 121 фрагментах, top-20.
Сравнение на одних вопросах: эталон Qwen3.8-27BBF16, вариант Qwen3.8-27BFP8
Против Qwen3.8-27BFP8.
| Набор | Вопросов | Эталон, % | Вариант, % | Разность | Интервал | p | Исход |
|---|---|---|---|---|---|---|---|
| Belebele ru, понимание текстаbelebele_ru (acc) | 900 | 92,3 | 92,6 | +0,2 | [−0,3; +0,8] | 0,727 | в пределах шума |
| Global-MMLU ru, знанияglobal_mmlu_ru (acc) | 14 042 | 77,4 | 77,2 | −0,25 | [−0,46; −0,04] | 0,0232 | разность есть |
| MGSM ru, арифметика, число из строки «Ответ»mgsm_ru / flexible-extract (exact_match_answer_line) | 250 | 92,8 | 92,0 | −0,8 | [−2,4; +0,8] | 0,625 | в пределах шума |
| mgsm_ru / flexible-extract (exact_match) | 250 | 79,6 | 80,0 | +0,4 | [−1,6; +2,4] | 1,00 | в пределах шума |
| mgsm_ru / strict-match (exact_match) | 250 | 0 | 0 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: все заданияbfcl / all (acc) | 2 607 | 84,5 | 84,5 | −0,1 | [−0,6; +0,5] | 0,888 | в пределах шума |
| Вызов инструментов: одна функцияbfcl / simple_python (acc) | 400 | 97,0 | 97,5 | +0,5 | [0,0; +1,3] | 0,500 | в пределах шума |
| Вызов инструментов: выбор из нескольких функцийbfcl / multiple (acc) | 200 | 96,5 | 97,0 | +0,5 | [0,0; +1,5] | 1,00 | в пределах шума |
| Вызов инструментов: несколько вызовов сразуbfcl / parallel (acc) | 200 | 82,0 | 83,0 | +1,0 | [−1,5; +3,5] | 0,688 | в пределах шума |
| Вызов инструментов: не вызывать, если не нужноbfcl / irrelevance (acc) | 240 | 72,1 | 69,6 | −3 | [−6; +1] | 0,210 | в пределах шума |
| Вызов инструментов: несколько вызовов разных функцийbfcl / parallel_multiple (acc) | 200 | 83,5 | 83,0 | −0,5 | [−2,5; +1,0] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, одна функцияbfcl / live_simple (acc) | 258 | 87,6 | 87,6 | 0,0 | [−1,2; +1,2] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, выбор функцииbfcl / live_multiple (acc) | 1 053 | 80,8 | 80,7 | −0,1 | [−0,9; +0,8] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl / live_parallel (acc) | 16 | 81,3 | 81,3 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl / live_parallel_multiple (acc) | 24 | 75,0 | 79,2 | +4 | [0; +13] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl / live_relevance (acc) | 16 | 68,8 | 68,8 | 0 | [0; 0] | 1,00 | в пределах шума |
Расхождение распределений на каждом токене: KL 0,00332 нат в среднем, 0,0499 нат на 99-м процентиле; первый токен совпал в 98,5 % позиций (68 806 позиций). По фрагментам: 0,0034 ± 0,0014 [0,0031; 0,0036], n = 121.
Сравнение на одних вопросах: эталон Qwen3.8-27BBF16, вариант Qwen3.8-27BINT4 GPTQ g128
Против Qwen3.8-27BINT4 GPTQ g128.
| Набор | Вопросов | Эталон, % | Вариант, % | Разность | Интервал | p | Исход |
|---|---|---|---|---|---|---|---|
| Belebele ru, понимание текстаbelebele_ru (acc) | 900 | 92,3 | 91,6 | −0,8 | [−1,8; +0,1] | 0,143 | в пределах шума |
| Global-MMLU ru, знанияglobal_mmlu_ru (acc) | 14 042 | 77,4 | 76,4 | −1,0 | [−1,3; −0,6] | 2,06·10⁻⁷ | разность есть |
| MGSM ru, арифметика, число из строки «Ответ»mgsm_ru / flexible-extract (exact_match_answer_line) | 250 | 92,8 | 91,2 | −1,6 | [−3,6; 0,0] | 0,219 | в пределах шума |
| mgsm_ru / flexible-extract (exact_match) | 250 | 79,6 | 80,0 | +0,4 | [−2,0; +2,8] | 1,00 | в пределах шума |
| mgsm_ru / strict-match (exact_match) | 250 | 0 | 0 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: все заданияbfcl / all (acc) | 2 607 | 84,5 | 83,1 | −1,4 | [−2,4; −0,5] | 0,00546 | разность есть |
| Вызов инструментов: одна функцияbfcl / simple_python (acc) | 400 | 97,0 | 96,8 | −0,3 | [−1,5; +1,0] | 1,00 | в пределах шума |
| Вызов инструментов: выбор из нескольких функцийbfcl / multiple (acc) | 200 | 96,5 | 96,0 | −0,5 | [−3,0; +1,5] | 1,00 | в пределах шума |
| Вызов инструментов: несколько вызовов сразуbfcl / parallel (acc) | 200 | 82,0 | 71,0 | −11 | [−17; −6] | 4,72·10⁻⁴ | разность есть |
| Вызов инструментов: не вызывать, если не нужноbfcl / irrelevance (acc) | 240 | 72,1 | 70,4 | −2 | [−6; +3] | 0,585 | в пределах шума |
| Вызов инструментов: несколько вызовов разных функцийbfcl / parallel_multiple (acc) | 200 | 83,5 | 84,5 | +1 | [−3; +5] | 0,791 | в пределах шума |
| Вызов инструментов: реальные запросы, одна функцияbfcl / live_simple (acc) | 258 | 87,6 | 88,0 | +0,4 | [−1,9; +2,7] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, выбор функцииbfcl / live_multiple (acc) | 1 053 | 80,8 | 79,5 | −1,3 | [−2,8; +0,1] | 0,0925 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl / live_parallel (acc) | 16 | 81,3 | 81,3 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl / live_parallel_multiple (acc) | 24 | 75,0 | 79,2 | +4 | [0; +13] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl / live_relevance (acc) | 16 | 68,8 | 75,0 | +6 | [−13; +25] | 1,00 | в пределах шума |
Расхождение распределений на каждом токене: KL 0,0397 нат в среднем, 0,605 нат на 99-м процентиле; первый токен совпал в 94,9 % позиций (68 806 позиций). По фрагментам: 0,041 ± 0,016 [0,038; 0,044], n = 121.
Сравнение на одних вопросах: эталон Qwen3.8-27BBF16, вариант Qwen3.8-27BINT4 AWQ g32
Против Qwen3.8-27BINT4 AWQ g32.
| Набор | Вопросов | Эталон, % | Вариант, % | Разность | Интервал | p | Исход |
|---|---|---|---|---|---|---|---|
| Belebele ru, понимание текстаbelebele_ru (acc) | 900 | 92,3 | 91,9 | −0,4 | [−1,3; +0,3] | 0,424 | в пределах шума |
| Global-MMLU ru, знанияglobal_mmlu_ru (acc) | 14 042 | 77,4 | 77,0 | −0,4 | [−0,7; −0,1] | 0,00903 | разность есть |
| MGSM ru, арифметика, число из строки «Ответ»mgsm_ru / flexible-extract (exact_match_answer_line) | 250 | 92,8 | 92,0 | −0,8 | [−2,8; +1,2] | 0,688 | в пределах шума |
| mgsm_ru / flexible-extract (exact_match) | 250 | 79,6 | 79,2 | −0,4 | [−2,8; +2,0] | 1,00 | в пределах шума |
| mgsm_ru / strict-match (exact_match) | 250 | 0 | 0 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: все заданияbfcl / all (acc) | 2 607 | 84,5 | 84,1 | −0,4 | [−1,2; +0,4] | 0,343 | в пределах шума |
| Вызов инструментов: одна функцияbfcl / simple_python (acc) | 400 | 97,0 | 97,0 | 0,0 | [−0,8; +0,8] | 1,00 | в пределах шума |
| Вызов инструментов: выбор из нескольких функцийbfcl / multiple (acc) | 200 | 96,5 | 97,5 | +1,0 | [−1,5; +3,5] | 0,688 | в пределах шума |
| Вызов инструментов: несколько вызовов сразуbfcl / parallel (acc) | 200 | 82,0 | 75,0 | −7 | [−13; −2] | 0,0161 | разность есть |
| Вызов инструментов: не вызывать, если не нужноbfcl / irrelevance (acc) | 240 | 72,1 | 72,5 | 0 | [−3; +4] | 1,00 | в пределах шума |
| Вызов инструментов: несколько вызовов разных функцийbfcl / parallel_multiple (acc) | 200 | 83,5 | 86,5 | +3 | [−1; +7] | 0,180 | в пределах шума |
| Вызов инструментов: реальные запросы, одна функцияbfcl / live_simple (acc) | 258 | 87,6 | 86,8 | −0,8 | [−3,1; +1,2] | 0,727 | в пределах шума |
| Вызов инструментов: реальные запросы, выбор функцииbfcl / live_multiple (acc) | 1 053 | 80,8 | 80,3 | −0,5 | [−1,5; +0,6] | 0,458 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl / live_parallel (acc) | 16 | 81,3 | 87,5 | +6 | [0; +19] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl / live_parallel_multiple (acc) | 24 | 75,0 | 75,0 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl / live_relevance (acc) | 16 | 68,8 | 68,8 | 0 | [0; 0] | 1,00 | в пределах шума |
Расхождение распределений на каждом токене: KL 0,0244 нат в среднем, 0,383 нат на 99-м процентиле; первый токен совпал в 96,1 % позиций (68 806 позиций). По фрагментам: 0,025 ± 0,011 [0,023; 0,027], n = 121.
Сравнение на одних вопросах: эталон Qwen3.8-27BBF16, вариант Qwen3.8-27BINT4 GPTQ g32
Против Qwen3.8-27BINT4 GPTQ g32.
| Набор | Вопросов | Эталон, % | Вариант, % | Разность | Интервал | p | Исход |
|---|---|---|---|---|---|---|---|
| Belebele ru, понимание текстаbelebele_ru (acc) | 900 | 92,3 | 91,8 | −0,6 | [−1,4; +0,3] | 0,332 | в пределах шума |
| Global-MMLU ru, знанияglobal_mmlu_ru (acc) | 14 042 | 77,4 | 76,7 | −0,7 | [−1,0; −0,4] | 8,94·10⁻⁶ | разность есть |
| MGSM ru, арифметика, число из строки «Ответ»mgsm_ru / flexible-extract (exact_match_answer_line) | 250 | 92,8 | 92,0 | −0,8 | [−3,2; +1,2] | 0,727 | в пределах шума |
| mgsm_ru / flexible-extract (exact_match) | 250 | 79,6 | 81,2 | +1,6 | [−0,8; +4,4] | 0,344 | в пределах шума |
| mgsm_ru / strict-match (exact_match) | 250 | 0 | 0 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: все заданияbfcl / all (acc) | 2 607 | 84,5 | 85,3 | +0,8 | [+0,1; +1,5] | 0,0417 | разность есть |
| Вызов инструментов: одна функцияbfcl / simple_python (acc) | 400 | 97,0 | 96,5 | −0,5 | [−1,8; +0,8] | 0,688 | в пределах шума |
| Вызов инструментов: выбор из нескольких функцийbfcl / multiple (acc) | 200 | 96,5 | 96,0 | −0,5 | [−2,5; +1,0] | 1,00 | в пределах шума |
| Вызов инструментов: несколько вызовов сразуbfcl / parallel (acc) | 200 | 82,0 | 84,0 | +2 | [−3; +7] | 0,541 | в пределах шума |
| Вызов инструментов: не вызывать, если не нужноbfcl / irrelevance (acc) | 240 | 72,1 | 81,3 | +9 | [+5; +13] | 2,98·10⁻⁶ | разность есть |
| Вызов инструментов: несколько вызовов разных функцийbfcl / parallel_multiple (acc) | 200 | 83,5 | 82,5 | −1 | [−5; +3] | 0,774 | в пределах шума |
| Вызов инструментов: реальные запросы, одна функцияbfcl / live_simple (acc) | 258 | 87,6 | 88,4 | +0,8 | [−1,2; +2,7] | 0,688 | в пределах шума |
| Вызов инструментов: реальные запросы, выбор функцииbfcl / live_multiple (acc) | 1 053 | 80,8 | 80,6 | −0,2 | [−1,0; +0,7] | 0,824 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl / live_parallel (acc) | 16 | 81,3 | 81,3 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl / live_parallel_multiple (acc) | 24 | 75,0 | 75,0 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl / live_relevance (acc) | 16 | 68,8 | 68,8 | 0 | [−19; +19] | 1,00 | в пределах шума |
Расхождение распределений на каждом токене: KL 0,0201 нат в среднем, 0,307 нат на 99-м процентиле; первый токен совпал в 96,4 % позиций (68 806 позиций). По фрагментам: 0,021 ± 0,009 [0,019; 0,022], n = 121.
Сравнение на одних вопросах: эталон Qwen3.8-27BBF16, вариант Qwen3.8-27BINT8 W8A8
Против Qwen3.8-27BINT8 W8A8.
| Набор | Вопросов | Эталон, % | Вариант, % | Разность | Интервал | p | Исход |
|---|---|---|---|---|---|---|---|
| Belebele ru, понимание текстаbelebele_ru (acc) | 900 | 92,3 | 91,8 | −0,6 | [−1,7; +0,6] | 0,424 | в пределах шума |
| Global-MMLU ru, знанияglobal_mmlu_ru (acc) | 14 042 | 77,4 | 76,3 | −1,1 | [−1,5; −0,8] | 8,15·10⁻⁹ | разность есть |
| MGSM ru, арифметика, число из строки «Ответ»mgsm_ru / flexible-extract (exact_match_answer_line) | 250 | 92,8 | 90,8 | −2,0 | [−4,4; +0,4] | 0,180 | в пределах шума |
| mgsm_ru / flexible-extract (exact_match) | 250 | 79,6 | 78,8 | −1 | [−4; +2] | 0,791 | в пределах шума |
| mgsm_ru / strict-match (exact_match) | 250 | 0 | 0 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: все заданияbfcl / all (acc) | 2 607 | 84,5 | 84,4 | −0,2 | [−1,0; +0,7] | 0,794 | в пределах шума |
| Вызов инструментов: одна функцияbfcl / simple_python (acc) | 400 | 97,0 | 97,3 | +0,3 | [−1,0; +1,5] | 1,00 | в пределах шума |
| Вызов инструментов: выбор из нескольких функцийbfcl / multiple (acc) | 200 | 96,5 | 97,0 | +0,5 | [−1,0; +2,5] | 1,00 | в пределах шума |
| Вызов инструментов: несколько вызовов сразуbfcl / parallel (acc) | 200 | 82,0 | 85,5 | +4 | [−1; +8] | 0,189 | в пределах шума |
| Вызов инструментов: не вызывать, если не нужноbfcl / irrelevance (acc) | 240 | 72,1 | 66,7 | −5 | [−9; −2] | 0,0106 | разность есть |
| Вызов инструментов: несколько вызовов разных функцийbfcl / parallel_multiple (acc) | 200 | 83,5 | 83,0 | −1 | [−4; +4] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, одна функцияbfcl / live_simple (acc) | 258 | 87,6 | 87,2 | −0,4 | [−2,3; +1,6] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, выбор функцииbfcl / live_multiple (acc) | 1 053 | 80,8 | 81,0 | +0,2 | [−1,1; +1,5] | 0,888 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl / live_parallel (acc) | 16 | 81,3 | 81,3 | 0 | [−19; +19] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl / live_parallel_multiple (acc) | 24 | 75,0 | 66,7 | −8 | [−21; 0] | 0,500 | в пределах шума |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl / live_relevance (acc) | 16 | 68,8 | 81,3 | +13 | [0; +31] | 0,500 | в пределах шума |
Расхождение распределений на каждом токене: KL 0,0361 нат в среднем, 0,542 нат на 99-м процентиле; первый токен совпал в 95,3 % позиций (68 806 позиций). По фрагментам: 0,037 ± 0,017 [0,034; 0,040], n = 121.
Что не измеряли
- качество в режиме thinking и на агентных задачах: замеряется без thinking, на открытых русских наборах
- больше 32 одновременных запросов
- влияние содержания промпта на скорость: без спекулятивного декодирования оно определяется числом токенов, а не текстом
- попадания в кэш префиксов: prefix caching выключен, промпты уникальны
- спекулятивное декодирование (MTP-голова модели)
- задержка сети до клиента: клиент на том же сервере
- старт после перезагрузки: при холодном старте вытесняются только веса и кэш компиляции, образ docker и библиотеки могут быть в кэше ОС
- параметры семплирования: только жадное декодирование (temperature 0)
- энергопотребление как метрика: мощность пишется только как условие
- долговременная стабильность
Замечания
- эталон качества серии; веса BF16 без квантования