Модель подбираем под задачу:
- малые — для классификации и разметки;
- средние — для разбора документов и ответов;
- крупные — там, где нужна глубина рассуждения;
- отдельные модели — для поиска по смыслу и переранжирования результатов.
Сжатие моделей (квантование) снижает требования к памяти. Цену этого в качестве проверяем замером.