На GitHub опубликовали llm-checker — инструмент для автоматического подбора локальных больших языковых моделей. Программа сканирует компоненты ПК и выдает список нейросетей, которые запустятся на текущем оборудовании без критических ошибок.
Как это работает
- Оценка памяти. Программа проводит аппаратно-калиброванный расчет доступной оперативной и видеопамяти (VRAM). Это предотвращает сбои из-за нехватки памяти при загрузке модели.
- Детерминированная оценка. llm-checker проверяет совместимость параметров железа с базой из более чем 200 динамических моделей.
- Резервные модели. Если мощности компьютера недостаточно для запуска передовых моделей, алгоритм предлагает альтернативы из списка, в котором более 35 легковесных резервных нейросетей.
Инструмент автоматизирует рутину для разработчиков и исследователей. Вместо ручного поиска и сопоставления требований к VRAM для разных квантованных версий (например, Llama, Mistral или Qwen), пользователь выполняет одну команду в терминале и получает список подходящих моделей.
Проект распространяется с открытым исходным кодом. Вся информация по запуску — по ссылке.
