Бывший исследователь и инженер OpenAI Андрей Карпатый представил открытый проект Nanochat, позволяющий обучать и запускать собственные аналоги ChatGPT. Репозиторий опубликован на GitHub и содержит полный набор инструментов — от токенизации и обучения до веб-интерфейса для общения с моделью.
Для обучения Nanochat достаточно арендовать восемь видеокарт Nvidia H100 у облачного провайдера. Минимальное обучение занимает около четырёх часов и стоит примерно $100 (около 8 тысяч рублей по курсу ЦБ на 14 октября). Этого достаточно, чтобы создать модель, способную «отвечать на простые вопросы, писать стихи и рассказы».
По словам Карпатого, при увеличении времени обучения до 12 часов модель приближается к уровню GPT-2, а за 42 часа и около $1000 можно получить «умного ассистента», который решает математические задачи и пишет код.
Nanochat основан на архитектуре с поэтапным обучением: предварительная подготовка на корпусе FineWeb, диалоговое дообучение и тонкая настройка под конкретные задачи. Для работы можно использовать как консольный интерфейс, так и веб-чат.
Карпатый назвал проект «учебным экспериментом, показывающим, насколько просто сегодня построить собственную LLM». Он пояснил, что Nanochat — часть курса LLM101n, который он ведёт в рамках образовательной платформы Eureka Labs.
Андрей Карпатый был одним из первых инженеров OpenAI с момента её основания в 2015 году. В 2017-м он перешёл в Tesla, где возглавил направление по разработке ИИ для автопилота, а в 2022-м вернулся в OpenAI. После увольнения в 2024 году он сосредоточился на создании образовательных инициатив в области искусственного интеллекта.
