Андрей Карпати представил проект microgpt. Это одна программа на чистом Python. В ней всего 200 строк.
Файл содержит весь алгоритм. Токенизатор, нейросеть, оптимизатор. Даже набор данных с именами.
Карпати работал над этим десять лет. Он упрощал свои проекты micrograd и nanogpt. Теперь получился минимальный вариант.
Модель обучается на 32 тысячах имен. Потом генерирует новые. Например, Kamon, Karai или Vialan.
Это как ChatGPT. Только ваш диалог для него — просто документ. Модель просто дополняет текст.
Токенизатор переводит буквы в числа. Каждый символ получает свой номер. Есть специальный токен начала текста.
Код разбит на три колонки. Его можно запустить в Google Colab. Или скачать с сайта Карпати.
Автор называет проект красивым. Он говорит, что дальше упрощать уже некуда. Все остальное — лишь про оптимизацию.
