Игрок в Minecraft разработал локальный генеративный ИИ с 5 млн параметров

Пользователь YouTube sammyuri разработал языковую генеративную ИИ-модель CraftGPT в популярной игре Minecraft. ИИ разработан без использования командных блоков или пакетов данных. 28 сентября sammyuri представил свой проект в видео на YouTube gjln названием «Я построил ChatGPT с помощью Minecraft Redstone!».

Модель имеет ограничение в 64 токена и отвечает примерно через 2 часа с использованием MCHPRS, что увеличивает скорость до 40 000 раз. Это позволяет вести непринуждённые беседы. CraftGPT — компактная версия ChatGPT с 5 587 280 параметрами, обученная на Python с набором данных TinyChat. Модель имеет размерность встраивания 240, словарный запас 1920 токенов и 6 слоёв.

Проект sammyuri занимает 1020 × 260 × 1656 блоков. Кадры записаны с использованием технологии Distant Horizons, что иногда вызывает искажения из-за низкого разрешения.