Генеративный искусственный интеллект для процедурного создания уровней в играх: Latent Diffusion Model for 3D

Генеративный искусственный интеллект привлек внимание пользователей созданием интересных изображений и генерацией текста, а также общением (конечно, ChatGPT у всех на слуху). Теперь ИИ перешел и в сферу 3D. На конференции CVPR (Computer Vision and Pattern Recognition Conference) компания Blockade Labs вместе с Intel представила Latent Diffusion Model for 3D (LDM3D).

Для тренировки LDM3D использовались 10.000 семплов, полученных из базы данных LAION-400M, которая содержит порядка 400 млн. пар текст-изображение. Тренировка выполнялось на системе с процессорами Xeon и ускорителями Gaudi, что вполне ожидаемо, учитывая сотрудничество с Intel.

{nozuna nzgallery}3d88e848-1040-11ee-88a5-000c29322405{/nozuna nzgallery}

Система принимает текстовый ввод, после чего генерирует 3D-сцену на 360°. На видеоролике ниже можно посмотреть некоторые примеры в YouTube VR.

Похоже, что создание полноценных 3D-миров станет следующим этапом процедурной генерации уровней. Размеры игровых миров продолжают расти, и в некоторых играх их уже просто ...