Российский учёный разработал ИИ для управления музыкой жестами

Российский и немецкий учёные разработали ИИ для управления музыкой с помощью жестов и голоса

Учёные из России и Германии разработали систему, которая позволяет изменять звучание классических музыкальных произведений при помощи жестов, мимики и голоса. Эта нейросетевая система, созданная в Сколтехе, принимает ноты, учится играть по ним, и предоставляет уникальные возможности для управления воспроизведением. Суть заключается в том, чтобы дать людям, не умеющим играть на музыкальных инструментах, возможность влиять на исполнение произведений классической музыки.

Учёные подготовили нейросеть, способную воспроизводить музыку по нотной записи, и разработали алгоритмы, которые дополняют указания слушателя. Этот подход позволяет слушателю влиять на воспроизведение музыки, задавая свои предпочтения, используя жесты, мимику и голос. Для этого применяются современные технологии машинного обучения, такие как нейросеть GPT-3 для распознавания инструкций пользователя, а также системы, способные распознавать эмоции и жесты.

Созданное исследователями мобильное приложение позволяет в реальном времени дирижировать исполнением музыки и взаимодействовать с системами искусственного интеллекта, придавая уникальное звучание классическим произведениям. Они уже демонстрировали возможности приложения, преобразуя мазурки Шопена в колыбельные. В настоящее время исследователи работают над новыми версиями системы, которые сделают процесс взаимодействия пользователя и нейросети ещё более интерактивным, а также расширят доступность воспроизведения оркестровых произведений.