Xiaomi открыла доступ к ИИ модели клонирования голоса на 600+ языков

Xiaomi выпустила OmniVoice. ИИ для клонирования голоса работает с 646 языками, включая «самые редкие, для которых почти нет данных». И разработка в открытом доступе.

Модель использует большие языковые модели (как у ChatGPT) для того, чтобы правильно произносить сложные слова. Разработчики собрали 50 открытых наборов голосовых данных — 580 тыс. часов записи на 646 языках.

OmniVoice может копировать голос с любого образца (например, записать, как говорит человек, и заставить этот голос говорить на другом языке). Также можно:

• Описать желаемый голос словами («мужчина, средних лет, низкий голос»).

• Добавить смех, вздохи или шёпот.

• Исправлять неправильное произношение.

• Чистить шумы в записи.

Код, обучающие данные и готовые веса доступны на GitHub и Hugging Face. Там же можно попробовать демо-версию без установки.