Чтение по губам с использованием нейросети
https://github.com/DungLe13/lips-reading
Необходимо:
- разобраться в этой модели (быть способным интерпретировать входные и выходные данные);
- провести с ней эксперименты: сравнить работу двух моделей CNN+LSTM и CNN+LSTM+RL (Reinforcement Learning);
- в модели есть датасет GRID, который надо использовать.
Под проведением экспериментов на практике понимается запуск программного кода для этих двух альтернативных алгоритмов и получение выходных данных - характеристики WER(word error rate) и CER (character error rate).
Просьба откликаться только сознательных и толковых специалистов, ориентирующихся в теме. В процессе работы будем плотно взаимодействовать. Бюджет обсуждаемый.