Ученые проверили, как ИИ распознает признаки депрессии в русских текстах

Российские ученые провели первое всестороннее исследование способностей искусственного интеллекта (ИИ) распознавать депрессию по русскоязычным текстам. В работе участвовали специалисты из Института искусственного интеллекта AIRI, ФИЦ ИУ РАН, ИСП РАН, МФТИ, РУДН и MBZUAI.

Исследователи сравнили эффективность больших языковых моделей, нейросетей-трансформеров и классических алгоритмов машинного обучения. Для испытаний использовали набор текстов, включавший 500 специально написанных эссе и сообщения из социальных сетей. Часть текстов создали здоровые добровольцы, другую часть — люди с клинически подтвержденной депрессией.

Результаты показали, что большие языковые модели значительно превосходят традиционные методы, особенно при работе с короткими и разнородными текстами. Однако эксперты-психологи, которые проводили проверку выводов ИИ, констатировали многочисленные ошибки в диагнозах.

Сгенерированные моделями объяснения содержали в среднем более двух ошибок на случай, включая тавтологии, ложные выводы и некорректные медицинские представления.