Исследователи из Университета Иннополис, ЛЭТИ и Джадавпурского университета разработали гибридную нейросеть, которая анализирует электроэнцефалограммы и определяет стресс, радость и другие эмоциональные состояния. Об этом сообщает «Хайтек».

Новая архитектура объединяет две параллельные ветви. Временная ветвь использует сеть долгой краткосрочной памяти. Она обрабатывает сырые сигналы ЭЭГ и улавливает изменения, связанные с эмоциональными состояниями. Спектральная ветвь с помощью свёрточной нейросети извлекает из сигналов признаки. Результаты обеих ветвей объединяются, и итог классифицирует компактная нейросеть. Учёные добавили механизм кросс-модального улучшения. Две ветви обмениваются информацией и обогащают друг друга признаками, что делает прогноз точнее.

Модель протестировали на трёх общедоступных эталонных наборах данных ЭЭГ. Максимальную точность 99,99 процента она показала на наборах, где требовалось определить спокойствие, стресс или радость, а также эмоциональные состояния в условиях стресса. В первом случае система совершила три ошибки на 27 130 образцов, во втором — одну ошибку на 78 328 вариантов. Наибольшее число ошибок модель допустила на наборе с негативным, нейтральным и положительным настроениями — 15 ошибок на 427 случаев, точность 96,49 процента.

Ведущий программист-математик Исследовательского центра в сфере ИИ Университета Иннополис Дмитрий Каплун отметил, что мониторинг психического здоровья через распознавание эмоций важен для ранней диагностики депрессии, тревожности и связанных со стрессом расстройств. Существующие подходы требуют ручного выбора и настройки признаков, плохо обобщаются на разные наборы данных и вычислительно сложны. Новая архитектура снимает эти ограничения и позволяет получить результат быстрее, точнее и с меньшими вычислительными затратами.

В сравнении с существующими моделями на тех же данных решение либо превзошло, либо сравнялось с известными результатами. На наборе с негативными, нейтральными и положительными эмоциями прежний лучший результат составлял 95,99 процента. Новая модель показала 96,49 процента точности. На наборе со спокойным, стрессовым и радостным состояниями предыдущий рекорд был 98,55 процента, а предложенная модель достигла 99,99 процента.

В дальнейшем учёные планируют адаптировать модель для онлайн-распознавания эмоций по потоковым данным ЭЭГ и интегрировать архитектуру с другими методами психофизиологической диагностики: электрокардиограммами, фотоплетизмограммами и электродермальной активностью. Статья опубликована в журнале Scientific Reports. Авторы — Вячеслав Гульванский и Дмитрий Каплун из Университета Иннополис и ЛЭТИ, а также Дебам Саха, Асфак Али и Рам Саркар из Джадавпурского университета.

Запись Появился ИИ, который распознает эмоции по сигналам мозга с точностью 99,99% впервые появилась K-News.