Нейросети для распознавания эмоций и личностных особенностей

Ключевое отличие современных систем распознавания эмоций от ранних версий — многоканальность. Модель, разработанная учёными НИУ ВШЭ совместно с экспертами из СПб ФИЦ РАН и Центра практического ИИ Сбербанка, получает информацию о поведении человека сразу по нескольким каналам. Она анализирует видео, голос и содержание речи, а также сгенерированное описание мимики, взгляда, позы и жестов (согласно данных CNews). Нейросеть одновременно распознаёт эмоции, оценивает воспринимаемые черты личности и выявляет амбивалентность — неуверенность или противоречивость поведения.

Обучение велось на суперкомпьютере НИУ ВШЭ «Харизма». Для трёх задач использовались разные корпуса данных, каждый со своей разметкой. Основная сложность заключалась в том, что информативность модальностей зависит от задачи: для оценки воспринимаемых черт личности особенно важно видео, а для выявления амбивалентности — содержание речи. Дополнительные данные повысили распознавание эмоций примерно на 6%, а качество оценки воспринимаемых черт личности — на 3,2%.

Российские разработки: от эмоционального профиля водителя до анализа ЭЭГ

Эмоциональный профиль водителя

Специалисты Санкт-Петербургского Федерального исследовательского центра РАН и Университета ИТМО разработали систему, которая оценивает эмоциональный профиль водителя в ходе маневров на дороге. Использовался открытый набор данных: более 300 часов видеозаписей и телеметрии от 42 водителей. Нейросеть распознавала шесть основных эмоций — радость, гнев, страх, печаль, удивление, отвращение — и нейтральное состояние (согласно данных Минобрнауки России).

Исследователи отошли от однофазной оценки и перешли к трёхфазной: оценивалось, какие эмоции испытывал водитель до, во время и после маневра. Это позволило выявить характерные паттерны: усиление негативных эмоций перед маневром, пик во время и стабилизацию или сохранение напряжения после. Для каждого водителя сформирован индивидуальный эмоциональный профиль. В перспективе подход может использоваться для адаптивных систем поддержки водителя и планирования маршрутов с минимальной эмоциональной нагрузкой.

Распознавание эмоций по активности мозга

Учёные из Санкт-Петербурга обучили нейросеть определять эмоциональное состояние человека по электроэнцефалограмме. Модель анализирует активность головного мозга и может применяться для мониторинга психологического здоровья в режиме реального времени (согласно данных Минобрнауки России). Метод пока экспериментальный, но демонстрирует принципиальную возможность считывания эмоций без внешних сигналов — только по электрической активности коры.

Где бизнес уже применяет эти технологии

Контроль эмоций персонала в отеле

В российском отеле «Омега Сириус» тестируется система EmScan, которая анализирует мимику сотрудников с помощью глубоких нейросетей. Решение помогает руководству своевременно замечать признаки стресса, напряжения или эмоционального выгорания. Если во время общения возникают конфликтные ситуации — например, собеседник переходит на крик, — система фиксирует тревожные сигналы, и начальник получает сообщение в мессенджере. Камеры также проверяют соблюдение корпоративных стандартов внешнего вида: наличие бейджа, жилета и галстука (согласно данных Bnovo).

Анализ эмоций в контакт-центрах

В контакт-центрах внедряются системы, анализирующие текст и голос для оценки эмоционального состояния клиентов в реальном времени. В Южной Корее система на базе ИИ-контакт-центра распознаёт агрессию, оскорбления и другие сигналы эмоционального риска, позволяя оператору вовремя передать вызов старшему специалисту или завершить разговор (согласно данных Digital Today). В Китае компания transcosmos внедрила систему на основе распознавания микровыражений, которая превращает эмоциональные колебания клиента в измеримые сигналы для вмешательства (согласно данных transcosmos).

Оценка стресса при коммуникации с ИИ

Газпромбанк выступил заказчиком технологического конкурса, в рамках которого 46 команд разрабатывали решения для определения уровня стресса и эмоционального состояния человека в процессе коммуникации с роботом. Задача — создать систему, которая адаптирует поведение ИИ-собеседника в зависимости от эмоциональной реакции пользователя (согласно данных Bosfera).

Регулирование: европейский запрет и российская неопределённость

Жёсткие ограничения в Европейском союзе

Регламент EU AI Act, вступивший в силу в августе 2026 года, содержит один из самых жёстких запретов в области распознавания эмоций. Статья 5(1)(f) прямо запрещает размещение на рынке, ввод в эксплуатацию и использование ИИ-систем, предназначенных для выявления эмоционального состояния человека в рабочей среде и образовательных учреждениях (согласно данных Revera Legal). Исключение предусмотрено только для медицинских или связанных с безопасностью целей.

Запрет основан на трёх принципиальных соображениях. Первое — высокий риск манипуляции и дискриминации: если работодатель получает инструмент для оценки «лояльности», «стрессоустойчивости» или «вовлечённости» на основе мимики, это открывает пространство для предвзятых решений. Второе — научная достоверность технологий остаётся спорной: распознавание эмоций строится на вероятностных моделях и не гарантирует объективной интерпретации внутреннего состояния человека. Третье — анализ мимики и голоса представляет серьёзное вмешательство в частную жизнь, особенно с учётом иерархической зависимости работника от работодателя.

Согласие работника не отменяет запрет — он действует независимо от правового основания.

Российское регулирование: пробелы и рекомендации

В российском правовом поле ситуация иная. Федеральный закон № 152-ФЗ и Федеральный закон № 572-ФЗ не содержат положений о распознавании эмоций и намерений. Нормы не учитывают всего многообразия биометрических техник, появившегося в последние годы (согласно данных ННГАСУ). Общее правило требует согласия на обработку биометрических данных, но относится ли мимика и эмоциональная реакция к биометрии — вопрос дискуссионный.

Роскомнадзор выпустил рекомендательные нормы по работе с «чувствительными данными», к которым косвенно относят и поведенческие паттерны. Однако обязательного характера эти рекомендации не имеют. В российском правовом поле наиболее перспективной представляется модель, при которой система работает в режиме подсказки для специалиста, а её данные не фиксируются как доказательства — это позволяет использовать тактические подсказки при соблюдении требований информирования участников и запрета на использование таких данных как прямых доказательств.

Рынок и перспективы

Российский рынок распознавания эмоций оценивается как растущий: прогнозируется среднегодовой темп роста более 17% с 2025 по 2030 год. Однако регуляторные вызовы, связанные с биометрическими данными, информированным согласием и этикой наблюдения, будут влиять на темпы роста (согласно данных Market Research).

Ограничения технологий

Первое ограничение — научная достоверность. Распознавание эмоций по мимике и голосу не является точной наукой. Одно и то же выражение лица может означать разные состояния в зависимости от контекста, культуры и индивидуальных особенностей. Модели дают вероятностные оценки, а не устанавливают факты.

Второе ограничение — языковая специфика. Кросс-языковая оценка показывает заметное снижение качества на русскоязычных наборах данных по сравнению с англоязычными. Точность распознавания эмоций в русскоязычном контенте остаётся ниже, чем в английском.

Третье ограничение — этическая асимметрия. Технология, которая помогает выявлять выгорание или предотвращать конфликты, может использоваться для скрытого контроля и манипуляции. Грань между заботой о сотруднике и слежкой за ним определяется не техническими возможностями, а целями и прозрачностью применения.

Нейросети для распознавания эмоций перестали быть лабораторной экзотикой. Они работают в отелях, контакт-центрах и за рулём, а исследователи двигаются к анализу эмоций по активности мозга. Европа уже запретила такие системы на рабочих местах, Россия пока не сформировала жёсткого регулирования. Остаётся вопрос, где пройдёт граница между заботой и контролем — и кто будет её определять.