Анализ микровыражений лица на основе видео: исследование наборов данных, характеристик и алгоритмов.

Список ключевых заголовков разделов

1. Введение
2. Различия между макро- и микровыражениями
3. Наборы данных микровыражений
4. Характеристики микровыражений
5. Алгоритмы обнаружения
6. Алгоритмы распознавания
7. Сценарии применения
8. Сравнение методов
9. Направления будущих исследований
10. Заключение

Краткое описание документа

Лицевые микровыражения, являясь непроизвольными, мгновенными движениями лица, способны раскрыть истинные эмоции, которые человек пытается скрыть, и имеют важную прикладную ценность в таких областях, как детекция лжи и криминалистика. В отличие от легко распознаваемых макровыражений, микровыражения длятся всего 0.065-0.5 секунды, обладают слабой интенсивностью и не поддаются субъективному контролю. Их автоматическое обнаружение и распознавание сопряжено с множеством технических проблем, и традиционные методы анализа макровыражений не могут быть напрямую адаптированы.

В данном исследовании сначала с точки зрения нейропсихологии проясняются фундаментальные различия между макро- и микровыражениями. Указывается, что они регулируются разными нейронными путями: корковым (произвольный контроль) и подкорковым (непроизвольная активация) соответственно, и существенно различаются по продолжительности, интенсивности движений и задействованным областям лица. Основываясь на этих различиях, исследование выстраивает иерархическую аналитическую структуру, систематически охватывающую семь ключевых модулей: нейропсихологические основы, наборы данных, извлечение признаков, алгоритмы обнаружения, алгоритмы распознавания, сценарии применения и систему оценки.

В части наборов данных исследование всесторонне рассматривает преимущества и недостатки 9 репрезентативных наборов, таких как MEVIEW, SMIC, серия CASME, SAMM, и указывает на существующие ограничения, включая небольшой объем выборок, ограниченное количество категорий эмоций и отсутствие соответствий между макро- и микровыражениями. Для решения этих проблем исследование предлагает и публикует новый набор данных MMEW (Micro-and-Macro Expression Warehouse), который содержит больше видеообразцов, более богатый набор меток эмоций, а также предоставляет данные как о макро-, так и о микровыражениях одного и того же испытуемого, что создает основу для кросс-модальных исследований.

На техническом уровне исследование систематически классифицирует и оценивает ключевые технологии анализа микровыражений: извлечение признаков охватывает четыре основные категории — пространственно-временные, частотные, тензорного разложения и оптического потока; алгоритмы обнаружения делятся на методы оптического потока и методы дескрипторов признаков; алгоритмы распознавания включают традиционную классификацию, глубокое обучение и трансферное обучение. Единая оценка на наборах данных CAS(ME)², SAMM и MMEW показала, что алгоритм MDMD демонстрирует наилучшую производительность в обнаружении микровыражений, в то время как модель глубокого обучения TLCNN достигает наивысшей точности в задачах распознавания (69.4% на MMEW, 73.5% на SAMM).

Исследование также подтвердило, что использование данных о макровыражениях того же испытуемого для предварительного обучения может значительно повысить производительность распознавания микровыражений, предлагая эффективный путь решения ключевой проблемы недостаточного объема выборок в наборах данных микровыражений. Кроме того, исследование определяет прикладную ценность анализа микровыражений в таких областях, как детекция лжи, указывая, что он может служить важным дополнением к традиционным физиологическим методам обнаружения, повышая точность выявления обмана.

Данное исследование предоставляет первой всесторонний систематизированный обзор, единые эталоны для оценки и новый набор данных в области анализа микровыражений. Оно не только интегрирует существующие научные достижения в этой области, но и указывает направления для будущих исследований, такие как защита конфиденциальности, создание стандартизированных наборов данных и разработка интерпретируемых алгоритмов, что имеет важное справочное значение для продвижения академических исследований и практического применения соответствующих технологий.