Notizia

Mar 18, 2024

Classificazione degli stati emotivi tramite modelli facciali spaziotemporali cardiovascolari transdermici utilizzando video facciali multispettrali

Scientific Reports volume 12, numero articolo: 11188 (2022) Cita questo articolo 1829 Accessi 1 Citazioni 18 Dettagli metriche alternative Una correzione dell'autore a questo articolo è stata pubblicata il 19 agosto 2022

Rapporti scientifici volume 12, numero articolo: 11188 (2022) Citare questo articolo

1829 Accessi

1 Citazioni

18 Altmetrico

Dettagli sulle metriche

Una correzione dell'autore a questo articolo è stata pubblicata il 19 agosto 2022

Questo articolo è stato aggiornato

Descriviamo un nuovo metodo per la valutazione a distanza dello stato emotivo utilizzando video facciali multispettrali e presentiamo i nostri risultati: modelli facciali transdermici, cardiovascolari e spaziotemporali unici associati a diversi stati emotivi. Il metodo non si basa su espressioni facciali stereotipate ma utilizza diverse sensibilità di lunghezza d'onda (spettro visibile, vicino infrarosso e infrarosso a onde lunghe) per valutare i correlati dell'attività del sistema nervoso autonomo distribuiti spazialmente e temporalmente sul volto umano (ad esempio, flusso sanguigno, concentrazione di emoglobina e temperatura). Abbiamo condotto un esperimento in cui 110 partecipanti hanno guardato 150 brevi video che suscitavano emozioni e hanno riferito la loro esperienza emotiva, mentre tre telecamere registravano video facciali con più lunghezze d'onda. Le caratteristiche multispettrali spaziotemporali dei video multispettrali sono state utilizzate come input per un modello di apprendimento automatico in grado di classificare lo stato emotivo dei partecipanti (ad esempio, divertimento, disgusto, paura, eccitazione sessuale o nessuna emozione) con risultati soddisfacenti (punteggio medio ROC AUC di 0.75), fornendo al contempo un'analisi dell'importanza delle caratteristiche che consente l'esame delle occorrenze facciali per stato emotivo. Discutiamo i risultati riguardanti i diversi modelli spaziotemporali associati ai diversi stati emotivi, nonché i diversi vantaggi del metodo attuale rispetto agli approcci esistenti al rilevamento delle emozioni.

Le emozioni sono centrali per l’esperienza e il funzionamento umano e, come tali, sono di primario interesse nella ricerca psicologica di base, nella pratica clinica e nei contesti applicati. Poiché le emozioni includono aspetti prevalentemente soggettivi e non facilmente osservabili, misurare questi aspetti soggettivi in ​​modo oggettivo e affidabile rappresenta una sfida significativa.

Negli ultimi anni, molte ricerche hanno tentato di sviluppare tecnologie per il riconoscimento accurato delle emozioni. Uno degli obiettivi principali della ricerca sul rilevamento delle emozioni si concentra sul tentativo di valutare l'esperienza emotiva delle persone a distanza (cioè senza fare affidamento su apparecchiature basate sul contatto come la fMRI o l'elettroencefalografo [EEG]). La maggior parte delle tecnologie attuali che pretendono di classificare gli stati emotivi in ​​realtà misurano le espressioni facciali evidenti piuttosto che stimare gli stati emotivi soggettivi dei partecipanti1,2,3. Le espressioni facciali sono relativamente facili da rilevare e classificare utilizzando algoritmi, grazie al loro aspetto noto e alle significative differenze spaziali tra le espressioni di diverse emozioni. In effetti, i metodi basati su questo approccio producono solitamente una percentuale di successo superiore al 90% nel riconoscimento delle espressioni1,2. Le espressioni facciali visibili spesso forniscono informazioni utili riguardo allo stato emotivo degli individui; tuttavia, molte ricerche in psicologia mostrano che le espressioni facciali servono principalmente a scopi comunicativi: rappresentano ciò che le persone vogliono trasmettere piuttosto che riflettere i loro stati interni3.

Alla luce di ciò, sono stati fatti diversi tentativi per sviluppare metodi per il riconoscimento remoto delle emozioni che non si basino su espressioni facciali stereotipate. Uno di questi segnali include movimenti sottili, rapidi e spontanei dei muscoli facciali noti come microespressioni, che sono caratterizzati da una breve durata nell'intervallo da decine a diverse centinaia di millisecondi4,5. Come nel caso delle espressioni facciali visibili, le microespressioni possono fornire informazioni utili per il rilevamento delle emozioni; tuttavia, non esistono prove attendibili riguardo alla misura in cui le microespressioni possano essere diagnostiche dell'effettivo stato emotivo dei partecipanti6.

Un altro approccio per il riconoscimento delle emozioni prevede la misurazione dell'attività del sistema nervoso autonomo (SNA), che è noto essere associato agli stati emotivi soggettivi degli individui7. Tuttavia, i metodi più attuali per il rilevamento dei cambiamenti fisiologici legati alle emozioni (ad esempio, fotopletismografia [PPG]8, EEG9,10, pressione sanguigna, conduttanza cutanea ed elettrocardiogramma [ECG]11) comportano il contatto diretto (ovvero, il collegamento degli individui ad apparecchi di misurazione) .