How to create a model based on Emotion Recognition using the LiDAR sensor behind FaceID
- Piero Chianese
- 23 giu 2024
- Tempo di lettura: 2 min
Occupazione/Posizione
Coder
Main activities and responsibilities
Mi sono occupato della ricerca e implementazione del machine learning
Puoi trovare l'articolo annche su Medium :
La nostra storia riguarda la comprensione di come utilizzare il machine learning e usarlo correttamente; tutto è iniziato con l'idea di trovare un modo per riconoscere le emozioni delle persone.
N.B. È molto difficile riconoscere le emozioni umane anche per le persone, figuriamoci per una macchina.
l nostro obiettivo finale è creare un gioco basato sul riconoscimento delle emozioni, ma, naturalmente, per realizzare questo dobbiamo diventare esperti in machine learning.
Abbiamo iniziato a lavorare sul framework Apple CoreML perché abbiamo deciso di utilizzare un modello esistente per svolgere il nostro lavoro (e semplificarci la vita). Attraverso CoreML hai accesso al machine learning nel tuo progetto e per farlo, devi solo implementare un file .model e scrivere poche righe di codice. Il modello che abbiamo trovato su internet è stato addestrato con immagini di persone che rappresentano molte emozioni diverse come rabbia, felicità, tristezza, disgusto e sorpresa.
Abbiamo scoperto che questo modello era un po' impreciso e il riconoscimento delle emozioni non era così coerente con i volti che stavamo provando a testare nelle nostre foto, quindi questo ci ha portato a utilizzare un altro metodo per comprendere il machine learning e anche a diventare esperti nella creazione del nostro modello. Così abbiamo deciso di utilizzare CreateML.
CreateML permette di creare il proprio modello.
Il problema di precisione del modello che abbiamo trovato online era molto probabilmente dovuto all'addestramento a cui era stato sottoposto. Quindi abbiamo ideato un modo diverso di scattare foto per l'addestramento del modello.
Il passo successivo è stato comprendere la tecnologia dietro FaceID perché è il metodo che abbiamo usato per scansionare i volti delle persone. FaceID può essere utilizzato per tracciare punti del viso e creare “maschere facciali”; attraverso un semplice strumento (ARMotion) che abbiamo creato, abbiamo registrato tre video di tre diverse emozioni: felicità, tristezza ed espressione neutra.
Da questi video abbiamo estratto alcuni frame (circa 7000) e abbiamo addestrato il nostro modello con queste foto.
Utilizzando le scansioni di FaceID, il modello può adattare il riconoscimento delle emozioni a ogni persona perché abbiamo usato solo la maschera facciale fornita, senza lo sfondo.
Il modello che abbiamo creato è un po' impreciso a causa della mancanza di tempo, ma l'uso di FaceID aiuta il nostro modello a essere più leggero perché il modello che abbiamo trovato su internet occupava circa 460 MB, mentre il nostro modello occupa 17 KB. Per le nostre implementazioni future, vogliamo creare un modello più preciso; abbiamo capito che il segreto per aumentare la precisione del modello è utilizzare più immagini da diverse distanze e angolazioni.
Sappiamo che c'è molto potenziale nel ML, puoi creare praticamente qualsiasi cosa con esso, tutto dipende dal tempo e dall'apprendimento.
Crediti a
