Validazione
Ogni modello viene verificato su dati umani tenuti da parte (registrazioni di eye tracking per l'attenzione, etichette emotive date dalle persone per le emozioni). Questi test misurano la concordanza con le risposte umane tipiche in contesti di ricerca, non le performance delle campagne.
Cos'è
Un modello predittivo è utile solo se le sue previsioni corrispondono a ciò che le persone fanno davvero. La validazione è il modo in cui lo verifichiamo: ogni modello viene testato su dati umani che non ha mai visto durante l'addestramento, così non può essersi semplicemente memorizzato le risposte.
Come vengono testati i modelli
Attenzione. Le mappe previste dal modello di attenzione vengono confrontate con registrazioni reali di eye tracking su immagini escluse dall'addestramento. Il confronto usa le misure standard della ricerca sull'attenzione, che verificano se i punti previsti dal modello corrispondono davvero a dove le persone hanno guardato e quanto concorda lo schema complessivo dell'attenzione.
Emozione. Le previsioni del modello delle emozioni vengono confrontate con le emozioni riportate dalle persone per immagini escluse dall'addestramento. I test verificano sia se il modello identifica l'emozione indicata dalle persone, sia se coglie correttamente il tono complessivo, positivo o negativo.
Complessità. Le previsioni del modello di complessità vengono confrontate con le valutazioni delle persone su quanto appaiono visivamente complesse le immagini tenute da parte.
Risultati dei test interni
Nei test interni di Emotiva su immagini di ricerca escluse dall'addestramento:
- Emozione. Il modello indica la stessa emozione principale delle persone circa 8 volte su 10, e quella giusta è tra le sue prime due circa nel 98% dei casi. Coglie correttamente il tono complessivo (positivo o negativo) più di 9 volte su 10.
- Attenzione. Le mappe previste concordano strettamente con le registrazioni reali di eye tracking: sulla misura standard che distingue le aree guardate da quelle ignorate, il modello ottiene circa 0,90 su 1.
- Complessità. Non c'è ancora un singolo dato pubblicato.
Sono risultati ottenuti in contesti di ricerca su immagini generiche, non pubblicitarie, quindi descrivono la concordanza con le risposte umane tipiche, non il rendimento delle campagne.
Cosa mostra la validazione, e cosa no
Questi test misurano la concordanza con le risposte umane tipiche in contesti di ricerca. Mostrano che i modelli riproducono, su immagini nuove, gli schemi che le persone mostrano negli studi di eye tracking e sulle emozioni.
Non misurano le performance delle campagne. Una buona previsione di attenzione o di emozione non è, di per sé, una previsione di ricordo, click-through, vendite o brand lift.
La validazione riflette anche il materiale su cui i modelli sono stati testati:
- I modelli hanno imparato soprattutto da immagini generiche più che da pubblicità, quindi considera i risultati come previsioni.
- I risultati descrivono uno spettatore tipico, come media su molte persone.