Metodologia
Tre modelli hanno imparato da dati umani (registrazioni dei movimenti oculari, etichette emotive e valutazioni di complessità). Foresight li applica alla tua creatività, trasforma le previsioni in KPI e posiziona la maggior parte dei KPI rispetto a una libreria di riferimento.
Cos'è
Foresight risponde a tre domande su una creatività, ciascuna con un proprio modello:
| Domanda | Modello | Ha imparato da | Alimenta |
|---|---|---|---|
| Dove tenderanno a guardare le persone? | Modello di attenzione | Registrazioni di dove guardavano persone reali mentre osservavano liberamente delle immagini | Heatmap, fogmap, gaze plot, Attention, Clarity, Focus, Spread, aree di interesse |
| Quali emozioni tenderà a suscitare? | Modello delle emozioni | Immagini a cui le persone hanno associato l'emozione suscitata | Le otto emozioni, Valence, Emotional Engagement |
| Quanto appare visivamente complessa? | Modello di complessità | Valutazioni delle persone su quanto le immagini appaiono complesse | Mental Demand |
L'E-Score riunisce poi il percorso emotivo e quello dell'attenzione.
Cosa lo alimenta
Tutti e tre i modelli osservano i pixel della tua creatività. Il modello delle emozioni usa anche una breve descrizione del contenuto della creatività come contesto, così può tenere conto di ciò che viene mostrato e di cosa dice il testo visibile.
Se scegli una piattaforma, i modelli di attenzione e di complessità vedono la tua creatività all'interno di una versione semplificata della schermata di quella piattaforma. Il modello delle emozioni vede sempre il file originale caricato. Ai risultati delle emozioni viene poi aggiunto un piccolo contributo fisso, misurato sull'interfaccia vuota della piattaforma.
Come hanno imparato i modelli
Attenzione
Il modello di attenzione ha imparato dalla ricerca sull'eye tracking: ampie raccolte di immagini per le quali i ricercatori hanno registrato dove guardavano molte persone reali osservandole liberamente. Da queste registrazioni ha imparato quali caratteristiche visive tendono ad attirare lo sguardo: volti, testo, contrasto, colore, composizione e posizione nell'inquadratura.
Il modello usato in Foresight è ottimizzato per essere abbastanza veloce da analizzare ogni creatività, compresi i video lunghi. Per la tua creatività prevede una mappa della probabilità che ciascuna area venga guardata da uno spettatore tipico durante la visione libera.
Su questa mappa si basano diverse viste:
- Hot spot: Foresight individua le aree distinte in cui l'attenzione si concentra. Un solo hot spot dominante guida lo sguardo; diversi hot spot lontani tra loro indicano un'attenzione divisa. Alimentano Spread e il gaze plot.
- Gaze plot: gli hot spot collegati in un ordine suggerito, ricavato da molti spettatori simulati che partono, come fanno tipicamente le persone, vicino al centro dell'immagine. L'ordine è solo indicativo.
- Costruzione dell'attenzione: una riproduzione di come si prevede che l'attenzione si sviluppi, dal centro verso le aree più attraenti per lo sguardo, fino a stabilizzarsi nella heatmap finale.
- Aree di interesse: la quota di attenzione prevista all'interno delle aree che disegni, con un tempo di visione stimato che varia insieme alla quota.
Emozione
Il modello delle emozioni ha imparato da un'ampia raccolta di immagini, ciascuna etichettata da persone con l'emozione che suscitava in loro.
Per la tua creatività restituisce un'intensità per ciascuna delle otto emozioni. Ogni valore viene calcolato in modo indipendente, quindi gli otto valori non sommano a 100. Il modello prevede la sensazione che il contenuto suscita in uno spettatore; non legge le espressioni facciali delle persone mostrate nella creatività né di chi la guarda.
Complessità
Il modello di complessità ha imparato da studi in cui le persone hanno valutato quanto apparivano visivamente complesse molte immagini diverse. Prevede quanto uno spettatore tipico giudicherebbe complessa la tua creatività. Considera solo ciò che è visibile: non legge la storia, la sceneggiatura né il significato del testo.
Come vengono descritte le emozioni
La psicologia descrive le emozioni in due modi complementari, e Foresight li usa entrambi:
- Approccio discreto: emozioni con un nome. Foresight prevede otto emozioni: quattro piacevoli (divertimento, stupore, soddisfazione, euforia) e quattro spiacevoli (rabbia, disgusto, paura, tristezza).
- Approccio dimensionale: qualsiasi sensazione collocata su due assi, la valenza (quanto è piacevole o spiacevole) e l'arousal (quanto è calma o attivante).
Ognuna delle otto emozioni ha una posizione fissa su entrambi gli assi, stabilita da Foresight sulla base del modello circonflesso degli affetti di Russell.
Foresight prevede le otto emozioni e ne ricava poi la vista dimensionale. Emotional Engagement riflette quanto sono attivanti le emozioni previste; Valence riflette quanto sono piacevoli. Entrambi vengono ricavati allo stesso modo per ogni creatività. Valence sintetizza il tono complessivo. Emotional Engagement sintetizza l'intensità indipendentemente dal tono, quindi una forte reazione negativa conta come una forte reazione positiva di energia simile. Vedi Valence e intensità.
Dalle previsioni ai punteggi
La maggior parte dei KPI di Foresight sono classifiche. La misura grezza della tua creatività viene collocata all'interno di una libreria di creatività di riferimento, e il punteggio indica quale quota di quella libreria supera: 50 è il centro, e punteggi più alti ne superano una parte maggiore. Focus, Spread ed Emotional Engagement funzionano così, e Clarity è costruito da Focus e Spread. Anche Mental Demand è mostrato come classifica, ma il valore ideale è al centro: i contenuti troppo semplici o troppo complessi vengono segnalati. Valence è l'eccezione: non è una classifica ma il tono emotivo del contenuto stesso, da −100 a +100.
La libreria di riferimento viene analizzata nello stesso modo della tua creatività, quindi entrambi i lati del confronto sono previsioni degli stessi modelli. Il valore di confronto mostrato accanto a un punteggio è la media del gruppo che hai selezionato (per esempio un settore). Vedi Come vengono posizionati i punteggi.
Fondamenti di ricerca
I modelli e i punteggi di Foresight si basano su ricerche pubblicate:
- Dati di addestramento delle emozioni. Yang, J., Huang, Q., Ding, T., Lischinski, D., Cohen-Or, D. e Huang, H. (2023). EmoSet: A Large-scale Visual Emotion Dataset with Rich Attributes. arXiv:2307.07961.
- Assi delle emozioni. Russell, J. A. (1980). A circumplex model of affect. Journal of Personality and Social Psychology 39(6):1161–1178. DOI 10.1037/h0077714.
- Tendenza a guardare al centro. Tatler, B. W. (2007). The central fixation bias in scene viewing: Selecting an optimal viewing position independently of motor biases and image feature distributions. Journal of Vision 7(14):4. DOI 10.1167/7.14.4.
- Statistiche medie delle fissazioni. Schwetlick, L., Kümmerer, M., Bethge, M. e Engbert, R. (2024). Potsdam data set of eye movement on natural scenes (DAEMONS). Frontiers in Psychology 15:1389609. DOI 10.3389/fpsyg.2024.1389609.
- Percorsi di visione simulati. Boccignone, G. e Ferraro, M. (2004). Modelling gaze shift as a constrained random walk. Physica A 331(1–2):207–218. DOI 10.1016/j.physa.2003.09.011. Boccignone, G. e Ferraro, M. (2013). Feed and fly control of visual scanpaths for foveation image processing. Annals of Telecommunications 68(3–4):201–217. PDF.
Immagini e video
Gli stessi modelli analizzano immagini e video. I video vengono analizzati come sequenza di frame:
- Attenzione e complessità vengono previste su frame campionati lungo tutto il video, e i momenti intermedi vengono ricostruiti. Non vengono usati indizi di movimento o di suono.
- Emozione viene prevista frame per frame. Il profilo emotivo complessivo del video è la media nel tempo.