Le previsioni degli esperti

Qual è l’affidabilità delle previsioni degli esperti? Philip Tetlock ci fornisce la risposta con lo studio più completo mai realizzato sull’argomento. 

Philiph Tetlock, professore di scienze politiche presso la Pennsylvania University, è divenuto celebre grazie alla pubblicazione di Expert Political Judgement, uno studio che analizzò la capacità previsionale degli esperti. Tetlock riuscì a coinvolgere 284 professionisti: alcuni erano accademici operativi in università o think tank; altri lavoravano in dipartimenti del governo americano o in organizzazioni internazionali come la Banca Mondiale o il fondo monetario internazionale; altri ancora per i media. Insomma dei veri e propri esperti che avevano come oggetto del proprio lavoro, l’analisi e la previsione dei trend politici ed economici. 

Questi esperti, si resero disponibili ad effettuare, per un lungo periodo di tempo ed in maniera totalmente anonima, una serie di previsioni su questioni di importanza nazionale e internazionale, che di volta in volta rappresentavano l’argomento del momento in materia di politica ed economia: come si svilupperà quel particolare conflitto, quale sarà l’esito dei negoziati, quale risultato delle elezioni, quale andamento del prezzo del petrolio o di altri variabili economiche e così via. Lo studio durò circa 20 anni, dal 1985 al 2005, durante il quale Tetlock e il suo team, monitorarono e verificarono l’affidabilità di circa 28.000 previsioni, in un periodo di grandi stravolgimenti politici ed economici. L’Expert Political Judgement, è quindi considerato lo studio più completo mai realizzato sul tema e rappresenta il riferimento assoluto per quel che riguarda la valutazione delle capacità previsionali degli esperti.

I risultati dello studio

I risultati dello studio ricevettero grandissima attenzione da parte dei media perché dimostrarono, in maniera inconfutabile, che le previsioni degli esperti in media non erano migliori rispetto ad un algoritmo che avesse risposto casualmente: nel complesso gli esperti non riuscivano a prevedere meglio della famosa scimmia che tira le freccette.

“Le previsioni sono difficili – specialmente quelle sul futuro.” (Samuel Goldwyn)

“Le previsioni ti possono dire molte cose sul previsore ma niente riguardo al futuro.” (Warren Buffett)

Tuttavia il risultato più interessante dell’analisi (e che ovviamente fu trascurato dai media) era che i risultati potevano essere statisticamente scomposti in due macro gruppi di previsori: nel primo gruppo l’efficacia degli esperti era allineata a quella della scimmia (casuale) per le previsioni a breve periodo e addirittura peggiore in quelle a lungo periodo; nel secondo gruppo i previsori riuscivano ad ottenere risultati migliori della scimmia, anche se per un margine limitato.

Tetlock fu quindi incuriosito da questo fenomeno e cercò di capire il perché alcuni previsori fossero migliori di altri. Quello che scoprì fu davvero interessante: le differenze nelle previsioni non dipendevano dal livello di formazione (dottorato o meno), dall’accesso a informazioni privilegiate, dall’orientamento politico liberale o conservatore o dal fatto di essere pessimisti o ottimisti. Il fattore critico era il modo di ragionare.

Pensatori ideologici e pensatori orizzontali

I cattivi previsori tendevano ad organizzare il proprio pensiero attorno ad alcune “Grandi Idee”: alcuni erano catastrofisti sull’ambiente, altri erano dei futuristi cornucopiani. Alcuni erano socialisti che favorivano il controllo centrale dello stato, altri fondamentalisti del libero mercato. Per quanto fossero decisamente diversi tra di loro c’era un fattore che li univa: il modo di ragionare era profondamente ideologico e condizionato da un unico modello di pensiero. 

Questi previsori, che definiremo “ideologici”, cercano di ricondurre problemi complessi nel loro “template predefinito di causa-effetto” e trattano le informazioni discordanti come irrilevanti distrazioni. Sono allergici ad opinioni vaghe e cercano di spingere la loro analisi verso il limite utilizzando termini rafforzativi come “in aggiunta” o “per di più” per fare l’elenco delle argomentazioni a supporto della propria tesi; spesso sono fiduciosi nel dichiarare un evento “impossibile” o “certo”. Fortemente legati alle proprie conclusioni, non sono disposti a cambiare idea neppure di fronte all’evidenza: la risposta tipica è “aspetta ancora un pò e vedrai.”

Il gruppo dei buoni previsori era invece composto da esperti più pragmatici che utilizzavano diversi strumenti analitici a seconda del problema che si trovavano ad affrontare e facevano riferimento a fonti informative differenti. Quando ragionavano, consideravano punti di vista differenti utilizzando termini come “comunque”, “ma”, “d’altra parte”; non parlavano in termini di certezze ma di possibilità e di probabilità e sebbene a malincuore, erano maggiormente disposti ad ammettere gli errori e a cambiare idea. Definiremo questi previsori con il termine di “pensatori orizzontali”. 

Ebbene i risultati di Tetlock dimostrano chiaramente che i pensatori orizzontali sono previsori significativamente migliori rispetto a quelli ideologici. I pensatori ideologici hanno un solo strumento a loro disposizione, mentre quelli orizzontali ne hanno tanti che possono utilizzare al bisogno. Di sicuro quelli ideologici possono risolvere alcuni problemi in maniera brillante e avranno i loro 15 minuti di celebrità perché quando hanno ragione lo fanno in maniera eclatante, ma nel lungo periodo non sono dei buoni decisori, soprattutto di fronte ad un mondo in costante cambiamento.

Come non farsi schiacciare dal martello di Maslow

La metafora preferita da Charlie Munger per sottolineare i rischi a cui va incontro chi utilizza solo uno o due modelli mentali per prendere tutte le decisioni, è quella attribuita allo psicologo Abraham Maslow e che va sotto il nome di martello di Maslow: “se tutto quello che hai è un martello, allora ogni cosa ti sembrerà un chiodo”. Il rischio in cui si cade è quello di torturare la realtà per fare in modo che possa conformarsi al nostro unico modello di pensiero, focalizzandosi solo sulle informazioni a supporto e trascurando tutte le altre evidenze (“confirmation bias”). 

“Se tutto quello che hai è un martello, allora ogni cosa ti sembrerà un chiodo.” (Abraham Maslow)

Se invece si hanno diversi modelli mentali nel proprio bagaglio, come un artigiano con una cassetta piena di attrezzi di tutti i tipi, si può utilizzare quello più adatto al particolare tipo di problema che stiamo affrontando e non pretendere invece che sia la realtà a doversi adattare a noi. Si acquista la capacità di vedere il problema da diversi punti di vista e si riesce a far evolvere il proprio giudizio a seguito di nuove evidenze.

Gli esperti che vediamo in TV

Un altro risultato interessante evidenziato dalla ricerca di Tetlock è che più i previsori sono famosi e conosciuti, meno accurate sono le loro previsioni. Ciò non è dovuto al fatto che gli editori e i produttori selezionano volontariamente cattivi previsori: semplicemente hanno interesse ad invitare pensatori “ideologici” perché fanno più audience. Guidati dalle “Grandi Idee”, sono in grado di raccontare delle storie semplici e dirette, argomentando con grande assertività e fiducia il perché hanno ragione, assumendo delle posizioni molto nette a favore o a sfavore di un determinato scenario: e per gran parte del pubblico questo è più che sufficiente. 

Un esperto che solleva dubbi, dice che un problema potrebbe essere visto da diversi punti di vista, che fa dei ragionamenti complessi, che parla in termini di possibilità e non di certezze, pur essendo un decisore migliore, non trova molto spazio nei media. Le persone trovano l’incertezza disturbante: la semplicità e l’assertività, al contrario, hanno un impatto rilassante sull’audience e favoriscono la carriera televisiva dei pensatori ideologici.

Per cui la prossima volta che rimarrete colpiti quando in televisione un esperto snocciolerà con grande sicurezza e assertività le sue previsioni rispetto ai temi caldi del momento, cercate di tenere a mente i risultati dello studio di Tetlock.

I processi di selezione: specialisti vs generalisti

Un trend che sta emergendo nei processi di selezione del personale delle società hi-tech americane è quello di privilegiare la capacità di ragionare in maniera orizzontale, la flessibilità e la duttilità rispetto al fatto di avere competenze tecniche perfettamente allineate con il ruolo che si sta cercando.

Molti settori, e quello tecnologico in particolare, vanno incontro a dei cambiamenti così veloci, che il ruolo per il quale si sta assumendo oggi potrebbe trasformarsi radicalmente in poco tempo. Figure che hanno un profilo troppo specializzato potrebbero trovarsi in difficoltà in un ambiente che cambia velocemente: le competenze specialistiche, che rappresentano oggi un punto di forza, potrebbero perdere di valore nel tempo ed essere minacciate da nuove soluzioni. Al contrario, un profilo con un approccio più orizzontale, non ha un bias specifico ed è maggiormente predisposto al cambiamento; può evolversi per coprire ruoli differenti, anche in un’ottica di crescita manageriale. 

Non è un caso se nelle franchigie NBA si è passati da ruoli specializzati (play, guardia, ala, pivot) a giocatori universali, che possono ricoprirne 3 o 4 contemporaneamente: gli allenatori valorizzano molto questi atleti perché consentono di moltiplicare le soluzioni tattiche a loro disposizione (5 piccoli in campo, oppure il lungo che palleggia e tira da tre).  

Una possibile soluzione per favorire il focus su candidati “orizzontali” rispetto a specialisti puri è per esempio quella adottata in Google: la decisione sull’assunzione viene affidata a un comitato e il manager con cui il candidato andrà a lavorare ha solo la possibilità di presentare i profili ma non di effettuare la scelta finale. La filosofia alla base di questo approccio è che il candidato viene prima del ruolo e la società prima del manager. 

Conclusioni

I risultati dello studio di Tetlock sono da un certo  punto di vista confortanti: ci dimostrano che le caratteristiche dei buoni decisori non sono genetiche o derivanti da un particolare livello di quoziente intellettivo. Al contrario dipendono in gran parte dal modo di ragionare, una qualità che può essere allenata e migliorata con l’impegno. 

Il primo step consiste nella diversificazione delle proprie fonti di informazione: leggiamo sempre lo stesso giornale, parliamo sempre con le stesse persone? I pensatori orizzontali tendono a preferire la diversità di informazione, anche a costo di sprecare parte del tempo in letture che non portano a niente.

Il secondo step, quello più difficile, consiste nell’apprendimento dei principali modelli mentali delle diverse discipline: qui però ci siamo noi di ThinkinPark a fare gran parte del lavoro per voi!

Bibliografia:

Mauboussin, Michael J. More Than You Know: Finding Financial Wisdom in Unconventional Places. Columbia University Press, 2013. 

Munger Charles T. Poor Charlie’s Almanack: The Wit and Wisdom of Charles T. Munger. PCA Publication, 2011.

Schmitdt, Eric e Rosenberg, Jonathan. How Google Works. Grand Central Publishing, 2017.

Tetlock, Philip e Gardner, Dan. Super-Forecasting: the Art & Science of Prediction. Random House Books, 2016.