Texas Sharpshooter Fallacy
Prima spari, poi disegni il bersaglio. È esattamente quello che fai quando apri la dashboard senza una domanda.
La Texas Sharpshooter Fallacy, o Fallacia del Tiratore Texano, descrive l'errore logico di chi costruisce la propria conclusione dopo aver osservato i dati, selezionando retroattivamente i pattern che sembrano significativi e ignorando tutto il resto.
Il nome viene da un'immagine: un cowboy texano spara una raffica di colpi contro il muro di un fienile. Poi prende un pennarello e disegna il bersaglio intorno al gruppo di fori più concentrato. A quel punto si gira e dice: guarda che precisione.
Il bersaglio è stato disegnato dopo lo sparo, non prima. L'accuratezza è un'illusione costruita a posteriori.
Come si manifesta nel marketing eCommerce
Questo è uno dei meccanismi più frequenti nell'analisi delle campagne digitali. Alcuni esempi:
Analisi post-campagna senza ipotesi iniziale: si lancia una campagna, si guardano i risultati, e si costruisce una storia intorno al segmento o al giorno della settimana in cui ha performato meglio. Quella storia diventa la "lesson learned". In realtà su 20 variabili osservate, almeno una apparirà positiva per puro caso.
A/B test su funnel a più variabili: si testano tre varianti diverse per layout, copy e immagine contemporaneamente. Quella che vince viene analizzata elemento per elemento alla ricerca di "cosa ha funzionato". Ma poiché le variabili erano multiple, non è possibile attribuire il risultato a una causa specifica. Il bersaglio è stato disegnato dopo i fori.
Cluster di vendite casuali trattati come insight: le vendite del giovedì sono più alte del martedì per tre settimane consecutive. Si decide di spostare le campagne al giovedì. Ma quei dati non erano stati predetti - erano stati osservati. La differenza potrebbe essere rumore statistico, non un pattern reale.
La differenza tra pattern e rumore
Un pattern reale è quello che si verifica quando formuli un'ipotesi prima di raccogliere i dati e poi la verifichi. Una coincidenza è quello che si trova quando cerchi pattern nei dati dopo averli raccolti, senza aver formulato nessuna previsione.
La distinzione è metodologica, non intuitiva. Entrambi sembrano uguali nella dashboard. La differenza è l'ordine temporale: ipotesi prima, dati dopo - oppure dati prima, storia dopo.
Come evitarla
Prima di analizzare i risultati di qualsiasi test o campagna, scrivi esplicitamente cosa ti aspettavi di trovare. La previsione deve essere fatta prima, non dedotta dai risultati.
Quando trovi un pattern interessante nei dati, trattalo come un'ipotesi da verificare in un nuovo test, non come una conclusione.
Diffida di qualsiasi analisi che inizia con "guardando i dati, abbiamo notato che...". Quella frase descrive quasi sempre la costruzione retroattiva di un bersaglio.
Approfondisci sul blog
Ho descritto la Texas Sharpshooter Fallacy in dettaglio nell'articolo sul bias di conferma nell'analisi eCommerce, con esempi tratti da Klaviyo, Analytics e Shopify: Troppi dati, zero risposte: quando l'analisi diventa un inganno ->