Survivorship Bias
Stai imparando dai vincitori. Ma i perdenti ti insegnerebbero di più.
Il Survivorship Bias è la tendenza cognitiva a trarre conclusioni basandosi esclusivamente sui casi che hanno "sopravvissuto" a un processo di selezione, ignorando sistematicamente quelli che sono stati eliminati lungo la strada.
Il nome viene da un esempio storico: durante la Seconda Guerra Mondiale, gli ingegneri analizzavano i danni ai bombardieri che tornavano dalla missione per capire dove rinforzare la corazzatura. La tentazione era di rinforzare le zone più colpite. Abraham Wald, statistico, fece notare l'errore: i fori visibili erano sui velivoli sopravvissuti. Gli aerei abbattuti - quelli che non erano tornati - erano probabilmente colpiti nelle zone senza fori. La corazzatura andava rinforzata esattamente lì.
Come si manifesta nel marketing eCommerce
Il Survivorship Bias è uno dei bias più frequenti nell'analisi delle campagne. Alcuni esempi concreti:
A/B test su funnel a più step: si misura il tasso di conversione dell'ultimo step senza considerare quanti utenti sono stati persi nei passaggi precedenti. Chi arriva in fondo è già una popolazione auto-selezionata, non un campione rappresentativo.
Analisi dei clienti fedeli: si studiano le abitudini dei clienti che hanno comprato 3 o più volte per capire cosa li ha fidelizzati, ignorando tutti quelli che hanno comprato una volta sola e non sono tornati. I "vincitori" danno un'immagine distorta di cosa funziona davvero.
Best practice di settore: si studiano i brand di successo per replicarne le strategie, dimenticando che per ogni brand che ha avuto successo con quella strategia ce ne sono decine che l'hanno usata senza risultati e che non se ne parla più.
Il caso specifico dell'A/B test su popup a due step
Un esempio operativo: un popup di lead generation ha due step. Il primo è un gancio che convince l'utente a interagire, il secondo è il form di iscrizione. La variante C mostra il submit rate più alto al secondo step. Conclusione affrettata: C è la variante migliore.
Ma se la variante C aveva un gancio meno efficace al primo step, ha fatto passare meno persone al secondo. Chi arriva è già più motivato - è un sopravvissuto più selezionato. Il submit rate alto non misura la qualità del secondo step: misura la qualità del filtro del primo.
La metrica corretta è il tasso di conversione end-to-end: quanti utenti esposti al popup completano l'iscrizione. Guardare solo il tasso finale è Survivorship Bias applicato al funnel.
Come evitarlo
Prima di analizzare i "sopravvissuti", chiedi sempre: quanti non sono arrivati fin qui? Perché?
Nei funnel a più step, misura sempre i tassi di conversione end-to-end, non solo dell'ultimo step.
Quando studi i clienti migliori, studia anche - e soprattutto - quelli che se ne sono andati.
Nei test, verifica che il campione che stai misurando sia rappresentativo dell'audience originale, non solo di chi è sopravvissuto al processo.
Approfondisci sul blog
Ho analizzato un caso reale di A/B test su un popup eCommerce dove il Survivorship Bias ha portato a conclusioni completamente sbagliate: Anatomia di un test sbagliato: survivorship bias e pop-up Frankenstein ->