A/B Testing nell'eCommerce

C'è una frase che sento ripetere con una regolarità quasi liturgica nelle call con colleghi, nelle presentazioni ai clienti, nei post LinkedIn di mezzo settore: "Il nostro approccio è data-driven."

Traduzione reale, nella maggior parte dei casi: abbiamo cambiato il colore di un bottone, aspettato tre giorni, guardato un numero che saliva o scendeva, e dichiarato un vincitore. Data-driven.

Lavoro con eCommerce e sistemi di marketing automation da anni. Ho visto fare A/B test su qualsiasi cosa: la dimensione di un'icona, la posizione di una virgola nell'oggetto di un'email, la sfumatura di verde di un pulsante "Aggiungi al carrello". E quasi sempre con la stessa convinzione: stiamo ottimizzando. Stiamo imparando. I dati parlano.

Il problema è che nella stragrande maggioranza dei casi quei dati non stanno dicendo niente. Stanno facendo rumore. E noi lo confondiamo con un segnale.

Il mito della variabile isolata

L'A/B testing si basa su un presupposto teorico preciso: cambi una variabile, tieni tutto il resto costante, misuri la differenza. Pulito. Scientifico. Perfetto… in laboratorio.

Un eCommerce non è un laboratorio. Una pagina prodotto non è un esperimento con una variabile indipendente e una dipendente. È un sistema dove ogni elemento influenza tutti gli altri in modi che non possiamo prevedere e che il test non è progettato per misurare.

Cambi l'hero image della homepage. Il conversion rate sale del 12%. Vittoria? Forse. O forse quel nuovo layout ha spostato il punto di attenzione verso un copy che prima nessuno leggeva. O forse il banner in basso - quello che non hai toccato - adesso ha un contrasto diverso con l'immagine nuova e attira più clic. O forse è semplicemente giovedì e il tuo pubblico compra di più a fine settimana, e il campione non era abbastanza grande per filtrare quella variabile.

Non lo sai. Il test non te lo dice. Ti dice che la variante B ha performato meglio della A in quel periodo, con quel traffico, in quel contesto. Punto. Non ti dice perché, non ti dice se è replicabile, e soprattutto non ti dice se la prossima modifica che farai non annullerà completamente quel vantaggio. Perché stai cambiando un sistema interconnesso, non una variabile isolata.

La dipendenza da test: quando ottimizzare diventa un tic

C'è un pattern che riconosco ormai a distanza. Un team inizia a fare A/B testing con le migliori intenzioni. I primi test producono risultati visibili. Si crea entusiasmo. E a quel punto scatta qualcosa: si inizia a testare tutto. Compulsivamente. Senza una domanda a monte. Senza un'ipotesi strategica. Senza chiedersi "perché sto testando questo?"… che è in realtà la prima domanda che dovrebbe precedere qualsiasi azione.

Il colore del bottone. Il font della CTA. L'ordine delle immagini nel carosello. L'emoji nell'oggetto dell'email. L'angolo della foto prodotto. Si accumulano test su test, e ogni test produce un "vincitore" che entra nel patrimonio di certezze del team. Ma quel patrimonio è costruito su fondamenta fragilissime: campioni troppo piccoli, test chiusi troppo presto, correlazioni scambiate per causalità, e soprattutto un baseline che si è spostato n volte da quando hai iniziato a testare senza che nessuno lo abbia aggiornato.

Il risultato è che dopo sei mesi di test settimanali il team è convinto di avere un eCommerce "ottimizzato" sulla base di dati. In realtà ha un eCommerce che è il prodotto di decine di micro-decisioni prese su dati statisticamente insignificanti, in un sistema dove ogni decisione precedente ha alterato il contesto di tutte quelle successive.

Non è ottimizzazione. È una slot machine con i grafici.

Il caso specifico dell'email marketing: l'illusione dell'oggetto vincente

C'è un contesto dove questa dinamica è particolarmente evidente e dove lavoro quotidianamente: l'email marketing, e in particolare Klaviyo.

Klaviyo permette di fare A/B test sugli oggetti delle email — sia nelle campagne che nei flussi. È una funzionalità potente. E il modo in cui viene usata nella maggior parte dei casi è, a mio avviso, completamente sbagliato.

Lo scenario tipico: un brand crea un flusso di abandoned checkout. Imposta un A/B test sull'oggetto dell'email. Variante A: "Hai dimenticato qualcosa nel carrello?" Variante B: "Il tuo ordine ti aspetta — completa l'acquisto." Dopo qualche settimana, la variante A ha un open rate del 47%, la variante B del 43%. Vittoria. La variante A viene dichiarata vincitrice. L'altra viene eliminata. Il flusso gira con un unico oggetto. Caso chiuso. Ottimizzazione completata.

Il problema? Quel flusso di abandoned checkout non viene ricevuto una sola volta. Un utente attivo può riceverlo due, tre, quattro volte nell'arco di sei mesi. Ogni volta che abbandona un carrello, rientra nel flusso. E ogni volta si trova davanti lo stesso identico oggetto: "Hai dimenticato qualcosa nel carrello?"

La prima volta funziona. La seconda forse. La terza? L'utente non la apre nemmeno. Riconosce il pattern, lo cataloga mentalmente come "la solita email automatica", e scorre oltre. Il tuo oggetto "vincente" è diventato rumore di fondo.

Il ribaltamento: le varianti non servono per testare, servono per variare

Ecco dove la prospettiva cambia completamente. La possibilità di avere due, tre, quattro oggetti diversi per la stessa email in un flusso non dovrebbe essere usata come uno strumento di test. Dovrebbe essere usata come uno strumento creativo.

L'obiettivo non è scoprire quale oggetto performa meglio. L'obiettivo è che un utente che riceve quell'email per la terza volta in quattro mesi non si trovi davanti la stessa frase identica. L'obiettivo è creare varianza.

In Klaviyo, questo significa configurare un flusso con più varianti dell'oggetto — non con un A/B test attivo che cerca un vincitore, ma con una distribuzione equa che garantisce diversità. Primo passaggio nel flusso: "Hai lasciato qualcosa nel carrello." Secondo passaggio, tre mesi dopo: "Ci siamo accorti che non hai completato l'ordine." Terzo passaggio: "Questi articoli stanno andando a ruba — li teniamo per te?"

Ogni variante parla allo stesso utente in un momento diverso, con un angolo diverso, con un tono diverso. Non stai cercando la formula perfetta. Stai evitando che il flusso diventi invisibile.

Questo approccio vale per il recupero carrello, ma vale anche per i flussi di post-acquisto, per le winback, per i browse abandonment — per qualsiasi flusso dove lo stesso utente può entrare più volte e dove la ripetizione è il nemico naturale dell'efficacia.

Quando l'A/B testing ha davvero senso

Non sto dicendo che l'A/B testing sia inutile. Sto dicendo che è uno strumento, e che come tutti gli strumenti funziona solo se lo usi nel contesto giusto, per rispondere alla domanda giusta, con abbastanza dati per ottenere una risposta significativa.

L'A/B testing ha senso quando stai prendendo una decisione strategica che non puoi invertire facilmente. Cambiare l'intera struttura della pagina prodotto. Spostare la proposta di valore above the fold vs. below the fold. Testare un approccio di social proof prominente vs. un approccio minimalista. Confrontare due layout radicalmente diversi della homepage.

In quei casi, un test con un campione sufficiente, una durata adeguata (minimo due settimane, idealmente di più), e una differenza significativa tra le varianti ti dà un'informazione reale. Ti dice se una direzione strategica risuona meglio con il tuo pubblico. Questo è un dato che vale qualcosa.

Ma un test sul font size di un bottone? Sull'emoji nell'oggetto di una mail? Sulla posizione di un badge "spedizione gratuita"? Quei test ti danno una risposta precisa a una domanda che non valeva la pena fare. E quella risposta non è nemmeno stabile — cambia appena modifichi qualcos'altro nel sistema.

La varianza come strategia, non come metrica

Il concetto che voglio lasciare è questo: in un ecosistema dove gli utenti vedono i tuoi touchpoint ripetutamente — email, notifiche, pagine del sito — la varianza non è un problema da risolvere con un test. È un valore da coltivare intenzionalmente.

L'utente migliore che hai è quello che torna più volte. Ed è anche quello che si stanca più velocemente dei tuoi pattern comunicativi. Se ogni email di un flusso ha lo stesso oggetto, se ogni campagna ha la stessa struttura, se il tono è sempre identico — hai creato un sistema che penalizza esattamente i clienti che vorresti premiare.

Avere più varianti non è un compromesso in attesa di trovare "quella giusta". È la strategia. La cosa migliore potrebbe semplicemente essere averne tante diverse, e la diversità stessa è ciò che mantiene vivo il tasso di interesse.

Non è un concetto che troverai in molte guide di email marketing, perché contradice il paradigma dell'"ottimizzazione continua" che il settore vende da anni. Ma chiunque abbia guardato davvero i dati di un flusso su un arco di 6-12 mesi — non su due settimane, non su un campione di 300 persone — sa che la ripetizione è il killer silenzioso dell'engagement. E sa che nessun test ti darà un oggetto email così perfetto da resistere alla terza, quarta, quinta esposizione dello stesso utente.

Buon lavoro, non lavoro veloce

Mi hanno insegnato — e l'esperienza me lo ha confermato ogni volta — che il buon lavoro richiede tempo. Vale per i processi produttivi, vale per la qualità, vale per il marketing. L'A/B testing fatto bene è lento, costoso in termini di traffico, e spesso ti dice cose che non vuoi sentire. L'A/B testing fatto male è veloce, gratificante, e ti racconta la storia che volevi sentirti raccontare.

Se stai testando senza esserti prima chiesto "perché?", stai giocando ai dati. E se stai usando le varianti dei tuoi flussi email solo per trovare un vincitore da rendere permanente, stai buttando via lo strumento creativo più potente che hai a disposizione per mantenere viva l'attenzione dei tuoi utenti migliori.

Promesso = fatto. Ma prima di promettere un risultato, assicuriamoci di aver fatto la domanda giusta.

Vuoi un audit dei tuoi flussi Klaviyo per capire dove la ripetizione sta uccidendo l'engagement? Parliamone.