Il test A/B, chiamato anche split test, è uno strumento molto utile nel marketing, non a caso ne ho parlato diverse volte e da diversi punti di vista: ad esempio mi sono soffermato sullo split test come strumento per l’email marketing e parlando dei pro e contro dei bottoni di condivisione social, la parte riguardante l’ecommerce fa chiaramente riferimento ad un A/B test.
Una volta capita l’utilità dello strumento è bene soffermarsi sulla valutazione dei risultati, che talvolta possono trarre in inganno se non trattati nel giusto modo. Per questo analizzeremo gli errori comuni nella valutazione degli A/B test, al fine di dare il giusto peso alle informazioni derivanti dalle prove ed agire di conseguenza.
La casualità nei campioni troppo piccoli
Gli split test prevedono la sperimentazione di diversi approcci per ottenere lo stesso risultato: è possibile effettuare prove grafiche, contenutistiche, tempistiche e molte altre ancora. Ad esempio è possibile valutare su un sito di ecommerce se una grafica assicura maggiori vendite di un’altra, oppure se una mail si rivela più accattivante e persuasiva di un’altra.
Se il test viene effettuato su piccoli campioni il peso della casualità aumenta, falsando in molti casi l’esito finale.
Se faccio testa o croce con una monetina un milione di volte è molto probabile che alla fine avrò mezzo milione di testa e mezzo milione di volte croce, dato vicino al dato conosciuto: il 50% di probabilità.
Se invece lancio la monetina soltanto 10 volte è possibile che esca solo tre volte testa: questo non vuol dire che se il lancio della moneta darà sempre il 70% delle volte croce come risultato.
In pratica abbiamo bisogno di numeri sostanziosi, che riducano l’impatto del caso, al fine di poterci basare su dati attendibili.
Troppe variabili in ogni test
Talvolta capita di fare un A/B Test utilizzando troppe variabili, ad esempio nell’utilizzare questo strumento nell’email marketing la situazione che può verificarsi è quella che vede due email mandate per il test totalmente diverse tra di loro: in questo caso non potremmo trarre conclusioni in merito agli elementi che fanno la differenza, dato che la struttura è totalmente diversa.
Perciò è meglio fare test diversificando pochi elementi e correggendo le strategie grazie a serie di test successivi, per tenere sotto pieno controllo ogni variabile ed analizzare le oscillazioni al meglio.
Errori nella campionatura
Il campione è chiaramente fondamentale e bisogna fare molta attenzione a non sbagliare le valutazioni per via di errori nella campionatura. Per spiegarmi meglio ecco il più classico degli esempi: un ecommerce lancia una nuova versione del sito, con tecnologia responsive e dunque ottimizzato per la navigazione anche da smartphone e tablet, aspettandosi un incremento delle vendite in particolare da mobile. Durante un A/B test la vecchia versione del sito viene mostrata la metà delle volte, mentre la nuova per l’altro 50%.
Ai primi report sull’andamento delle vendite si nota che il vecchio sito ha portato un maggior numero di conversioni rispetto al nuovo, ottimizzato per il mobile. La prima cosa che viene da pensare è che il nuovo aspetto sia peggiore del primo, tuttavia bisogna andare più a fondo.
Bisogna distinguere gli utenti che accedono dal computer e quelli che lo fanno da telefoni e tablet, poiché è interessante capire la variazione anche in quel segmento, non solo la variazione complessiva, che comunque può essere falsata da quanto abbiamo visto ai punti precedenti.
Ad esempio è possibile che la nuova versione del sito sia meno intuitiva da PC e porti meno conversioni, mentre l’ottimizzazione per i dispositivi mobili ha prodotto un aumento degli acquisti degli utenti che accedono in mobilità. In questo caso si dovrà lavorare a rendere efficace come prima la versione desktop.
Questi sono alcuni degli errori comuni, se ne vuoi segnalare altri o se hai dubbi o considerazioni lascia subito un commento.