
Un Test A/B (o Test dei cesti o split-run testing), nel web analytics, è un esperimento controllato con due varianti, A e B.
È una forma di test di verifica d'ipotesi o "test di ipotesi a 2 campioni" nel campo della statistica. Nel web design, in particolare nella user experience design, l'obiettivo di questo test è di identificare i cambiamenti delle pagine web che incrementano o massimizzano il risultato di un interesse (per esempio: click-through rate per un banner pubblicitario). Formalmente la pagina web attuale è associata a un'Ipotesi nulla.
Il test A/B è un modo di confrontare due versioni di una singola variabile per testare la risposta del soggetto rispetto alla variabile A o B e determinare quale risulti la più efficace.
Nella statistica multivariata, un test multinomiale è simile a un test A/B, ma verifica più di due versioni allo stesso tempo o usa più controlli. I test A/B semplici non sono validi per situazioni osservazionali, quasi-sperimentali o situazioni non sperimentali, come in dati di una indagine, dati offline, e altri fenomeni più complessi.
| Distribuzione assunta | Caso d'esempio | Test Standard | Test alternativo |
|---|---|---|---|
| Gaussiana | Ricavo medio per utente pagante | Test di Welch (Unpaired t–test) | Test t di Student |
| Binomiale | click-through rate | Test esatto di Fisher | Test di Barnard |
| Poisson | Transazioni per Utente pagante | E-test | C-test |
| Multinomiale | Numero di ogni prodotto acquistato | Test chi quadrato | |