In de blog over A/B testen wordt ingegaan op het belang van de betrouwbaarheid van statistische testen. In deze blog is ook de de basis uitgelegd van t-testen, toegepast op websites. Wanneer uw kennis over normale verdeling, t-testen, standaard deviaties, en significante resultaten even opgefrist moet worden kan het lezen van deze blog wellicht handig zijn. Wanneer A/B testen voor u gesneden koek zijn blijf dan vooral bij deze blog: want we gaan multivariate!
Met een A/B test, of t-test, wordt berekend of er een verschil is tussen een controle variabele en de variatie hierop. De controle variabele A en variatie variabele B worden door middel van een t-toets met elkaar vergeleken. Met een t-toets wordt berekent of de gemiddelden van beide groepen significant met elkaar verschillen. Bijvoorbeeld het verschil in conversies bij een rode versus een groene conversieknop. Wanneer het gemiddelde aantal conversies significant verschilt, is de optie met het hoogste gemiddelde de beste. Wanneer het verschil in beide conversies niét significant is, betekent dit dat het verschil tussen beide groepen op toeval kan berusten.
Wanneer er niet één verschil, maar meerdere verschillen tegelijkertijd worden gemeten komt er een multivariate test aan te pas, MVT dus.
Wanneer gebruik je MVT?
Wanneer je het verschil wilt meten tussen twee variaties voldoet een A/B test. Wanneer je wilt weten welke combinatie van variaties het beste werkt van alle mogelijke combinaties met de variaties gebruik je een multivariate test. Er zijn in dat geval dus meer van twee variaties, en dus meer dan twee verschillende versies die getest worden. Bij multivariate testen verander je elementen in een website en kijk je hoe daar op gereageerd wordt. Op deze manier kan de website dus geoptimaliseerd worden.
Stel dat je niet alleen wilt weten of de groene of rode conversie knop het beste converteert, maar of het woord bestel óf koop in combinatie met rood of groen de meeste conversies oplevert. In dat geval heb je 2x2 opties, 2 kleuren en 2 woorden, en in totaal dus 4 verschillende versies van de conversieknop, zoals in de afbeelding hieronder te zien is. Je zou hier dus 6 A/B testen op uit kunnen voeren, echter wordt de kans dat er bij één van de 6 testen een fout wordt gemaakt groter. Daarom wordt er bij een 2x2 vergelijking één multivariate test uitgevoerd, waardoor de kans op fouten dus kleiner is.
In statistische termen: wanneer er 6 A/B testen uit worden gevoerd wordt 6 keer een error variantie meegenomen. Wanneer de verschillen in één formule worden berekend, wordt in principe hetzelfde berekend maar wordt maar 1x de error variantie meegenomen. Daardoor is er dus minder kans op een type I fout.
Causaal verband
Wanneer websites op deze manier worden getest, gebeurt dit met echte bezoekers, die niet weten dat ze deelnemen aan een experiment. Dit zorgt ervoor dat de resultaten betrouwbaarder zijn dan wanneer deelnemers worden gevraagd een website te beoordelen. Ze hoeven namelijk niet bewust na te denken over hun beweegredenen om wel of niet op een bepaalde knop te klikken. Een kanttekening is wel dat er dus alleen een oorzaak-gevolg relatie gevonden wordt, maar dat er geen verder uitleg bij zit. Een wanneer een rode knop bijvoorbeeld wordt geprefereerd boven een groene knop is dit de enige mogelijke conclusie. Redenen waarom de rode knop wint van de groene worden niet duidelijk bij deze test: komt het doordat de knop meer afsteekt bij de achtergrond en daardoor meer opvalt, vinden bezoekers rood mooier en klikken ze daardoor eerder, of past rood beter bij het onderwerp van de website?
Wanneer er meerdere opties worden getest kan door de context wel duidelijk worden wat de bezoekers het belangrijkste vonden. Wanneer de rode opties (in het geval van de conversieknoppen) beide het hoogste scoren, vinden bezoekers de kleur rood dus het belangrijkste en de tekst wat minder belangrijk. Wanneer er 1 optie duidelijk en significant boven de anderen uitsteekt is de combinatie tussen de tekst en kleur wellicht meer van belang.
Wil je het spannender maken, kun je nóg meer opties toevoegen. Bijvoorbeeld: de keuze tussen een rode, groene, of blauwe conversieknop, én de keuze tussen een lange en korte tekst. Dit zorgt voor een 3x2 multivariate test. Ook is het mogelijk om een rode of gele kop, blauw of paars plaatje, én een lange of korte tekst met elkaar te vergelijken: een 2x2x2 multivariate test. Zoals hieronder te zien is krijg je dan 8 verschillende opties die getest moeten worden.
Waar moet je op letten?
Voor een A/B test is al een redelijk hoog bezoekersaantal gewenst om een significant resultaat te krijgen. Bij een multivariate test zijn er meer dan twee verschillende versies van de website nodig, en deze hebben allemaal genoeg bezoekers nodig. Een multivariate test werkt dus alleen bij websites die druk bezocht worden.
Belangrijk: Hoe meer variaties er getest worden, des te meer verschillende opties zijn er, en des te meer bezoekers zijn er dus nodig voor een significant resultaat!