A/B-testauslaskuri

A/B-testauksessa tilastollinen merkitsevyys tarkoittaa sitä, miten todennäköisesti kokeesi kontrolliversion ja testiversion välinen ero ei johdu virheestä tai sattumasta.

Jos testisi merkitsevyystaso on esimerkiksi 95 %, voit olla 95-prosenttisen varma, että erot ovat todellisia.

Yrityksissä halutaan usein selvittää, miten kokeilut vaikuttavat konversioprosenttiin. Kyselytutkimuksissa tilastollisen merkitsevyyden avulla pyritään yleensä varmistamaan, että kyselytutkimuksen tulokset ovat tarkkoja. Jos olet esimerkiksi kysynyt ihmisiltä, pitävätkö he enemmän mainoskonseptista A vai B, haluat myös varmistaa, että vastausten ero on tilastollisesti merkitsevä ennen kuin päätät, kumpaa mainosta käytät.

Ensimmäisenä on muodostettava hypoteesi. Jokaisessa kokeessa on nollahypoteesi, joka tarkoittaa, ettei verrattavien asioiden välillä ole suhdetta, ja vaihtoehtoinen hypoteesi. Vaihtoehtoinen hypoteesi yrittää yleensä todistaa, että suhde on todellinen. Se on siis väittämä, jolle yrität löytää pohjaa. Jos kyse on konversioprosentin A/B-testauksesta, hypoteesiin saattaa kuulua painikkeen, kuvan tai tekstin lisääminen sivulle, jotta nähdään, vaikuttaako se konversioprosenttiin. Kun konseptin testaukseen käytetään kyselytutkimuksia edellisen esimerkin tavoin, hypoteesiin saattaa kuulua eri mainosversioiden testaamista, jotta saadaan selville, mikä vetoaa ihmisiin eniten.

Tilastotieteilijät pyrkivät toisinaan varmistamaan hypoteesien oikeellisuuden testeillä sen jälkeen, kun nollahypoteesi ja vaihtoehtoinen hypoteesi on muodostettu. Z-arvolla arvioidaan nollahypoteesin perusteltavuutta. Siitä voi käydä ilmi, ettei verrattavien asioiden välillä ole minkäänlaista suhdetta. P-arvo ilmaisee, ovatko vaihtoehtoista hypoteesia tukevat todisteet vahvoja.

Tilastollista merkitsevyyttä testattaessa kannattaa päättää, onko testi yksi- vai kaksisuuntainen. Yksisuuntaisessa testissä oletetaan, että vaihtoehtoinen hypoteesi kallistuu tiettyyn suuntaan, kun taas kaksisuuntaisessa testissä otetaan huomioon, että hypoteesilla voi olla tuloksiin myös negatiivinen vaikutus. Kaksisuuntainen testi on yleensä konservatiivisempi vaihtoehto.

Ammattimaiset tilastotieteilijätkin käyttävät tilastojen mallinnusohjelmistoja merkitsevyyden laskemiseen ja sitä tukevien testien tekemiseen, joten emme käsittele aihetta tässä kovin tarkasti. Jos kuitenkin aiot tehdä A/B-testin, voit laskea tulostesi tilastollisen merkitsevyyden sivun yläosassa olevalla laskurilla. Kyselytutkimuksissa SurveyMonkey voi laskea tulosten merkitsevyyden puolestasi automaattisesti.