Tilastollisen merkitsevyyden A/B-testauslaskuri

Tilastollinen merkitsevyys on tärkeää A/B-testeissä, sillä se varmistaa tulostesi luotettavuuden. 

Saat vastauksia nopeasti edellä annetulla SurveyMonkeyn A/B-testauslaskurilla.

A/B-testauksessa verrataan esimerkiksi tuotteen tai mainoksen kahta versiota ja selvitetään kohdeyleisön suosima vaihtoehto.

Tutkijat, asiakaskokemuksen ammattilaiset ja markkinoinnin asiantuntijat selvittävät A/B-testauksella, kuinka uuden painikkeen tai asettelun kaltaiset pienet muutokset vaikuttavat verkkosivustoon. Näin he saavat suoraa palautetta ja dataa päätöksentekoon. 

A/B-testauksessa tilastollisella merkitsevyydellä määritetään todennäköisyys sille, onko kontrolli- ja testiversion välinen ero aito eikä virheestä tai sattumasta johtuvaa.

Jos esimerkiksi teet testin, jossa merkitsevyystaso on 95 %, voit sanoa 95 %:n varmuudella, että erot ovat aitoja.

Yrityksissä tilastollisella merkitsevyydellä selvitetään, kuinka testit vaikuttavat konversioprosenttiin, ja kyselytutkimuksissa sillä varmistetaan tulosten luotettavuus. 

Jos esimerkiksi kysyt kyselytutkimuksessa, pitävätkö vastaajat enemmän mainoksesta A vai B, tulosten tilastollinen merkitsevyysero kannattaa selvittää ennen mainosta koskevien päätösten tekemistä.

Ensimmäiseksi on muodostettava hypoteesi. Jokaisessa kokeessa on nollahypoteesi, joka tarkoittaa, ettei verrattavien asioiden välillä ole suhdetta, sekä vaihtoehtoinen hypoteesi.

Vaihtoehtoinen hypoteesi tavallisesti tukee esittämääsi väitettä ja pyrkii todistamaan, että suhde on todellinen. 

Jos esimerkiksi selvität konversioprosenttia A/B-testauksella, hypoteesi voi olla seuraava:

Kun tilastotieteilijät ovat muodostaneet nollahypoteesin ja vaihtoehtoisen hypoteesin, he saattavat testata hypoteesien luotettavuutta.

Luottamustasoa kuvaavalla z-tuloksella arvioidaan nollahypoteesin pätevyyttä. Se voi osoittaa, että vertailtavien asioiden välillä ei ole suhdetta, kun taas p-arvo osoittaa, onko vaihtoehtoisen hypoteesin todistava aineisto riittävä.

Päätä seuraavaksi, käytätkö yksi- vai kaksisuuntaista testiä. Yksisuuntaisessa testissä oletetaan, että vaihtoehtoinen hypoteesi kallistuu tiettyyn suuntaan, kun taas kaksisuuntaisessa testissä otetaan huomioon, että hypoteesilla voi olla tuloksiin myös negatiivinen vaikutus.

Konversioprosenttia mittaavassa A/B-esimerkissä testi voisi olla:

Seuraavaksi on kerättävä A/B-testin tulokset sekä kontrolliversion (A) että testiversion (B) asianmukaisista mittareista. 

Esimerkissämme A/B-testin tulokset voisivat olla seuraavat: 

Nyt lasketaan z-tulos, jolla mitataan havaittujen tulosten etäisyyttä nollahypoteesista sen määrittämiseksi, onko A:n ja B:n välinen ero tilastollisesti merkitsevä. 

Lisäksi lasketaan p-arvo, joka kertoo todennäköisyyden sille, että havaittu ero johtuu sattumasta. Pieni p-arvo osoittaa vahvoja todisteita nollahypoteesia vastaan. 

Esimerkissämme:

Voit määrittää tilastollisen merkitsevyyden valitsemalla merkitsevyystason (alfa), joka on tavallisesti 0,05 (5 %) ja kuvastaa riskiä sille, että nollahypoteesi hylätään virheellisesti.

Vertaa seuraavaksi p-arvoa alfaan. Jos p-arvo on pienempi kuin alfa, voit hylätä nollahypoteesin, sillä ero on tilastollisesti merkitsevä. 

Esimerkissämme p-arvo on pienempi kuin alfa, eli 14 %:n ero on tilastollisesti merkitsevä.

Jos tulos on merkitsevä, havaittu ero ei todennäköisesti johdu sattumasta, vaan tulos tukee vaihtoehtoista hypoteesia. Jos tulos puolestaan ei ole merkitsevä, nollahypoteesin hylkäämiselle ei ole riittäviä perusteita, eli havaittu ero voi johtua satunnaisvaihtelusta.

Laskenta helpottuu, kun käytät esimerkiksi seuraavia työkaluja:

Yhteenvetona voidaan sanoa, että tilastollinen merkitsevyys vahvistaa A/B-testin tulokset ja auttaa tekemään perusteltuja päätöksiä.

Sivun yläosan laskurilla voit kätevästi selvittää kyselytutkimustulostesi merkitsevyyden.