A/B-testauslaskuri

Ovatko tuloksesi tilastollisesti merkitseviä?

Laske tilastollinen merkitsevyys

Vierailijat

Konversiot

Konversioaste

A

1,00 %

B

1,14 %

HypoteesiKaksipuoleinen testi aiheuttaa sen mahdollisuuden, että variantilla voi olla negatiivinen vaikutus tulokseesi.

LuotettavuusKuinka paljon voit luottaa siihen, että tuloksesi eivät ole sattumanvaraisia.

Merkittävä tulos!

Variantti B:n konversioaste (1,14 %) oli 14 % suurempi kuin variantti A:n konversioaste (1 %). Voit olla 95 %:n varma, että variantti B:n suoritus on parempi kuin variantti A:n.

Tehokkuus

86,69 %

p-arvo

0,0157

Mitä tilastollinen merkitsevyys on?

A/B-testauskokeiden tapauksessa tilastollinen merkitsevyys tarkoittaa sitä, kuinka todennäköisesti kokeesi kontrolliversion ja testiversion välinen ero ei johdu virheestä tai sattumasta.

Jos testisi merkitsevyystaso on esimerkiksi 95 %, voit olla 95-prosenttisen varma, että erot ovat todellisia.

Merkitsevyyttä käytetään yleisesti liiketoiminnassa, kun selvitetään sitä, kuinka kokeet vaikuttavat yrityksen konversioasteeseen. Kyselytutkimuksissa tilastollisen merkitsevyyden avulla pyritään usein varmistamaan, että kyselytutkimuksen tulokset ovat tarkkoja. Jos olet esimerkiksi kysynyt ihmisiltä, pitävätkö he enemmän mainoskonseptista A vai B, haluat myös varmistaa, että vastausten ero on tilastollisesti merkitsevä ennen kuin päätät, kumpaa mainosta käytät.

Anna meidän hoitaa matemaattinen puoli. Advantage-tilauksella saat käyttöösi automaattisen tilastollisen merkitsevyyden arvioinnin. Katso hinnat.

Tilastollisen merkitsevyyden laskeminen

Ensimmäisenä on laadittava hypoteesi. Jokaisessa kokeessa on nollahypoteesi, joka tarkoittaa, ettei verrattavien asioiden välillä ole suhdetta, ja vaihtoehtoinen hypoteesi. Vaihtoehtoinen hypoteesi yrittää yleensä todistaa, että suhde on todellinen. Tämä on yleensä toteamus, jonka yrität todistaa. Jos on kyse konversioasteen A/B-testauksesta, hypoteesiin saattaa kuulua painikkeen, kuvan tai tekstin lisääminen sivulle, jotta nähdään, vaikuttaako se konversioasteeseen. Kun konseptin testaukseen käytetään kyselytutkimuksia edellisen esimerkin tavoin, hypoteesiin saattaa kuulua eri mainosversioiden testaamista, jotta saadaan selville, mikä miellyttää ihmisiä eniten.

Toisinaan tilastotieteilijät varmistavat hypoteesien oikeellisuuden testaamalla, kun nollahypoteesi ja vaihtoehtoinen hypoteesi on muodostettu. Z-arvolla arvioidaan nollahypoteesin validiteettia. Siitä voi käydä ilmi, ettei verrattavien asioiden välillä ole minkäänlaista suhdetta. P-arvo ilmaisee, ovatko vaihtoehtoisen hypoteesin todistamiseen käytettävät todisteet vahvoja.

Tilastollista merkitsevyyttä testattaessa on hyödyllistä päättää, onko testi yksi- vai kaksisuuntainen. Yksisuuntaisessa testissä oletetaan, että vaihtoehtoinen hypoteesi kallistuu tiettyyn suuntaan, kun taas kaksisuuntaisessa testissä otetaan huomioon, että hypoteesilla voi olla tuloksiin myös negatiivinen vaikutus. Yleensä kaksisuuntainen testi on konservatiivisempi vaihtoehto.

Jopa ammattimaiset tilastotieteilijät käyttävät tilastojen mallinnusohjelmistoja merkitsevyyden laskemiseen ja sitä tukevien testien tekemiseen, joten emme käsittele aihetta tässä kovin tarkasti. Jos kuitenkin aiot tehdä A/B-testin, voit laskea tulostesi tilastollisen merkitsevyyden sivun yläosassa olevalla laskurillamme. Jos haluat laskea kyselytutkimuksesi tulosten merkitsevyyden, SurveyMonkey tekee sen puolestasi automaattisesti.

Ihmetteletkö, miksi et saa merkityksellisiä tuloksia?

Lähetä asiakkaillesi kyselytutkimus selvittääksesi, mitä he haluavat.