Korábbi cikkünkben bemutattuk az A/B tesztelés alapjait, azonban a gyakorlati alkalmazás során előfordulhat pár tipikus eset, amelyre megéri előre felkészülni.

Egyetlen jelentős különbség: Az eredeti és a módosított változat egyetlen jól meghatározható ponton különbözzön egymástól. Ha több változatás történik, akkor az átalakítás csak összességében értékelhető, így az egyes elemek szerepéről nem kapunk információt.

Párhuzamos tesztelés: A két változatot mindig párhuzamosan jelenítsük meg a meghatározott célcsoportnak. Ne szervezzük úgy a tesztet, hogy egy hétig az „A” változat jelenik meg mindenkinek, aztán pedig egy hétig a „B” változat.

Ezzel kiküszöbölhetjük olyan külső tényezők hatását, amelyek meghamisíthatják az eredményünket. Ilyen lehet pl. ha az egyik időszakba egy hosszú hétvége, munkaszüneti nap, ünnepnap is beleesik, vagy ha az egyik héten nem ugyanaz a marketing kampány fut mint a másik héten.

Megfelelő időtartam: Ne állítsuk le túl hamar a tesztelést, hagyjunk időt arra, hogy valóban szignifikáns eredményeket kaphassunk. A tesztelés időtartamának becsléséhez használhatunk különböző kalkulátorokat, mint például a Visual Website Optimizer oldalán található A/B Split and Multivariate Test Duration Calculator eszközt.

Amennyiben nem áll rendelkezésünkre statisztikai háttértámogatás a teszt kielemzéséhez, a két verzió közötti eltérés szignifikanciáját például a következő eszközzel is ellenőrizhetjük: Split Test Calculator & Decision Tool

A kalkulátor által adott eredmény segít eldönteni, hogy leállítható-e a tesztelés, vagy a reális eredmény eléréséhez még további adatokra van-e szükség. (Abban az esetben, ha nem konverziót mérünk, a kalkulátor nem használható, ilyen esetekben részletesebb statisztikai elemzésre van szükség.)

Egyforma célközönség: A látogatók csoportba sorolásánál ügyeljünk arra, hogy mindkét csoportba egyforma felhasználók kerüljenek, ne használjunk semmilyen megkülönböztetést a kiválasztásnál.

Ha pl. az egyik csoport látogatói más marketing kampányt látva érkeztek az oldalunkra, akkor lehet hogy jelentősen eltérő konverziós arányt fognak generálni, ennek az oka viszont nem a tesztelt oldal változtatása lesz, hanem a kampány hatása. Ezzel meghamisítjuk a tesztelés eredményét, és hamis következtetéseket vonhatunk le.

Nemzetközi látogatottsággal rendelkező oldal esetén problémás lehet, ha kiválasztott országokon tesztelünk. Egyes országok között is lehet olyan demográfiai, preferenciabeli különbség, ami hibás következtetéseket eredményez.

Általánosságban elmondható, hogy a véletlenszerű besorolás a legmegbízhatóbb. Két csoportnál elterjedt megoldás az első látogatás időpontjának vizsgálata: ha az adott pillanatban az időbélyeg (vagy másodperc) páros, akkor az egyik csoportba kerül a látogató, ha páratlan, akkor pedig a másikba.

Régi látogatók kezelése: A változtatásokat igyekezzünk új látogatókon tesztelni. Ha egy már megszokott felületet megváltoztatunk, majd újra visszaalakítunk (mert a teszten mondjuk rosszul szerepelt) azzal bizonytalanságot kelthetünk a felhasználókban, ronthatjuk a komfortérzetüket.

Konzekvens megjelenítés: Ha egy látogatót egyszer egy A/B osztályba soroltunk, és annak megfelelően jelenítettünk meg a számára egy tartalmi elemet, akkor figyeljünk arra, hogy később is mindig ugyanazt a változatot lássa. Bizonytalanságot kelthet a felhasználóban, ha látogatásonként vagy akár lapletöltésenként ugyanaz az oldal más-más formában jelenik meg.

Ha egy elem többször is feltűnik az oldalon belül, ugyanezen elv alapján járjunk el. Ha egy funkció elnevezését teszteljük, akkor egy látogatónak mindenhol ugyanazt a variációt mutassuk: a menü, a címsor, a linkek mindenhol legyenek összhangban.

Teszt változat keresőindexelése: Törekedjünk arra, hogy a módosított variánsokat addig ne indexeljék a keresők, amíg azokat véglegesen nem alkalmazzuk. Ha egy rosszul megválasztott szövegezés kerül be a keresők adatbázisába, az nem szolgálja az oldalunk érdekeit.

Figyeljünk az ütemezésre: Ha egy oldalon egyszerre több független tesztet is futtatunk (vagy több fejlesztő dolgozik egy adott projekt különböző részein), akkor ügyeljünk arra, hogy a tesztek valóban függetlenek legyenek. Ha az A/B tesztek célcsoportjai fedik egymást, vagy az egyik tesztelt funkció egy másik tesztelt funkció egyik ágától függ, akkor a kapott eredmények hitelessége megkérdőjelezhető és akár hamis következtetésekre is juthatunk.

Több változós (multivariáns) tesztelés

Ha a weboldal megfelelő látogatottságú, akkor a tesztelést kibővíthetjük úgy is, hogy egy adott elemnek egyszerre több változatát is próbára tesszük, A/B/C/D… variációt készítünk belőle.

Multivariáns tesztelés tervezésekor dönthetünk úgy, hogy csak egyetlen elemet változtatunk meg és annak különböző változatait próbáljuk ki, de akár több különböző elem módosítását is elvégezhetjük. Az előkészítés ilyenkor több időt vesz igénybe, de gyorsabban eredményhez juthatunk azáltal, hogy nem páronként hasonlíthatjuk össze a változatokat, hanem párhuzamosan futtatjuk őket.

A felhasználók osztályba sorolása itt természetesen a variációk számától függően változik, 4 változatnál pl. a 25-25-25-25%-os elosztás a célszerű.  Látható, hogy ebben az esetben egy-egy változatra kevesebb látogató jut, így ha az oldal látogatottsága nem megfelelő, azzal a teszt eredményességét is kockára tehetjük.

Önellentmondás

Multivariáns teszteknél előfordulhat az, hogy a teszt eredménye önellentmondó. Ennek az oka az, hogy összehasonlítani mindig csak két változatot tudunk.

Ezt a legegyszerűbb egy példán szemléltetni: egy előfizetési csomagokat felkínáló oldalon az alábbi tesztet hajtjuk végre:

• Kontrollcsoport: a csomagok növekvő sorrendben jelennek meg, a legnagyobb értéke 15.900
• A csoport: a csomagok csökkenő sorrendben jelennek meg, a legnagyobb értéke 15.900
• B csoport: a csomagok növekvő sorrendben jelennek meg, a legnagyobb értéke 19.900
• C csoport: a csomagok csökkenő sorrendben jelennek meg, a legnagyobb értéke 19.900

A teszt eredménye a következő: C < K < A < B

Eszerint a leghatékonyabb megoldás a B változat, viszont az alábbi ellentmondást kapjuk: A és B külön-külön is jobbak, mint K, viszont az együttes hatásuk – C – gyengébb K-nál. Ilyen esetekben célszerű inkább több egyszerű A/B tesztet futtatni egymás után.

Hogyan tovább?

A cikksorozat további részeiben bemutatunk néhány olyan eszközt, amellyel a tesztelés megvalósítható, és néhány gyakorlati példát is, hogy milyen eredmények születtek a módszer használatával. Kövesd figyelemmel a sorozatot, iratkozz fel a hírlevelünkre!

Kapcsolódó cikkek:
Ne tippelj: az A/B tesztelés tényeket ad a kezedbe
5 ajánlott eszköz A/B teszteléshez