Conversion Lab — jak vypadá kontinuální A/B testování
Jeden A/B test je pokus. Program testů je metoda. Ukážeme, jak spočítat potřebný provoz, proč nekoukat do výsledků předčasně, co v e-shopu testovat a jak z testů postavit knihovnu poznatků.
Většina e-shopů má A/B testování „vyzkoušené". Proběhlo pár testů barvy tlačítka, jeden vyšel, dva ne, a pak se na to zapomnělo. Výsledkem je pocit, že testování nefunguje. Ve skutečnosti nefungoval proces: testy neměly hypotézu, běžely příliš krátce a nikdo si nezapsal, co se z nich firma naučila.
Kontinuální testování je jiný přístup. Neptá se „vyhrála zelená?", ale „co víme o našich zákaznících, co jsme před čtvrtletím nevěděli?". V článku ukážeme, jak takový program funguje, jak spočítat, jestli na něj máte provoz, na jaké statistické pasti si dát pozor a jak to děláme v programu Conversion Lab.
Od nápadu k hypotéze
Test bez hypotézy je sázka. Dobrá hypotéza má tři části: co pozorujeme, co změníme a jaký výsledek čekáme.
Příklad: „V analytice vidíme, že 40 % návštěvníků produktové stránky na mobilu nescrolluje pod fotogalerii. Když přesuneme cenu a dostupnost nad galerii, očekáváme vyšší podíl přidání do košíku." Čísla v příkladu jsou ilustrativní, v praxi pocházejí z vaší analytiky, heatmap nebo nahrávek relací.
Zdroje hypotéz, se kterými pracujeme nejčastěji:
- data z analytiky: kde lidé odcházejí z nákupní cesty,
- chování na stránce: heatmapy, nahrávky, hledané výrazy bez výsledků,
- zákaznická podpora: na co se lidé opakovaně ptají,
- výsledky předchozích testů: co fungovalo na jedné šabloně, zkusíme jinde.
Hypotézy pak seřaďte podle očekávaného dopadu, jistoty a pracnosti. Test na stránce s malým provozem může být skvělý nápad, ale nikdy nedoběhne.
Velikost vzorku a MDE: spočítejte to předem
Nejdůležitější číslo testu je MDE (minimum detectable effect) — nejmenší rozdíl, který chcete spolehlivě zachytit. Čím menší efekt hledáte, tím víc návštěv potřebujete. Závislost je kvadratická: poloviční MDE znamená zhruba čtyřnásobný vzorek.
Pro hrubý odhad se používá pravidlo „16 σ² / δ²" (Lehr, 1992), které platí pro hladinu významnosti 5 % a sílu testu 80 %. U konverzního poměru je σ² = p × (1 − p).
Modelový výpočet (ilustrativní):
| Vstup | Hodnota |
|---|---|
| Výchozí konverzní poměr | 2 % |
| Cílové relativní zlepšení (MDE) | 10 % (z 2,0 % na 2,2 %) |
| Absolutní rozdíl δ | 0,2 procentního bodu |
| Potřebný vzorek | 16 × 0,02 × 0,98 / 0,002² ≈ 78 400 návštěvníků na variantu |
| Provoz testované stránky | 40 000 návštěvníků týdně |
| Délka testu (2 varianty) | cca 157 000 / 40 000 ≈ 4 týdny |
Kdybyste chtěli zachytit až 20% zlepšení, stačí zhruba čtvrtinový vzorek. Pro přesný výpočet použijte kalkulačku síly testu, pravidlo slouží jako rychlá kontrola reality.
Z výpočtu plyne nepříjemná pravda: menší e-shop často nemá provoz na testy drobných změn. Pak má smysl testovat odvážnější zásahy s větším očekávaným efektem, měřit konverzi blíž začátku cesty (přidání do košíku místo objednávky) nebo místo A/B testu udělat kvalitativní výzkum.
Délka testu, peeking a SRM
Tři chyby, které znehodnotí i dobře připravený test.
Peeking. Díváte se do výsledků každý den a test ukončíte, jakmile se objeví „signifikantní" rozdíl. U klasického (frekventistického) testu tím výrazně zvyšujete šanci na falešného vítěze. Řešení: velikost vzorku stanovit předem a vyhodnotit až po jejím dosažení, nebo použít nástroj se sekvenčním vyhodnocením, které průběžné sledování počítá.
Délka v celých týdnech. Nákupní chování se liší podle dne v týdnu, výplatního termínu i počasí. Test spouštějte a končete na celé týdny, minimálně dva. Vyhněte se obdobím, jako je Black Friday, pokud netestujete právě ho.
SRM (sample ratio mismatch). Nastavíte rozdělení 50 : 50 a dostanete 53 : 47. Při dostatečném provozu to není náhoda, ale chyba: přesměrování, které část návštěv ztratí, bot, cache nebo skript, který se v jedné variantě nenačte. Kontroluje se chí-kvadrát testem shody. Pokud vyjde p-hodnota pod 0,01, výsledky testu nepoužívejte a hledejte technickou příčinu.
K technice patří i výkon. Klientské testovací nástroje mohou způsobit probliknutí původní verze a zhoršit Core Web Vitals. Zkontrolujte to před spuštěním, jinak testujete i rychlost, ne jen změnu.
Nástroje po konci Google Optimize
Google Optimize i Optimize 360 skončily 30. září 2023. Google místo vlastního nástroje podporuje integrace GA4 s nástroji třetích stran. Test běží a řídí se v externím nástroji, v GA4 můžete vyhodnocovat výsledky. Nápověda GA4 uvádí mezi integracemi například AB Tasty, Optimizely a VWO.
Při výběru nástroje řešte hlavně:
- jestli testy běží na klientu, nebo na serveru (dopad na rychlost a na probliknutí),
- jakou statistiku nástroj používá a jestli umí sekvenční vyhodnocení,
- zda hlídá SRM automaticky,
- jak se napojí na vaše měření objednávek, ideálně i přes server-side tracking,
- co podporuje vaše platforma: na SaaS řešeních bývají možnosti serverového testování omezené.
Ceníky testovacích nástrojů se odvíjejí hlavně od objemu provozu a funkcí, aktuální ceník ověřte u poskytovatele.
Co v e-shopu testovat
Největší dopad mívají změny, které odstraňují nejistotu zákazníka, ne kosmetika.
- Produktová stránka: pořadí informací, zobrazení dostupnosti a termínu doručení, práce s recenzemi, varianty.
- Kategorie: výchozí řazení, filtry na mobilu, informace na kartě produktu.
- Košík a checkout: počet kroků, pořadí dopravy a platby, zobrazení ceny dopravy, registrace vs. nákup bez účtu.
- Vyhledávání: našeptávač, výsledky bez shody.
- Cenová komunikace: doprava zdarma od určité částky, zobrazení slev.
Vyhodnocujte nejen konverzní poměr, ale i průměrnou hodnotu objednávky a marži. Test, který zvýší konverze slevou, může snížit zisk. U změn, které ovlivní věrnost, sledujte i dlouhodobou hodnotu zákazníka (LTV).
Knihovna poznatků: kde vzniká hodnota
Jednotlivý test má omezenou životnost. Hodnota vzniká v souhrnu. Ke každému testu si zapište:
- hypotézu a zdroj dat, ze kterého vznikla,
- screenshoty variant a technické provedení,
- délku, velikost vzorku, výsledek a kontrolu SRM,
- rozhodnutí: nasadit, upravit, nebo zamítnout,
- poznatek o zákaznících, který platí i mimo tuto stránku.
Prohrané testy patří do knihovny stejně jako vítězné. Neutrální výsledek je taky informace: změna, o kterou se tým půl roku přel, zákazníky nezajímá.
Jak to děláme v Převeďshopu
V Conversion Lab pravidelně testujeme hypotézy na klíčových stránkách: homepage, kategorie, produkt, checkout. Hypotézy stavíme z analytiky a chování uživatelů, testy vedeme statisticky validně a nasazujeme jen to, co se prokazatelně vyplatí. Každý test končí jasným rozhodnutím a zápisem do knihovny poznatků.
Běžný měsíc má jasný rytmus:
- Revize dat a backlogu. Projdeme analytiku, výsledky předchozích testů a doplníme nové hypotézy.
- Výběr a příprava. Vybereme test s nejlepším poměrem dopadu a pracnosti, spočítáme vzorek a délku.
- Kontrola před spuštěním. Ověříme měření, rozdělení provozu a dopad na rychlost.
- Běh bez zásahů. Hlídáme jen technické chyby a SRM, do výsledků nesaháme.
- Vyhodnocení a zápis. Rozhodnutí, nasazení vítězné varianty a záznam do knihovny.
Typicky proběhnou 1–3 testy měsíčně, podle složitosti hypotéz a potřebné délky běhu. Pro smysluplné testy obvykle doporučujeme řádově tisíce návštěv měsíčně na testovanou stránku, přesný práh spočítáme podle očekávaného efektu. Program je měsíční paušál podle počtu paralelních testů, nabídku připravíme po konzultaci podle rozsahu. Standardní reakční doba je do 1 pracovního dne.
Kdy nám zavolat
Conversion Lab dává smysl, když máte dostatečný provoz, chcete zlepšovat systematicky a jste připravení na delší, iterativní spolupráci. Pokud provoz na testy zatím nestačí, začněte UX auditem nebo službou CRO a UX optimalizace. Pokud chcete rychlý výsledek na jednom cíli, zvažte Growth Sprint. Napište nám přes kontakt a spočítáme, co u vás testovat dává smysl.
Potřebujete s tím pomoct?