Tip:
Highlight text to annotate it
X
Video č. 5: Experimenty s kampaněmi AdWords: Výsledky experimentů a statistická významnost
Ve třetím kroku při vytváření experimentu s kampaní AdWords spustíte experiment a
monitorujete výsledky. Tato lekce vám pomůže lépe pochopit některé z výsledků, se kterými
se možná během experimentu setkáte.
Jakmile experiment s kampaní spustíte, zobrazí se vám zaznamenávané údaje za kontrolní a experimentální
část na úrovni kampaně, reklamní sestavy a klíčového slova. Pokud se vám na některé z karet nezobrazují
samostatné ovládací prvky pro řádky kontrolní a experimentální části, můžete je zapnout kliknutím
na nabídku Segment, ze které vyberete možnost Experiment.
Jak budou výsledky přibývat, budou se v rozhraní zobrazovat různé typy indikátorů
statistické významnosti, podle kterých snadno poznáte, zda se
porovnávané metriky liší.
Statisticky významný rozdíl je takový, ke kterému pravděpodobně nedošlo náhodou.
Pokud se metrika nezměnila o statisticky významnou hodnotu, je možné, že
nebyla experimentální změnou ovlivněna.
Šedá ikona se šipkami nahoru i dolů znamená, že metrika se nezměnila statisticky významnou měrou.
Pozorovaný rozdíl tak může být jen experimentálním šumem.
Ikona se šipkami nahoru znamená, že metrika se statisticky významnou měrou zvýšila.
Pokud byste použili experimentální změny ve všech aukcích, dalo by se očekávat, že se tato
metrika zvýší.
Ikona se šipkami dolů znamená, že metrika se statisticky významnou měrou snížila.
Pokud byste použili experimentální změny ve všech aukcích, dalo by se očekávat, že se tato
metrika sníží.
Každá z těchto ikon má také tři varianty, které ukazují, nakolik si můžete být jisti, že
výsledky jsou způsobeny experimentálními změnami a ne pouhou náhodou.
Jedna šipka nahoru či dolů znamená 95% pravděpodobnost, že se metrika zvýšila či snížila.
Jinými slovy nám statistika říká, že pokud použijete experimentální změny
v plném rozsahu, zbývá pouze 5% pravděpodobnost, že se metrika naznačeným směrem nevydá,
zůstanou-li ostatní faktory stejné.
Dvě šipky nahoru či dolů znamenají 99% pravděpodobnost, že se metrika zvýšila či snížila.
Jinými slovy nám statistika říká, že pokud použijete experimentální změny
v plném rozsahu, zbývá pouze 1% pravděpodobnost, že se metrika naznačeným směrem nevydá,
zůstanou-li ostatní faktory stejné.
Tři šipky nahoru či dolů znamenají 99,9% pravděpodobnost, že se metrika zvýšila či snížila.
Jinými slovy nám statistika říká, že pokud použijete experimentální změny
v plném rozsahu, zbývá pravděpodobnost pouze 0,1 %, že se metrika naznačeným směrem nevydá,
zůstanou-li ostatní faktory stejné.
Nezapomínejte, že pokud máte spuštěný experiment s jiným rozdělením experimentální a kontrolní části
než 50:50 (například 70:30 či 20:80), nelze statistiky, které kampaň nashromáždila
v kontrolní a experimentální části, porovnávat rovnocenně. Řekněme, že máte spuštěný
experiment v poměru 90:10. Pokud v něm neprovedete změny, lze očekávat, že
na každých 900 zobrazení v kontrolní části připadá 100 zobrazení v experimentální části.
Pokud byste tedy zaznamenali 900 zobrazení v kontrolní části a 400 zobrazení v experimentální,
znamenalo by to statisticky významný nárůst počtu konverzí
(počet 400 je totiž o mnoho vyšší než očekávaných 100, což by bez dalších změn znamenalo,
že po použití změn by se dalo očekávat zvýšení počtu zobrazení),
přestože je na první pohled počet 900 vyšší než 400.
Rozdělení 50:50 se porovnává mnohem snáze (protože pokud nemá změna žádný dopad,
zůstávají absolutní čísla stejná) a mnoho kampaní nezaznamenává dostatečný objem provozu,
aby bylo možné dosáhnout přesvědčivých výsledků u jiných poměrů než 50:50.
Většině inzerentů proto doporučujeme spouštět experimenty v poměru 50:50. Jinak je třeba provádět
vlastní výpočty, podle kterých lze určit procentuální změnu metriky v případech, kdy by byly změny
použity ve všech aukcích.