Ranking kont firmowych Ranking kont osobistych

Google Analitics: jak czytać dane i unikać błędów?

Systemy reklam internetowych oraz programy analizujące ruch na stronach internetowych (np. Google Analytics) dostarczają nam wielu danych statystycznych – cyferek, słupków, szlaczków, tabel i diagramów, a także umożliwiają na bieżąco ich śledzenie. Rodzi to nieodpartą pokusę raportowania i analizowania KPI (ang.Key Performance Indicators– Kluczowe wskaźniki efektywności) opartych o te dane – pisze Witold Wrodarczyk.

Pół biedy, kiedy służą one wyłącznie zapełnieniu tak naprawdę przez nikogo nie czytanych raportów czy urozmaiceniu ich graficznie kolorowym wykresem, by mądrzej to wyglądało. Gorzej, jeśli na ich podstawie podejmowane są potem decyzje, nie wspominając o nie mającym żadnego umiaru marnowaniu czasu na niekończące się dyskusje i wymiany e-maili.

Zaraz czyżby ktoś chciał powiedzieć, że analizowanie statystyk internetowych nie ma sensu? Nie. Ma sens, i to bardzo głęboki. Ma jednak sens tylko wtedy, gdy przy analizie nie popełniamy błędów metodologicznych i interpretacyjnych prowadzących do błędnych wniosków. I ma sens wtedy, kiedy jesteśmy w stanie uzyskane wyniki do czegoś wykorzystać, by pokryć koszty pracy analityka.

Segmentacja

Zagregowane dane statystyczne, podobnie jak całościowe średnie najczęściej bardziej zaciemniają, niż opisują rzeczywistość. Z faktu, że kobiety w mojej rodzinie mają średnio 17 lat [moja żona (30) i córka (4)] naprawdę nie należy wyciągać zbyt daleko idących wniosków. Bez spojrzenia na to, jak faktycznie rozkładają się wyniki oraz podzielenia naszych danych na poszczególne segmenty, uzyskamy nie mającą absolutnie żadnego znaczenia liczbę, która nie poddaje się interpretacji.

Spójrzmy na przykładowe dane kampanii AdWords: Współczynnik klikalności CTR kampanii wynosił 0.13%, a współczynnik konwersji – 4.56%:

W poprzednim analizowanym okresie, statystyki przedstawiały się następująco:

„Analiza” danych kampanii przyniosła alarmujące konkluzje: silny spadek współczynnika klikalności CTR i współczynnika konwersji. Coś z tym trzeba zrobić!

Kiedy jednak podzielimy kampanię na segmenty – kampanię w wyszukiwarce Google i w sieci reklamowej (kampanię display), widzimy, że są to dwa różne światy i ich łączna analiza jest pozbawiona sensu. Współczynnik klikalności w kampanii display jest siłą rzeczy znacznie niższy niż w kampanii w wyszukiwarce. Zwiększenie udziału reklam display w budżecie całej kampanii spowoduje silny spadek łącznego CTR, a w tym przypadku również współczynnika konwersji, ponieważ kampanie display w tym przypadku mają niższy współczynnik konwersji.

Kiedy spojrzymy na statystyki z okresu poprzedniego w podziale na segmenty zobaczymy, że CTR zarówno kampanii w wyszukiwarce jak i w display – wzrósł. Kampania w wyszukiwarce, mimo niewielkiego spadku współczynnika konwersji, obniżyła koszt konwersji.

Tak więc nie ma żadnych powodów do niepokoju, a uzyskane dane świadczą o wzroście efektywności działań reklamowych, a obserwowane zmiany wynikają z prowadzonej świadomie bardziej agresywnej kampanii w sieci reklamowej.

***

Partnerzy wyszukiwania Google coraz częściej silnie zniekształcają statystyki kampanii. Dzieje się tak, gdy nasze słowo kluczowe będzie również wykorzystywane przez metawyszukiwarkę – partnera wyszukiwania (np. eBay).

Takie reklamy są bliższe reklamie kontekstowej na stronach z treścią niż linkom sponsorowanym w wyszukiwarce. Warto sprawdzić, na ile dotyczy to naszych kampanii i czy nie wyciągaliśmy wcześniej błędnych wniosków na podstawie łącznych statystyk: Segment > Sieć (z partnerami wyszukiwania)

Spójrzmy na łączną statystykę: CTR 2,29% wygląda na dosyć niski, pozycja jest jednak niezbyt wysoka (3,1). Może ją podnieść? Okazuje się, że podnoszenie jej przez zwiększanie oferowanej ceny (Max. CPC) nie ma większego sensu, gdyż faktyczna pozycja w wyszukiwarce Google wynosi już 2 i dalsze jej zwiększanie nie przełoży się istotnie na wzrost CTR, który zresztą faktycznie jest całkiem przyzwoity (16,63%). Również tu dane łączne są praktycznie bez znaczenia, nie wspominając o jakiejkolwiek analizie trendów w tym zakresie.

Segmentacja + błędy metodologiczne i interpretacyjne


Segmentacja często pokazuje, że trend jest zupełnie przeciwny do tego, na co mogłyby wskazywać dane łączne. Na brak segmentacji często nakładają się błędy w interpretacji wyników wynikające z niewłaściwej konfiguracji bądź niezrozumienia znaczenia poszczególnych danych.

Popatrzmy na dane o odwiedzinach i współczynniku konwersji pewnej strony e-Commerce. Widzimy, że współczynnik konwersji zależy od źródła pozyskania ruchu.

Spróbujmy się tym wynikom jednak przyjrzeć bliżej. Zacznijmy od ruchu z AdWords:

Widać więc, że kampania w wyszukiwarce ma faktycznie znacznie wyższy współczynnik konwersji, a Google Analytics w segmencie Google/cpc pokazuje również ruch pochodzący z reklamy w sieci reklamowej Google.

Spójrzmy teraz na dane z ruchu bezpłatnego z Google w podziale na słowa kluczowe. Przede wszystkim, aktualnie część wyników jest ukryta – są to wyszukiwania osób zalogowanych do konta Google (Gmail). Ruch ten rzecz jasna należy wyłączyć z analizy i założyć, że jego struktura jest podobna, jak ruchu, dla którego dane są widoczne.

Na marginesie warto zauważyć, ze współczynnik konwersji tego ruchu jest wyższy niż średnia, co pokazuje że Google rzeczywiście poprawia jakość wyników wyszukiwania i ruchu organicznego dla osób zalogowanych, wykorzystując dane o indywidualnych preferencjach.


Po odfiltrowaniu słów zawierających własną markę, które stanowią ponad 40% źródeł ruchu, okazuje się że współczynnik konwersji z bezpłatnych wyników wyszukiwania Google jest znacznie niższy i wynosi jedynie 2.37%. Zmienia to optykę postrzegania działań SEO (Search Engine Optimisation).

Przede wszystkim, wejścia z zapytań o słowa zawierające własną markę nie są efektem działań pozycjonujących, ale raczej wynikają z niepopełnienia kardynalnych błędów – wysoka pozycja na słowa zawierające naszą własną markę w Google po prostu na się należy (o ile jest to fraza unikalna, a przynajmniej nie jest popularnym słowem generycznym jak „kwiaty” „księgarnia” itp.).

Po drugie – pozostały ruch pochodzący z bezpłatnych wyników wyszukiwania konwertuje znacznie słabiej i przyjmując średnią wartość konwersji z zagregowanych danych dokonalibyśmy prawie dwukrotnego przeszacowania wartości działań SEO.

I jeszcze jedna uwaga na temat ruchu bezpośredniego (direct) w tym konkretnym przypadku. Kiedy spojrzymy na przegląd źródeł ruchu, dostrzeżemy wiele przejść z serwisów poczty elektronicznej. Wskazuje to, że prowadzone są kampanie e-mailingowe, ale odnośniki prowadzące do strony nie są odpowiednio oznaczane, co powoduje, że Google Analytics odczytuje je jako przekierowania z tych stron. Jeżeli użytkownik korzysta z programu klienta poczty (Outlook, Thunderbird, Mail) – znajdą się one w odwiedzinach bezpośrednich. Sądząc po skali mailingu, liczba ta może stanowić istotną część wejść bezpośrednich.

Informacja jak oznaczyć linki w mailingu i uniknąć opisanego wyżej zjawiska: https://support.google.com/analytics/answer/1033867?hl=pl

Przeglądając źródła ruchu, warto też sprawdzić, czy nie ma w nich przejść z naszej własnej strony. Jeżeli są, oznacza to, że część wizyt jest faktycznie wewnętrznym przejściem miedzy poszczególnymi częściami serwisu, a nie faktycznymi wizytami na stronie, co zawyża statystyki odwiedzin. Powodem takiego zjawiska jest najczęściej brak kodu Google Analytics na niektórych podstronach lub wyskakujących okienkach czy innych tego rodzaju obiektach, bądź zastosowanie niewłaściwego kodu Analytics (np. serwis zawiera subdomeny lub wiele domen narodowych – wtedy należy stosować odpowiednio zmodyfikowane wersje kodu Google Analytics – opcje te są dostępne w sekcji, w której pobiera się kod z systemu Google Analytics). Niedokładności może powodować też posiadanie różnych wersji kodu Google Analytics na stronie.

Istotność statystyczna


Analizując dane, należy przede wszystkim zastanowić się, na ile wyniki te są powtarzalne, aby można było wyciągać z nich wnioski. W statystyce nigdy nie możemy mówić o pewności. Operujemy pojęciem poziomu istotności, czyli prawdopodobieństwa tego, że zaobserwowane przez nas prawidłowości są dziełem przypadku. Najczęściej przyjmowanym poziomem istotności jest 5%, co oznacza, że z 95% prawdopodobieństwem obserwowane różnice statystyczne są wynikiem występującej prawidłowości, która powinna również wystąpić w przyszłości.

Szczegółowa analiza statystyczna byłaby jednak bardzo skomplikowana, a i tak najczęściej wymagałaby arbitralnego określenia pewnych parametrów wejściowych. W codziennej pracy najprawdopodobniej brak jest czasu na prowadzenie aż tak szczegółowych wyliczeń. Oto kilka podstawowych zasad, które w znacznym stopniu ułatwią ocenę poziomu istotności danych:

– Im większa zaobserwowana różnica, tym większe prawdopodobieństwo, że nie jest to przypadek. Analiza niewielkich odchyleń od normy najczęściej jest stratą czasu.

– Im dłuższy jest czas, w którym zjawisko obserwujemy, tym dane te mają większą istotność statystyczną. Szczegółowa analiza danych z jednego dnia jest zazwyczaj bezcelowa, szczególnie danych z dnia bieżącego, wziąwszy też pod uwagę że większość systemów dopuszcza możliwość wystąpienia kilkugodzinnego czy nawet kilkudniowego opóźnienia w raportowaniu.

– Im więcej czynników składa się na daną miarę, tym mniejsza jest istotność statystyczna obserwowanych zmian. Trendy liczby wizyt na stronie czy też współczynnika CTR można analizować mając znacznie mniej danych i rozważając znacznie mniejsze odchylenia niż na przykład w przypadku współczynnika czy kosztu konwersji, gdzie odchylenia na poziomie 10% praktycznie nigdy nie mają istotności statystycznej.

– Analiza pojedynczych konwersji czy dziesiątek kliknięć praktycznie nigdy nie dostarczy danych o istotności statystycznej. Ich szczegółowe przeglądanie może nam jedynie pomóc dostrzec pewne oczywiste prawidłowości, na przykład sklep sprzedający chodniki dywanowe może mieć wiele pojedynczych zapytań związanych z chodnikami ulicznymi itp. (chodniki i krawężniki, chodniki bruk, chodniki ogrodowe), które warto wyeliminować nawet jeśli statystyki dotyczące tych słów nie mają jeszcze odpowiedniego poziomu istotności i jednocześnie pomyśleć o wykluczeniu innych, podobnych fraz.

Tak więc, w większości przypadków analiza przyczyn, dla których współczynnik konwersji wzrósł dzisiaj o 5 procent (czyli np. z 10% na 10,5%) nie da nam żadnych konkluzji istotnych statystycznie.

System eksperymentów Google AdWords daje wskazówki na temat poziomu istotności uzyskiwanych danych:

– Trzy niebieskie strzałki – poziom istotności 0.1%

– Dwie niebieskie strzałki – poziom istotności 1%

– Jedna niebieska strzałka – poziom istotności 5%

W przykładzie poniżej, spadek CTR i CPC w wyniku eksperymentu na więcej niż 99,9% nie wynika z przypadku, a spadek liczby konwersji jest nieprzypadkowy z prawdopodobieństwem większym niż 95%. Spadek współczynnika konwersji i kosztu konwersji nie ma wg Google znaczenia statystycznego (prawdopodobieństwo, że obserwowana prawidłowość, jest dziełem przypadku przekracza 5%).

Tu jednak warto zwrócić uwagę, że skoro spadek CPC w próbie eksperymentalnej ma znaczenie statystyczne, a eksperyment, który przeprowadzamy raczej nie powinien mieć wpływu na współczynnik konwersji (np. zmiana pozycji reklamy w wyszukiwarce) – to można przyjąć, że w próbie eksperymentalnej nastąpiło obniżenie kosztu konwersji.

Jak widać, żadna teoria ani zaawansowane narzędzia analityczne nie uwolnią nas od konieczności myślenia, kojarzenia faktów i stosowania intuicji.

To złodziej i pijak, bo każdy pijak to złodziej


Kolejnym błędem analiz jest przyjmowanie, że wystąpienie pewnej zależności między parametrami związane jest ze związkiem przyczynowo-skutkowym. Znana anegdota mówi, że wykryto istotną statystycznie dodatnią zależność pomiędzy liczbą bocianów zamieszkujących dany obszar, a przyrostem naturalnym na tym terenie. Czy to znaczy że bociany przynoszą dzieci? Kobiety w ciąży przyciągają bociany? Nie. Wynika to z tego, że na wsi większy przyrost naturalny spowodowany zupełnie innymi przyczynami, a bociany niechętnie zamieszkują w dużych miastach.

Korelacja, czyli jednoczesne występowanie dwóch zjawisk może, ale nie musi dowodzić związku przyczynowo skutkowego między nimi. Załóżmy, że obserwujemy, że gdy rośnie wartość miary A (np. średnia pozycja reklamy), równocześnie rośnie wartość miary B (np. współczynnik konwersji). Mamy tu następujące możliwości:

– B wpływa na A

– A wpływa na B

– A i B wzajemnie na siebie wpływają

– A i B nie zależą od siebie, ale istnieje inny, niezidentyfikowany czynnik C, który ma wpływ na A i B

Przykładowo, zaobserwowaliśmy, że kampania ma wyższy współczynnik konwersji na wyższych pozycjach reklamy. Czy to znaczy, że należy dbać o wysoką pozycję reklamy, gdyż wtedy daje ona więcej konwersji? Niekoniecznie. Głębsza analiza pokazuje, że reklama była wyświetlana na wyższych pozycjach w czasie sezonu na dany produkt, gdy budżety reklamowe zostały zwiększone, kampania online uzyskała jeszcze wsparcie telewizyjne, a sam produkt z natury rzeczy lepiej się sprzedawał. Zwiększenie budżetów pozwoliło na podniesienie stawek i zajęcie wyższych pozycji.

Podnoszenie stawek i pozycji reklamy poza sezonem spowoduje najprawdopodobniej wzrost kosztu konwersji.

Bezproduktywne dywagacje i umiar


Na koniec warto zwrócić uwagę na przydatność danych. Przed każdą analizą warto zadać sobie pytanie: Jakie będą moje działania, jeśli moja analiza da określony wynik?

Warto przypomnieć znany cytat z „Alicji w krainie czarów”:

– Czy mógłbyś mi powiedzieć, w którą stronę mam pójść? – spytała Alicja.
– Zależy to od tego, dokąd chcesz dojść – powiedział kot.
– Nie wiem dokąd chcę iść – powiedziała Alicja.
– Więc tym bardziej nie ma znaczenia, w którą stronę pójdziesz – powiedział kot.


Jeżeli po uzyskaniu wyników analizy nasze działania marketingowe będą dokładnie takie same (kreacja, stawki, kierowanie reklam, dobór słów kluczowych i czasu) – należy zrezygnować z prowadzenia takiej analizy.

Przykład – jeden z klientów niedawno poprosił nas, aby zbadać, z jakich stron partnerów wyszukiwania Google pochodzi najwięcej ruchu i jakie występują różnice w konwersjach. System AdWords nie udostępnia tych danych, ale jest możliwe ich zbieranie za pomocą Google Analytics z niestandardowymi ustawieniami. Z posiadanych danych wynikało, że partnerzy wyszukiwania generują nawet lepszy ruch niż sama wyszukiwarka Google, ale ponieważ obecnie nie mamy możliwości indywidualnego kierowania czy też wykluczania poszczególnych partnerów wyszukiwania – to niezależnie od wyników takiej analizy, nasze działania będą dokładnie takie same – reklama w sieci partnerów wyszukiwania będzie po prostu kontynuowana. Z tego powodu odradziliśmy klientowi wykonywanie takiej analizy, gdyż poza zaspokojeniem ciekawości – nie przyniesie ona żadnych dodatkowych korzyści i lepiej przeznaczyć roboczogodziny analityka na potencjalnie bardziej produktywne badania.

Analiza danych statystycznych, poza biegłością w matematyce (albo raczej obsłudze arkuszy kalkulacyjnych) wymaga również używania intuicji i zdrowego rozsądku. Zalecany jest również umiar, gdyż systemy analityczne w generowaniu kolejnych danych, które moglibyśmy analizować – żadnego umiaru nie mają. 

 – Ile warto zapłacić za klienta w Google AdWords?

– Wynik jakości Google Adwors: fakty i mity

Witold Wrodarczyk

Administratorem Twoich danych jest Bonnier Business (Polska) sp. z o.o. z siedzibą w Warszawie. Twoje dane będą przetwarzane w celu zamieszczenia komentarza oraz wymiany zdań, co stanowi prawnie uzasadniony interes Administratora polegający na umożliwieniu użytkownikom wymiany opinii naszym użytkownikom (podstawa prawna: art. 6 ust. 1 lit. f RODO). Podanie danych jest dobrowolne, ale niezbędne w celu zamieszczenia komentarza. Dalsze informacje nt. przetwarzania danych oraz przysługujących Ci praw znajdziesz w Polityce Prywatności.