Często słyszę od różnych osób zajmujących się optymalizacją współczynnika konwersji: „Przeprowadziliśmy test koloru przycisków i zmniejszyliśmy liczbę pól w formularzu. Przeczytaliśmy to w tym case study, i im przyniosło to aż 400% wzrostu. Chcieliśmy powtórzyć ten sukces i natychmiast rozpoczęliśmy testy”.
Jednak w większości przypadków testowanie (lub co gorsze wdrażanie od razu) identycznych elementów co w case study nie przynosi rezultatów. I nie jestem tym faktem zaskoczony.
Jeżeli Twój zespół podchodzi do case study w sposób „Przeczytaj, skopiuj i przetestuj”, nie dziw się, jeżeli wciąż nie odnotowujesz satysfakcjonujących wzrostów współczynnika konwersji.
Poniżej opisałem 3 powody, dla których nie warto ufać wszystkim case study z optymalizacji współczynnika konwersji, które znajdziesz w internecie. A tym bardziej bezmyślnie kopiować zaprezentowanych w nich rozwiązań.
Case study, które znajdujesz w Internecie zwykle zawierają dwie metryki: wzrost współczynnika konwersji oraz poziom istotności statystycznej. Jednak same relatywne metryki nie wystarczą. Nie możesz ocenić, czy wyniki są rzetelne dopóki nie znasz liczby konwersji oraz liczby użytkowników, którzy wzięli udział w teście.
Niestety takie informacje pojawiają się w case studies bardzo rzadko. Na przykład, to case study z WhichTestWon.com nie może być określone jako wiarygodne. Właśnie dlatego, że brakuje w nim liczb – opublikowano wyłącznie wzrost współczynnika konwersji i poziom istotności statystycznej. Pomimo tego musisz zapłacić, żeby zobaczyć to case study! Nie daj się nabrać.
Dlaczego tak się dzieje? To proste. Jeżeli nie udostępniasz liczb, dużo łatwiej nagłośnić swoje case study i przyciągnąć czytelników – na przykład za pomocą krzykliwych nagłówków w stylu „Wzrost współczynnika konwersji o 110% dzięki zmianie dwóch słów w nagłówku – 95% istotności statycznej!”. Możesz być pewny – nikt tego nie podważy, bo nie ma takiej możliwości.
Sytuacja tutaj jest podobna do reklam kosmetyków. „Aż 98,9% zadowolonych Klientek” – to hasło, które często pojawia się na wielu banerach. Pod spodem zwykle znajduje się gwiazdka *Próba – 12 osób.
Lekcja pierwsza: jeżeli w case study dotyczące testów A/B brakuje liczb, nie można mu ufać.
Niektórzy chętnie okraszają swoje case study zdjęciami z narzędzi do testów A/B, tak jak James w tym poście dla bloga Crazy Egg. Narzędzie pokazuje, że wyniki są istotne statystyczne. Jednak liczba konwersji dla wersji A to 15, dla wersji B – 24. To jednoznacznie wskazuje, że wyniki są zupełnie przypadkowe.
Po pierwsze, powinieneś osiągnąć co najmniej 100 konwersji na wersję strony, aby być w jakikolwiek sposób pewny wyników. I po drugie, testy powinny pokryć określony „cykl biznesowy” Twojej organizacji – czyli trwać co najmniej 14 dni (w zależności od branży, testy mogą trwać nawet dłużej).
Jeżeli przedstawiasz najlepsze praktyki w oparciu o test, powinien mieć co najmniej 100 konwersji na wersję. Jak ma się do tego 17 i 24 konwersje przedstawione przez Jamesa?
Różnica pomiędzy dwiema wersjami wynosi tylko 9 konwersji, więc niemożliwe jest osiągnięcie 95% istotności statycznej. James wykazuje więc brak elementarnej wiedzy na temat statystyki. A mimo to zaoferował użytkownikom 3 złote rady o tym jak pisać skuteczne nagłówki. Mam nadzieję, ze niewielu marketerów zacznie testowanie tych hipotez – mogą one mieć naprawdę negatywny wpływ na współczynnik konwersji.
Nie zawsze możemy ufać wynikom poziomu istotności statystycznej, które serwują nam narzędzia do przeprowadzania testów A/B. Jak widać na powyższym przykładzie, nawet przy bardzo małej liczbie konwersji potrafią one wskazać na istotny statystycznie wzrost. Jest to oczywiście błędna informacja.
Potrzebujesz liczb aby określić, czy wyniki testu są wiarygodne. Więc zanim zaczniesz analizować kolejny test A/B, przeczytaj świetny artykuł Peep’a Laja na temat istotności statystycznej w testach. To pomoże Ci w odpowiednim momencie decydować o zakończeniu testu, a także rzetelnie oceniać zawartość case studies, które czytasz.
Lekcja druga: nigdy nie aplikuj najlepszych praktyk, opartych o testy A/B, w których poszczególne wersje miały mniej niż 100 konwersji.
Po trzecie, musisz pamiętać, ze każdy biznes i każdy serwis jest unikalny. Aby w jakikolwiek sposób przełożyć rozwiązania zaprezentowane w danym case study na swój biznes, musisz zrozumieć na jakiej podstawie ktoś zdecydował się na ich przetestowanie.
Większość autorów nie prezentuje informacji na temat analiz, które przeprowadzili aby zidentyfikować problemy i wypracować hipotezy do testów.
Aby określić, czy powinieneś wykorzystać konkretne pomysły i testować te same elementy na swojej witrynie, musisz wiedzieć dlaczego autor rozpoczął ich testowanie. Dopóki nie jesteś pewny, że Twój biznes opiera się na podobnych zasadach i ma podobne problemy do opisanych w case study – nie narażaj się na spadki współczynnika konwersji.
Lekcja numer trzy: nie kopiuj hipotez do testowania z case study dopóki nie zyskasz pewności, że pasują do Twojego biznesu
To dobrze, jeżeli traktujesz case studies znalezione w internecie jako inspirację do swoich analiz. Powinny być jednak one punktem wyjścia do pracy nad zwiększeniem współczynnika konwersji, a nie jednoznacznym sygnałem do rozpoczęcia testu A/B (lub wdrożenia zmian od razu).
Zauważyłeś w case study coś, co przyniosło spektakularny sukces? Zacznij od przekopania swojego Google Analytics pod kątem takiej zmiany. Przeprowadź testy użyteczności, zadaj użytkownikom pytania w ankietach. Sprawdź, czy hipotezy adresują problemy Twoich użytkowników i faktycznie wpłyną na wzrost współczynnika konwersji Twojego serwisu. Jeżeli tak jest – możesz rozpocząć pracę nad przygotowaniem testu.
Jeżeli zarządzasz zespołem odpowiedzialnym za optymalizację współczynnika konwersji nie daj się nabrać na pomysły w stylu „przeczytaliśmy w artykule, że to przyniosło wzrost o xx%, i chcemy to przetestować”. Pytaj zawsze o liczby, prawdziwy poziom istotności statystycznej (nie tylko ten podawany przez narzędzia) i kontekst testu, który chcą skopiować z case study.
Nie pozwól, aby Twoja organizacja marnowała czas i zasoby na aplikowanie „najlepszych praktyk” opartych na wątpliwych testach A/B. Trzymaj się z daleka od postów, które prezentują niską wartość merytoryczną (tak jak wspomniany wyżej post z Crazy Egg). Wdrażanie „tips & tricks”, które w małym stopniu, bądź w ogóle, podnoszą współczynnik konwersji Twojej witryny może przynieść więcej szkody niż pożytku.
