Gdy już ktoś zrozumie, że warto prowadzić testy skuteczności własnych stron www i kampanii marketingowych, zwykle z jego ust pada takie pytanie:

Spotykam się z różnymi teoriami. Jedne mówiły, że tydzień, drugie, że 100 odwiedzin wystarczy, inne, że potrzeba 30 klientów, którzy opłacili. Jeszcze inna teoria mówi: "to zależy".

Ta ostatnia teoria jest NAJBEZPIECZNIEJSZA. Nie napiszę, że jest "najlepsza" bo to bardzo względna opinia i można się z nią spierać. Zdecydowanie jednak ta teoria jest najbezpieczniejsza dla Twojego biznesu. Stosowana poprawnie nie może wyrządzić szkód Twojemu biznesowi.

Zależy, ale od czego?

Oto czynniki, które MUSISZ wziąć pod uwagę ustalając długość testu marketingowego, jeśli zależy Ci na jego wiarygodności:

1. Co jest Twoją Najbardziej Oczekiwaną Akcją?

2. Jaką przeciętną skuteczność ma to, co testujesz?

3. Czy występują istotne czynniki zakłocające wyniki testu? Jaki mają wpływ?

Zajmę się teraz każdym czynnikiem po kolei.

Najbardziej Oczekiwana Akcja

Najbardziej Oczekiwana Akcja (NOA) jest tym samym co Most Wanted Response (MWR) u Kena Evoya www.skocz.pl/czw Długość testu zależy przede wszystkim od NOA, do której kieruje to, co testujesz. Abyś lepiej zrozumiał. Na przykład NOA dla kampanii marketingowej może być:

• odwiedzenie strony - najczęstsza NOA kampanii bannerowych. Pominę tutaj fakt, że taka NOA żadko kiedy jest dobrym wyborem.

• wysłanie maila z zapytaniem

• zatelefonowanie - np. wysyłasz mailing mówiący o nowym produkcie i podajesz numer 0800, pod którym można go zamówić lub uzyskać więcej informacji.

• zarejestorwanie się na stronie

• zapisanie się do biuletynu informacyjnego lub na kurs e-mailowy

• kupno produktu

• i inne istotne dla Ciebie - np. oddanie głosu w konkursie czy ankiecie.

Dobrze ustal NOA badanej rzeczy. Tą "rzeczą" najczęściej będzie: strona www, kampania reklamowa czy mailing.

Bardzo często jest tak, że ktoś rozpoczyna kampanię reklamową i patrzy wyłącznie na klikalność (CTR). W rzeczywistości jednak zależy mu na sprzedaży. Powinien więc patrzeć na skuteczność (CR) kampanii, którą zwykle oblicza się tak: CTR reklamy * CR strony www.

Dlaczego jedyną funkcją CTR w większości przypadków powinno być tylko obliczanie CR kampanii? Ponieważ 10 000 kliknięć na Twoją stronę, które da 1 zamówienie jest tyle warte, ile 1 zamówienie. Czasami kampanie o 10krotnie niższym CTR przyciągają ludzi bardziej zainteresowanych, co przekłada się na większą sprzedaż w ujęciu bezwzględnym (łączny zysk). Opieranie wniosków wyłącznie na CTR może być zgubne.

Zdecyduj na czym Ci zależy. W przypadku, gdy zalezy Ci tyko na oglądalności - zwykle nie powinno Ci zależeć tylko na oglądalności - testy będą zdecydowaie krótsze. W takimj przypadku interesować będzie Cię tylko klikalność (CTR) oferty.

Ustal, który wskaźnik jest dla Ciebie ważny:

• klikalność (CTR) reklamy

• skuteczność (CR) w generowaniu NOA całej kampanii

• skuteczność (CR) w generowaniu NOA danej strony www, jeśli testujesz samą stronę www

Gdy już ustalisz NOA i odpowiedni wskaźnik, czas określić...

Jaką przeciętną skuteczność ma to, co testujesz?

Teraz wprowadzę trochę zamieszania. Gdy już ustalisz interesujący Cię wskaźnik (np. CTR reklamy) to w tym konkretnym teście, jaki będziesz prowadził (np. test mailingu), wskaźnik ten nazywa się skutecznością badanej rzeczy. Czyli CTR mailingu w teście konkretnego mailingu nazywamy skutecznością tego mailingu. CR mailingu, gdy zależy nam na sprzedaży, w teście konkretnego mailingu też nazywamy skutecznością tego mailingu.

Po co to komplikowanie? Paradoksalnie - dla wygody.

Dlaczego musisz znać przeciętną skuteczność tego, co testujesz? Wytłumaczę to na przykładzie:

Rozumiesz teraz, dlaczego musisz znać skuteczność tego, co badasz? Bez tej wiedzy nie ustalisz długości testu.

Teraz pewnie powiesz: "OK, ale ja prowadzę test aby tą wartość dopiero ustalić!!!"

No tak, ale prawdopodobnie wiesz, jakiej skuteczności możesz się spodziewać. W przypadku bannerów zakładasz CTR 0,2-2%. W przypadku mailingu CTR 3-15%. W przypadku stron generujących NOA (sprzedaż, rejestrację itd.)... to już zależy od branży.

Jeśli nie masz żadnego własnego odniesienia, to bierz średnią w branży. Jeśli nie znasz średniej branżowej to pozostaje Ci puścić krótki test na ustalenie prawdopodobnej skuteczności. Taki test powinien dać Ci przynajmniej kilka akcji w przypadku bardziej złożonej NOA (sprzedaż, rejestracja) lub kilkanaście do kilkudziesięciu w przypadku prostej NOA (kliknięcie).

Podsumowując tą część. Musisz określić bardziej lub mniej dokładnie średnią skuteczność testowanej rzeczy (strony, kampanii itd.).

Decyzja, zanim przejdziemy do 3 części

W tym miejscu czas na wybór. Zdecyduj czy Twoje testy mają być względnie wiarygodne, czy bezwzględnie wiarygodne.

W pierwszym wypadku testów względnie wiarygodnych - prostszym, ale o większym ryzyku otrzymania przekłamanych danych - zakładamy, że 10-50 NOA na każdą z testowanych wersji reklamy/ oferty/ formularz itd. nam odpowiada.

Zwykle wystarczy 10-20 akcji w badaniu skuteczności skomplikowanych NOA (sprzedaż, rejestracja) i ok. 50 prostych NOA (kliknięcie).

Jeśli więc skuteczność badanej przez Ciebie rzeczy wynosi przeciętnie ok 1%. To w przypadku skomplikowanej NOA bedziesz potrzebował przynajmniej 1000 do 2000 wyświetleń każdej wersji. Przy prostym NOA będzie to ok. 5000 wyświetleń każdej wersji.

Na tym akapicie możesz skończyć lekturę, jeśli nie zależy Ci na bezwzględnie wiarygodnych testach marketingowych. Powyższy sposób określania długości testu jest względnie wiarygodny - tj. na podstawie doświadczeń wielu marketerów uznaje się, że takie wartości NOA wystarczą dla wiarygodnego testu.

Zwróć uwagę, że czas trwania testu nie określa się w jednostkach czasu ale w ilości NOA wygenerowanych przez każdą z badanych wersji. Po tym artykule nie powinieneś już mówić: "Test powinien trwać X tygodni", ale "Test powinien trwać do osiągnięcia X NOA z każdej wersji."

Następny akapit to wejście na wyższy poziom wiarygodności testów marketingowych. Wiem, że większość moich czytelników nie będzie miała ani chęci ani możliwości określenia długości testu dającej bezwzględną wiarygodność wyników.

Czy występują istotne czynniki zakłocające wyniki testu? Jaki mają wpływ?

Wszystko, co do tej pory napisałem, jest stosunkowo proste do pojęcia i zastosowania w przypadku każego e-biznesu. Każdy po pewnym czasie potrafi określić Najbardziej Oczekiwaną Akcję. Musi się tylko spytać siebie, na czym mu tak naprawdę zależy. Każdy po pewnym czasie ustali średnią skuteczność badanych przez siebie rzeczy.

Problem pojawia się gdy musimy poznać czynniki zakłócające wyniki testu. W artykule "Zanim wydasz złotówkę na reklamę" www.cneb.pl/a/roi wymieniłem cztery podstawowe czynniki zakłócające:

• reklama

• oferta

• grupa docelowa

• moment (czas)

W przypadku, gdy interesuje nas tylko CTR reklamy, znika oferta. W przypadku, gdy testujemy tylko stronę www, znika reklama.

Nad dwoma pierwszymi czynnikami mamy zwykle pełną kontrolę. Aby test był wiarygodny różne wersje testowanych rzeczy (reklamy, strona www) mogą różnić się tylko 1 elementem. Oznacza to, że w przypadku testowania kampanii mailingowej możemy manipulować wśród kilku wersji w jednym teście tylko tematem maila, tylko jakąś składową jego treści, tylko nagłówkiem na stronie, na którą kieruje, generalnie "tylko jednym elementem". I załatwia sprawę.

Problem pojawia się w przypadku grupy docelowej - są to osoby, które zobaczą to, co testujesz i podejmą lub nie podejmą NOA. Nie możesz skutecznie przeprowadzić testu bannera, jeśli jednen banner wyświetlasz na stronie X a drugi na stronie Y. Za to możesz przeprowadzić test strony, jeśli jeden i ten sam banner wyświetlasz na stronie X i Y - to tak na marginesie.

Nie moższe skutecznie przeprowadzić testu różnych maili, jeśli weźmiesz swoją bazę adresową i podzieliszą ją po prostu na kilka część. Dlaczego? Ponieważ pierwsza część będzie zawierała osoby, które są na Twojej liście najdłużej, a to ma już wpływ na skuteczność.

Teoretycznie mógłbyś posortować bazę wg. adresów e-mail i wtedy ją podzielić. Jednak jeśli przejrzysz swoją bazę adresową to zobaczysz, że pod literką "b" znajdziesz więcej lub mniej adresów typu biuro@firma.pl a pod literką "s" możesz znaleźć adresy spam@firma.pl. Łatwo się domyśleć, że odbiór mailingu wśród osób, które wpisały się adresem biuro@firma.pl i spam@firma.pl będzie różny.

W przypadku testowania maili reklamowych jedynym wyjściem jest losowe wybranie osób do danych list testowych z puli wszystkich dostępnych adresów. Jeśli masz listę adresową w bazie danych, bedzie to bardzo proste. W zapytaniu MySQL wystarczy dodać: ORDER BY RAND() LIMIT X i zaznaczać, które adresy zostały już wybrane, aby ktoś nie otrzymał kilku wersji mailingu.

Niestety problem pojawia się na stronie www. Większość stron nie ma jednolitej struktury odbiorców. Raz odwiedzają je jedni ludzi, raz inni.

Na stronie www oprócz grupy docelowej pojawia się problem czasu opisany szerzej w artykule: "Znaczenie czynnika czasu w badaniach marketingowych" www.cneb.pl/a/case_lato

Postaram naświetlić Ci problem, jaki generuje niejednolita grupa odbiorców i różny czas prowadzenia testów. Na przykład poważne zakłócenia generują partnerzy Twojego programu partnerskiego. Jakiś partner może opłacić za gorsze reklamę, która przyciągnie kilka tysięcy odwiedzających. W rezultacie jednak żaden nie kupi, ponieważ firma sprzedająca reklamę płaci im za jej oglądanie. Może się okazać, że 2 tysiące osób odwiedziło Twoją stronę, poczekało 30 sekund na zatwierdzenie przez system naliczający prowizje i ją opuściło. Miałem taki przypadek.

Z drugiej strony jest partner bardzo skuteczny, którego klienci kupują bardzo chętnie. Taki partner też zakłóca test, ponieważ nienaturalnie zawyża skuteczność danej wersji.

Pewnym wyjściem z tej sytuacji jest branie pod uwagę tylko takiego ruchu, który jest niekierowany (samoistny). Za pomocą odpowiednich skryptów można nie zliczać ruchu z prowadzonych przez nas czy naszych partnerów kampanii. Niestety to bardzo wydłuża test, zwłaszcza jeśli ruch kierowany stanowi istotny procent całego ruchu na serwisie.

Jedynym pewnym rozwiązaniem tego problemu jest test równoległy, którego prowadzenie opisałem w artykule: "Znaczenie czynnika czasu w badaniach marketingowych" www.cneb.pl/a/case_lato

Nie wystarczy jednak poprowadzić testu równoległego na 10 akcji by uzyskać wiarygodny wynik. Test równoległy skutecznie niweluje wpływ poszczególnych czynników zakłocających... ALE potrzeba na to odpowiedniej długości testu.

Jak jest odpowiednia długość testu równoległego?

Musisz to sprawdzić. Nie masz innego wyboru. Każdy serwis, każde medium reklamowe, każdy typ reklamy, każdy czas (np. okres świąteczny) prowadzenia testu generuje inne czyniki zakłócające. Jedynym sposobem aby je zniwelować jest przeprowadzenie testu równoległego dwóch TAKICH SAMYCH wersji rzeczy testowanej.

Innymi słowy jeśli chcesz wiedzieć ile powinien trwać test oferty na Twojej stronie www, to poprowadź test równoległy dwóch takich samych wersji oferty. Prowadź go tak długo, aż róznica skuteczności będzie pomijalna.

Tutaj dziękuję Natanielowi z xpect.pl za podsunięcie tego prostego rozwiązania. Ja już wiem, ile potrzebują NOA aby przperowadzić skuteczny test oferty na mojej stronie.

Jeśli chcesz wiedzieć jaka musi być liczba odbiorców dla każdej wersji maila reklamowego aby test był wiarygodny, puść dwa takie same maile do dwóch różnych grup docelowych i sprawdź ile ich musi być aby róznica skuteczności była pomijalna.

I tak dalej.

Po jakimś czasie ustalisz ile musi trwać test tego, ile tego ile tamtego. Dobrze jest takie testy powtarzać przynajmnniej raz na rok aby sprawdzić, czy nie nastąpiły jakieś poważne zmiany w sposobach generowania ruchu na Twojej stronie www czy np. w strukturze Twojej listy adresowej.

Co to znaczy "pomijalna różnica skuteczności?" To jest dosyć względne określenie. Jeśli zmiany, jakie wprowadzasz w różnych wersjach generują różnice skuteczności na poziomie setek procent, to 10-30% różnicy w skuteczności możesz uznać za wartość pomijalną. Inna osoba uzna 5% za taką wartość. To już ty musisz zdecydować.

Im więcej czynników zakłócających, tym dłużej musi trwać test aby uzyskać wyniki bezwzględnie wiarygodne.

Podsumowanie

W artykule tym przekazałem bardzo dużo informacji. Dobrze by było, gdybyś przeczytał go ponownie.

Czas na podsumowanie:

1. Okreśł Najbardziej Oczekiwaną Akcję.

2. Na podstawie NOA określ wskaźnik, który jest dla Ciebie istotny.

3. Dowiedz się, jaka jest przeciętna skuteczność testowanej przez Ciebie rzeczy biorąc pod uwagę wybrany wskaźnik i NOA.

4. Określ długość testu (liczbę ekspozycji testowanych wersji) wg. standardowych wytycznych lub sprawdź ile taki test musi trwać aby zniwelować wszystkie czynniki zakłócające

5. Prowadź swoje testy Świadomie.

Powodzenia.