CzasNaE-Biznes

CzasNaE-Biznes

CzasNaE-Biznes Blog

Piotr Majewski

case study: Znaczenie czynnika czasu w badaniach marketingowych

Piotr Majewski | Komentarze | poniedziałek, 29 wrzesień 03, 09:38

Jesteś tutaj


O ile badania prowadzone zimą czy w inne zwykłe miesiące można robić szeregowo, to w miesiącach wakacyjnych jest to metoda zgubna. W tym czasie rację bytu ma tylko badanie równoległe.

Przed wyjazdem na urlop, 15 lipca zmieniłem w ofercie abonamentu
nagłówek i pierwszą opinię. W moim przekonaniu zmiana powinna była
podnieść skuteczność. Po powrocie z Turcji, 31 lipca sprawdziłem w
PMtrackerze dane nt. skuteczności nowej oferty. Napisałem wtedy taką
notatkę w raporcie:

Czuję się dziwnie. Zmieniłem nagłówek oraz pierwszą opinię i
skuteczność... spadła o 19%. Skuteczność oferty w kierowaniu do
formularza wzrosła o 1%, ale sama skuteczność formularza poleciała na
łeb na szyję o prawie 40%.

PIERWSZY WNIOSEK

Obie zmiany, nowy nagłówek i nowa opinia, nastawiają klientów na zakup
o 19,01% słabiej niż w wersji poprzedniej. Zmiana bezpośredniej
skuteczności samej oferty (kliknięcia do formularza dzielone przez
liczbę wizyt) jest pomijalna. Istotne jest więc "nastawianie klienta
na zakup".

JEDNA UWAGA: wszystkie metodologie prowadzenia testów
statystycznych mówią o tym, aby zmieniać tylko jeden element.
Ja zaś zmieniłem dwa: nagłówek i opinię. Dlaczego więc ktoś
tak bardzo wyczulony na punkcie prowadzenia prawidłowych
testów robi inaczej niż mówi ogólnie przyjęta metodologia?

Tak naprawdę zrobiłem właśnie tak, jak mówi metodologia.
Zmieniłem jeden element - parę jaką tworzy nagłówek i
uzupełniająca go opinia. Na przykładach ofert zobaczysz, że
wzajemnie się one uzupełniają. Oczywiście później mogę
sprawdzić, czy nie znajdę lepszej opinii do danego nagłówka.

Zwracam więc uwagę na fakt, że trzeba przede wszystkim myśleć,
a nie tylko odczytywać zasady dosłownie.

DRUGI WNIOSEK

Badanie nowej wersji (kod main-16) przypadło na okres wakacyjny, w
którym decyzje o zakupie są zdecydowanie rzadsze. Już z samym końcem
lipca było więcej zamówień. Pierwsze badanie prowadziłem do 10 lipca,
drugie od 10 do 31 lipca. Postanowiłem, że w tym należy szukać powodu
dla części lub całości spadku skuteczności.

PYTANIE

Jaka część spadku skuteczności oferty wynika ze zmian w ofercie, a
jaka z okresu, na który przypadło badanie nowej wersji?

Odpowiedź uzyskam testując obie wersje równolegle. Wykorzystam w tym
celu skrypt losowo wyświetlający daną wersję oferty. Oczywiście skrypt
będzie wystawiał cookie, aby jedna osoba widziała tylko jedną wersję.
To wszystko podpięte pod mój system_(PMtracker) dało odpowiedzi po 2
tygodniach.

Stworzyłem więc skrypt i 3 oferty do testu równoległego. 3 ofertą nie
będę się zajmował, powiem tylko, że była najsłabsza. Stara wersja w
PMtrackerze ma oznaczenie main-15, nowa main-16. Obie znajdziecie
tutaj:

Skrypt do losowania wersji wygląda tak:


 <?php

// skryptu używaj tam, gdzie masz ofertę (poziom 0). Tutaj losuj NAWET
// jeśli testujesz np. formularz. Jeśli testujesz formularz to
// wczytaj odpowiednią wersję formularza za pomocą zmiennej
// $pokazWersje z cookie internauty. Umieść pliki o takich samych
// nazwach w katalogu z formularzem, zmień ich treść na odpowiednie
// wersje formularza i includuj je wg. wartości $pokazWersje

// tabela z dostępnymi wersjami. Może ich być dowolnie dużo,
// zalecam max 4 jeśli dzienna liczba odwiedzin oferty nie
// przekracza 200
srand ((float) microtime() * 10000000);
$wersje = array("NAZWA_PLIKU_1","NAZWA_PLIKU_2","NAZWA_PLIKU...");
$dataKonca = "RRRR-MM-DD"; // data konca testu, np. 2003-12-24

// ponizej juz nic nie zmieniaj
$dataDzis = time();
$array = explode("-", "$dataKonca");
$Y = $array[0];
$M = $array[1];
$D = $array[2];
$dataKonca = mktime(23, 59, 59, $M, $D, $Y);

$CookieArray = explode("+", "$pokazWersje");
$zapamietanaWersja = $CookieArray[0];
$zapamietanadataKonca = $CookieArray[1];

if (!isset($pokazWersje) || $dataDzis > $zapamietanadataKonca) {
$wersja = array_rand($wersje, 1);
$pokazWersje = $wersje[$wersja]."+".$dataKonca;
setcookie('pokazWersje', $pokazWersje, (time()+365*24*3600));
}

$array = explode("+", "$pokazWersje");
$wybranaWersja = $array[0];

// plik z wersja wstawisz do strony za pomoca:
// include_("./".$wybranaWersja.".php");

?>

Badanie równoległe trwało przez pierwsze 2 tygodnie sierpnia. W
skrypcie losującym ustawiłem żywotność cookie na 30 dni. Praktycznie
więc każdy widział tylko jedną wersję oferty.

Teoretycznie ktoś mógł widzieć więcej niż jedną ofertę. Ten ktoś mógł
np. skasować cookie lub jego przeglądarka mogła nie przyjąć cookie w
ogóle. Są to jednak przypadki jednostkowe - 98,9% polskich internautów
przyjmuje cookie jak wynika z badań na stronie
ranking.pl/rank.ph... Praktycznie więc taki skrypt
daje pewność izolowanych badań.

WYNIKI BADANIA

Miałem dobre przeczucie co do zniekształcenia wyników pierwszego
badania przez okres wakacyjny. Skuteczność nowej oferty (16)
przewyższyła starą (15) o 12,2%. Przypominam, że w pierwszym badaniu
oferta nr 16 okazała się o 19% słabsza.

Bezpośrednia skuteczność oferty w kierowaniu do formularza okazała się
niższa o 0,62%. Ale skuteczność samego formularza wzrosła o 30,81%.
Jest to zwrot o 180 stopni w stosunku do pierwszego badania
(szeregowego). Skuteczność opłaconych zamówień do wszystkich zamówień
też była niższa w przypadku nowej oferty. W związku z tym okazuje się,
że kluczowy był wzrost skuteczności oferty w... NASTAWIANIU KLIENTA NA
ZAKUP.

W uproszczeniu oferta pełni dwie role. Ma namówić potencjalnego
klienta do kliknięcia do formularza oraz ma go upewnić, że opłaca się
złożyć i opłacić zamówienia (nastawiania na zakup). Jeśli badamy tylko
CTR kliknięć z oferty do formularza, to otrzymujemy ZAFAŁSZOWANY
wynik. Takie ograniczone badanie w przedstawianym przypadku
powiedziałoby nam, że nowa oferta jest o pół procenta gorsza. Pół
procenta to wartość zawierająca się w błędzie statystycznym - tzn.
jest to wartość pomijalna.

Oferta kieruje potencjalnych klientów do formularza z konkretnym
nastawieniem (frame of mind). Jeśli mamy system śledzący klienta od
początku do końca to znamy też CR (skuteczność) właściwe oferty.
Innymi słowy znamy skuteczność bezpośrednią oraz skuteczność w
nastawianiu na zakup.

CR właściwe to liczba opłaconych zamówień do liczby odwiedzin i to
jest ostateczny wskaźnik skuteczności dokonywanych zmian. Nie mając
takich danych zrezygnowałbym z nowej oferty i tym samym stracił 12%
przychodów.

Jeśli nie testujesz tak jak 9 na 10 biznesów... Jeśli myślisz, że gra
nie jest warta świeczki... Jeśli tak robisz, to policz ile to jest 12%
Twojego rocznego przychodu i porównaj to np. do ceny wdrożenia
PMtrackera (610 zł brutto).

BADANIA RÓWNOLEGŁE KONTRA SZEREGOWE

Z tego badania wypływa drugi wniosek. O ile badania prowadzone zimą
czy w inne zwykłe miesiące można robić szeregowo (najpierw jedna
wersja potem druga), to w miesiącach wakacyjnych jest to metoda
zgubna. W tym czasie rację bytu ma tylko badanie równoległe (losowe
wyświetlanie różnych wersji ofert).

Jeśli możesz prowadzić badania równoległe, to rób to zawsze. Badania
szeregowe nie uwzględniają tak istotnego czynnika jak warunki rynkowe
kształtowane przez czas.

W artykule "Zanim wydasz złotówkę na reklamę" pisałem:

W czasie się nie cofniemy, ale możemy dobrać podobne warunki
czasowe. Jeśli sprzedajesz zabawki, a badania robiłeś przed
świętami Bożego Narodzenia, to będą one wartościowe tylko w
takim okresie.

W badaniu szeregowym maksymalny, łączny czas badania wszystkich
porównywanych wersji nie powinien przekroczyć miesiąca, optymalnie są
to dwa tygodnie. Ale nawet te dwa tygodnie muszą trwać w czasie
neutralnym dla Twojego rynku.

Tak naprawdę każdy biznes jest do pewnego stopnia sezonowy. Wpływ na
to może mieć fakt, że decydenci wyjeżdżają na urlopy w określonym
czasie - zwykle wtedy, kiedy ich dzieci mają wakacje. I w tym czasie
niechętnie podejmują decyzje, które podejmują w innym czasie. Stąd np.
spadek skuteczności formularzy zamówień.

Czemu nie spada skuteczność oferty w kierowaniu do formularzy? Bo
często jest to impuls. Bezpośrednia skuteczność oferty (CTR) mówi nam
o tym, jak dobrze skłania ona do akcji, do impulsywnego kliknięcia do
formularza. Ale ten impuls traci impet, gdy trzeba poszukać numeru
karty kredytowej. Wtedy w grze pojawia się czynnik nastawienia, frame
of mind. Internet jest wyjątkowo wrażliwy na czynnik nastawienia, bo
bardzo rzadko jest tak, że płacimy od razu, jak to robimy w sklepach.
Często płacimy przelewem, często za pobraniem. Mamy więc czas pomiędzy
zamówieniem i opłaceniem i w tym czasie nie może być wahania.

Badania równoległe możesz prowadzić w dowolnym czasie, jeśli dzienna
liczba odwiedzin oferty przekracza kilkadziesiąt osób.

Zwróć też uwagę na fakt, że badania równoległe są w dużym stopniu
odporne na nie izolowane akcje promocyjne. Wyjątkiem są sytuacje, gdy
jedna z wybranych wersji koresponduje z akcją promocyjną, a druga nie.
Prowadząc kampanię w wyszukiwarce za pomocą reklamy:

Spędź 30 dni z doradcą ds. marketingu internetowego - nie
ryzykujesz ani grosza.

Zniekształciłbym wyniki badania równoległego. Dlatego ja izoluję
wszelkie akcje promocyjne.

IZOLOWANE działanie promocyjne to takie, którego efekty nie
mają wpływu na wyniki badań ogólnych. W PMtrackerze wystarczy,
aby taka reklama prowadziła na adres
cneb.pl/?specia..., aby jej skutki były
izolowane od prowadzonych w tym samym czasie badań. Każdy
odwiedzający wchodzący przez taką reklamę zostanie zaliczony
do osobnego zestawu danych.

ZACHĘTA

Prowadzenie zaawansowanych badań marketingowych w Internecie jest
prostsze niż myślisz. Musisz tylko spełnić 3 warunki:

  • musisz rozumieć podstawy badań statystycznych. W tym pomogą
    Ci moje artykuły i dyskusje na forum. Nie musisz posiadać
    wiedzy rozległej.

  • musisz posiadać narzędzie do łatwego analizowania wyników
    tych badań. Może być to PMtracker lub inne rozwiązanie, które
    da Ci podobne możliwości.

  • potrzebna jest odpowiednia próbka odwiedzin/ wyświetleń
    reklamy tak, aby najpóźniej w ciągu miesiąca otrzymać
    konkretne dane.

To wszystko. Nie jest tego dużo... a jednak 9/10 biznesów nigdy nie
prowadziło żadnych sensownych badań nt. swoich działań marketingowych.
Zdaję sobie sprawę z tego, że w przypadku czytelników płatnego
CzasNaE-Biznes statystyka ta jest prawie taka sama. Nie testowanie to
w biznesie "grzech śmiertelny". Jeśli go popełniasz to trochę szkoda
Twoich pieniędzy i tych wydanych na abonament i tych, które przechodzą
Ci koło nosa.

Niezależnie od tego jak bardzo konkretne rady dam na temat badań
marketingowych większość i tak zatrudni doradcę aby przeprowadzili je
za nich. W ostatecznym rozrachunku i tak nie stracą.

ZADANIE DOMOWE

Sprawdź jakikolwiek aspekt marketingowy Twojego serwisu www. Najpierw
zainstaluj odpowiednie narzędzie mierzące, potem zrób np. test innego
nagłówka. Z całą odpowiedzialnością stwierdzę, że na pewno można
napisać nagłówek skuteczniejszy niż ten, którego używasz obecnie.
Dotyczy to również moich nagłówków - dlatego ja testuję.


Piotr Majewski | Publiczny | poniedziałek, 29 wrzesień 03, 09:38


 Blog  Memos