A/B en Multi Variate Testen (MVT)

Frank Overbeek

SiteSpect Europe

A/B Testen voor strategisch beslissen

Case

Het VEGAS.com Mobiele Dilemma

Wat is VEGAS.com?

• ‘s Werelds grootste op een stad georiënteerde web site (~10m uniek/maand.)

• Verkoopt “everything Vegas”, van hotel to vakantie pakketten, shows en restaurants tot excursies en meer.

• Primair: www.vegas.com and www.lasvegas.com

De brandende vraag:

Moet de website beschikbaar/aangepast worden voor mobiele aparaten als iPhones, Android, RIM, etc?

Dilemma:

Wie gebruikt zijn/haar mobiel voor het web?

Wie voert hiermee transacties uit?

Vraag..

Recente gegevens van comScore (EU)

53%

• Mobiele bezoekers vormen 7% van het verkeer– 70% iPhone, 20% Android, ~10% anders

• Mobiele segment groeit met 6% per maand• Mobiele bounce rate 50% hoger dan non-mobiele• De mobiele bezoeker vertegenwoordigd omzet($$$)

VEGAS.com’s web analytics

Te klein voor 326 dpi!

Tijd om mobiel aandacht te geven

• VEGAS.com’s team realiseerde dat het tijd was om de voor en nadelen van het mobiliseren van de site te bekijken.

– Investeren van tijd en geld– De bestaande ontwikkelingen aanhouden– Risico dat het niets opbrengt of zelfs minder

Wat betekent mobiliseren?

• Past op een klein scherm zonder scaling/zoom• Focus op de primaire functies• Low-fat (beperkte graphics, scripts en andere

zaken welke de page load and rendering vertragen)

• Werkt goed met een touch screen (niet te veel formulier)

Overwegingen

• Een test uitvoeren om te zien of mobiele content uitmaakt, en hoeveel.. (hypothese)

• Focus op de key content die al gebruikt wordt op de mobiel:– Homepage– Top-level categorie pagina’s– Hotelkamers zoeken

• Beperking: geen wijziging aan de e-commerce architectuur• Gebruik een applicatie om mobiele templates die de full

site content “skinnen” en de ‘mobiele klant’ target.

Technologie

Experiment variatie

Server(s)

Targeting

“De nieuwe” mobiele test pagina’s

A/B test resultaten: mobiel vs. volle site

• De A/B test liep nog geen twee maanden• Van ontwerp tot live, 2 weken• Key metrics voor de mobiele versie– 22% lagere bounce rate– 16% meer pageviews op de product categorieen– Double-digit groei in conversie*

(* originele backend proces)• Alles met 95% of hogere significantie

Learnings

• Mobiel is er echt … nu echt ... ;).• De vraag voor eenieder:– Moeten we investeren in het mobiliseren?– Wanneer?– Hoe volledig?

• Kijk naar uw KPIs in het mobiele segment• Begin klein… – Is het mogelijk een test op een beperkt content(gebied) uit te

voeren, om in een hypothese te bewijzen dat mobificatie de UX/performance/conversie verbeterd?

• Baseer de investering op interne/externe data and analyse

Multi Variate Testen

Wat, Hoe, Waarom?

“Het (on-line, geautomatiseerd) aanbieden en variëren en van communicatie componenten*, met als doel; de analyse van het veroorzaakte gedrag van de ontvangende partij’, om zo de bewezen optimale communicatie/conversie* te bepalen”.

Definitie

Marketing Instrument

Plaats in de keten

UsabilityUserexperience Analytics MVT

ProductionDevelopment

Feedback

Stated preference Actual preference

• Welke conversiedoelen / response willen we bereiken?

• Welke factoren willen we onderzoeken die effect hebben op de doelen/respons?

• Welke variaties kunnen deze factoren hebben?

• Welke additionele segment karakteristieken hebben daarnaast invloed op de conversie?

Componenten van Experiment

Test factoren en variaties

Segment variabelen

Klantgedrag

De resultaten die je zoekt om sitegedrag te begrijpen en te optimaliseren

Zaken binnen

mijn controle (X)

Zaken buiten

mijn controle (Z)

Uitkomst (Y)

Optimalisatie

High value klanten nemen het duurdere aanbod, twee keer zo veel als low value klanten.Voorbeeld:

Onderwerp

OnderwerpVergelijking

Attribuut

4 ingrediënten voor Hypothesen

Goede hypothesen bestaan uit:

a) Een doelgroep (Z)

• Ofwel een complete groep of sub-segmenten van de groep

b) Een meetbare uitkomst (Y)

• Een uitkomst binnen het klant keuzeproces

c) Een vergelijking (<>)

• Meer dan, minder dan, hetzelfde, etc

d) Een variabel attribuut (X)

• Het element wat het keuzeproces van de klant beïnvloed

Voorbeeld Hypothesen

Afbeeldingen van succesvolle mensen heeft een positief effect op de conversie

Het verstrekken van sociale informatie heeft een positieve invloed op de conversie: ‘we hebben al xxx beleggers geinteresseerd’ , ‘een totaal bedrag van xxx is reeds belegd’ , ‘een gemiddeld rendement van xxx is behaald’.

Klanten hebben behoefte aan procesinfo: Het toelichten van het procesverloop op voorhand zal een hogere conversie bewerkstelligen.

Wat testen?

• Visuele aspecten• Textuele aspecten• Contextuele aspecten• Informatie vormen/volume• Technische aspecten• Persuasiveness

Lengte van de test

• Aantal Factoren (Elementen)

• Aantal Variaties• Aantal Bezoekers• Aantal Conversies• Confidence level (%)

• Tot statistische relevantie..

Succesfactoren

• Organisatie klaar (analytics)• Ownership FTE(s)• Onbeantwoorde vragen• Lichte tests beginnen• Open Blik• Ook nee is een antwoord• Creativiteit• Juiste Tool

Hoe werkt het?

webserver

contentserver

Experiment variaties

Hoe werkt het; op pagina niveau

Server(s)Ref=Tijger

Interactief / Demo

Vragen