Flere klikk på en ny knapp beviser ikke flere gode kjøp. Endringer i trafikk, feilregistreringer og returnerte varer kan gjøre en tilsynelatende gevinst misvisende.
CRO og A/B-testing: hypotese, måling og beslutning
Start med et observerbart kundeproblem. Velg en primær måling, en tydelig nevner og kvalitetskontroller før et eksperiment settes i gang.
Faglig utgangspunkt: Microsoft Research · The evolution of continuous experimentation ↗
A/B testing and statistical pitfalls ↗Bruk oppgavetester for å finne friksjon. Bruk randomiserte eksperimenter når trafikk og måleinstrumentering er tilstrekkelige. Lav trafikk er ikke et grunnlag for å erklære en vinner etter noen få kjøp.
Prøv mønsteret
Oppgave og forventet resultat
- 01
Velg et konsept i arbeidsarket: få et konkret problem, forslag til utfall og avgrenset målgruppe.
- 02
Endre hypotesen: den redigerte planen skal vises uten at noe sendes eller lagres.
- 03
Beskriv datakvalitet: en ordre skal dedupliseres, betaling bekreftes og testtrafikk holdes utenfor.
- 04
Skriv beslutningsregelen før du ser resultater. Ikke stopp testen bare fordi et foreløpig tall ser positivt ut.
Slik undersøker du nytten
Definer målgruppe, eksponering, nevner og primært utfall før start. Registrer hva som kan invalidere datagrunnlaget.
Se også etter bivirkninger
Datatap, feil fordeling mellom varianter, retur/refusjon, margin, tilgjengelighet og ytelse på mobil.
Dette er et forslag til undersøkelse, ikke et målt resultat. Velg én hypotese og definer målgruppen før du tester.
Lag en måleplan for dette konseptet ↗