I lyset af den seneste tids påstande om, at analyser gennemført via internettet svarer til at stikke en finger i vejret, føler vi det berettiget med et fagligt indspark i debatten. Netanalyser er kommet for at blive, og kvaliteten stiger i takt med erfaringer og internettets udbredelse. Om fem år vil 95 pct. af alle opinionsundersøgelser gennemføres via internettet.
Lad os slå fast med det samme, at der findes dårlige netanalyser, og der findes områder, hvor det er uhensigtsmæssigt at analysere befolkningens adfærd på baggrund af data indsamlet via internettet. Men at gå her fra til helt at affærdige netanalyser, ville være en alvorlig fejltagelse.
Det største kritikpunkt synes at være koncentreret omkring begrebet repræsentativitet. For at diskutere om en stikprøve er repræsentativ, må man som udgangspunkt definere universet, som stikprøven skal afspejle. Det ville være tåbeligt at forsøge at beskrive pensionisters holdning til offentlig service på baggrund af paneldeltagere, der er hvervet på et analysebureaus hjemmeside for at deltage i en lodtrækning. Omvendt kan f.eks. en bank med fordel vurdere brugernes tilfredshed med bankens net-løsning på baggrund af en undersøgelse, hvor respondenterne er hvervet direkte på siden. Det essentielle er, at stikprøven er udtrukket blandt det univers, som det skal afspejle.
Det kritiske punkt opstår ofte, når man forsøger at generalisere data indsamlet blandt internet-brugere over på et univers bestående af både brugere og ikke-brugere. Hvorvidt dette kan lade sig gøre uden at bryde undersøgelsens forudsætninger afhænger af det konkrete emne, som søges belyst. Lad os illustrere med følgende eksempel: Vi vil belyse befolkningens holdning til de to spørgsmål: “Foretrækker du tandstikker med mintsmag?“ og “Er computervirus et problem i din hverdag?“. Begge spørgsmål besvares af den samme gruppe respondenter, der er repræsentative mht. demografi (køn, alder, uddannelse, geografi etc.) og i begge tilfælde svarer 60 pct. “Ja“. I det første tilfælde ville det være berettiget at generalisere svaret, og konkludere at 60 pct. af befolkningen fortrækker tandstikker med mintsmag. Men vel at mærke kun under den forudsætning, at der ikke er forskel mellem brugere og ikke-brugeres præferencer for tandstikker. Problemet er, at det kan være temmelig vanskeligt at vurdere om en sådan forudsætning er realistisk.
Hvad det andet spørgsmål angår, ville det være forkert at generalisere svaret og konkludere, at 60 pct. af befolkningen oplever computervirus som et problem i hverdagen, idet spørgsmålet er påvirket af, at respondenterne er internet-brugere, og dermed oftere udsættes for computervirus end ikke-brugere. Den rette konklusion ville således være, at 60 pct. af danske internet-brugere oplever computervirus som et problem i hverdagen.
IN- OG OUTPUT
Er analysen så blevet dårligere fordi, den ikke kan generaliseres ud på hele befolkningen? Nej, naturligvis ikke. Pointen er, at på trods af, at der er tale om den samme gruppe respondenter, så repræsenterer de forskelligt definerede klynger, qua de forskellige emner i spørgsmålene.
Alle stikprøveundersøgelser er dog underlagt reglen om “garbage in – garbage out“. Dvs. at ingen analyseresultater kan blive bedre end det input, de er baseret på. Derfor er det essentielt for værdien af en analyse, at alle respondenter grundigt vurderes inden de medtages i en undersøgelse. Netop på dette område er det, at de fleste Internet-baserede undersøgelser fejler.
En hurtig gennemgang blandt danske analysevirksomheder, der gennemfører netanalyser, viser at ca. 7 ud af 10 anvender paneler, hvor respondenterne har tilmeldt sig selv. Enten via analysevirksomhedens eget website, via deltagelse i andre undersøgelser eller via tilmelding til nyhedsbreve og lignende. I den “traditionelle“ analysebranche ville det svare til, at man stiller sig på Rådhuspladsen med et skilt, hvormed man annoncerer til forbipasserende, at de kan medvirke i en undersøgelse og samtidig har mulighed for at vinde en præmie. Forhåbentlig er det de færreste seriøse analysekøbere, som vil træffe beslutninger på det grundlag.
SELVHVERVNING
Undersøgelser, der er baseret på paneler, hvor deltagerne har hvervet sig selv, er med andre ord ikke meget bedre til at foretage generalisérbare undersøgelser end en Quick Poll eller tilsvarende underholdning.
Troværdige analyser af brede emner bør som et minimum været baseret på respondenter, der er hvervet uden at vide, hvad de skal svare på, og hvor det er spørgeren, der har initialiseret kontakten. Desuden forudsætter det, at spørgeren har adgang til det bredest mulige udsnit af den population, som skal analyseres, hvilket i princippet forudsætter et samarbejde med en eller flere af de store portaler.
På nuværende tidspunkt er det muligt at gennemføre seriøse Internet-baserede analyser af mange emner, og inden for 5 år vil det kun være ganske få områder, hvor det stadig vil være en uhensigtsmæssig fremgangsmåde. Som analysekøber vil meget være vundet ved at holde fast i de klassiske kvalitetskrav og stille spørgsmål til:
1. Hvem respondenterne er, hvordan de er rekrutteret og hvordan de matcher den totale population.
2. Hvordan undersøgelsens validitet og pålidelighed er sikret.
3. Hvor stort bortfaldet er, og om der er bias.
4. Hvorvidt resultaterne kan generaliseres, og hvorledes data eventuelt er vægtet.
Netanalyser er kommet for at blive. Men udbredelsen forudsætter naturligvis, at indkøbere af analyser vurderer kvaliteten af analyserne i stedet for blot at vælge den billigste på markedet.