Det er utroligt, hvad man kan vænne sig til. Efterhånden undrer det mig kun mådeligt at se, hvordan gode penge bliver smidt efter dårlige på nettet i den dumstædige insisteren på at slutte fra det teknisk mulige til det adfærdsmæssige realistiske. Og det generer mig kun til 3/4 på en 5-punktskala, når organisationer som fx DR og Forbrugerstyrelsen hæmningsløst satser på nettet og dermed i praksis negligerer 30-50% af befolkningen.

Det generer mig til gengæld fortsat til 8/9 (på 5-punktsskalaen), når kunder eller studerende glade taler om netanalyser, og når journalister ukritisk refererer til deres “en analyse viser“ – også når det er en netanalyse. Jeg har ventet i et års tid på, at nogen fra kommunikations-, medie-, markedsføringsbranchen skulle sige fra over for denne misbrug af analyser. De fleste, for hvem det er relevant ved det nok, men det er da synd for resten, hvis de ikke er klar over, at det hører til undtagelserne, at man kan konkludere, beslutte eller handle ud fra strømmen af kvantitative resultater fra de rene netanalyser. – Og det er selvfølgelig forbruger/borgerundersøgelserne, jeg tænker på.



NETANALYSERNES MANGLER

Jeg har været på et par hjemmesider for netanalyse-virksomheder; ingen taler om repræsentativitet eller usikkerhed, men fremhæver hurtighed og det store antal besvarelser. Zapera.com AS fremhæver heller ikke som i annoncen i min udklipsbunke, at de reducerer de statistiske fejlmarginer betydeligt på grund af det store antal respondenter. Men hverken de eller Instant-Answer lader nogen være i tvivl om, at man kan få troværdig indsigt i Danmarks befolkning, kommunens borgere, læserne af mediets annoncer, næsten enhver tænkelig målgruppe.

Måske er det fordi, det er så frygteligt banalt, at jeg ikke på tryk har set nogen protestere. For det passer jo ikke! I hvert fald ikke et repræsentativt indtryk i den normale betydning. Og ingen garanti for, at der ikke er tale om mere vild- end vejledning.

Det gør ondt der, hvor jeg fik banket de elementære krav til kvantitative, repræsentative undersøgelser ind; godt nok for længe siden, men den statistiske teori har vel ikke ændret sig i takt med teknologien?

Respondenterne udvælger sig selv, venner og bekendte; måske fordi det er sjovt, måske fordi der er gevinst hver gang i form af præmier. Så meget for det grundlæggende krav om tilfældig udvælgelse for slet ikke at tale om simpel tilfældig udvælgelse. I bedste fald er en undersøgelse repræsentativ for nogle bestemte brugere af nettet, der melder sig til analysevirksomhedens “panel“; resultaterne bygger på de, som måske har en speciel interesse i emnet, på de første 1500 der svarer, eller de der svarer inden for en uge eller tre dage. – Jamen, jamen, jamen.

Det er ikke til at vide, hvem undersøgelserne er repræsentative for, og beregning af statistisk usikkerhed forsvinder ikke som dug for solen, men som en snebold på brændeovnen. Vil man en metode, må man også respektere dens grundlæggende præmisser

Der er mange imponerende tal om udbredelse og brug af nettet. Men mailen fra “as netanalyse“ om, at der er bud efter en respondent, skal lande derhjemme og ikke på skolens eller virksomhedens computer. Og taler vi så ikke om, at kun ca. halvdelen af befolkningen kan udfylde spørgeskemaet? Og er det ikke noget med 15-20%, der daglig bruger nettet som privatperson? Og taler vi ikke om en population, der skiller sig markant ud fra befolkningen som helhed? Er der ikke noget med mangel på ældre, kvinder, folk med kort uddannelse?

Det kan man jo veje for, er standardsvaret; ja fem gange! Er der kun halvt så mange småbørnsmødre i “stikprøven“ som i virkeligheden, så ganger vi deres adfærd med to. Men hvem ved, hvornår det er værre end ingenting? Er der ikke også noget med, at internetpopulationen har andre værdier, interesser og aktiviteter, en anden livsstil? Mere moderne holdninger og værdier?



FORSIGTIG!

Hvem er det, der bruger netanalyserne til hvad? Kundelisterne burde skræmme mig fra at tro, at jeg ved bedre! Men hvad bruger man analyserne til? Er der nogen, der lader sig narre af kosmetikken? Af at resultaterne til forveksling ligner dem, vi er vant til at se? Er det prisen og hurtigheden, der får brugerne til at lukke øjnene?

Det hjalp lidt på blodtrykket, at få det skrevet; helt fredsommeligt: tag lige og vær lidt forsigtigt med brugen af undersøgelser af forbrugere og borgere baseret på netanalyser.









BOX:



EN LUFTSPEJLING

Instant-Answer A/S sælger analyser fra “Ungdomsbarometret“. Resultaterne kommer fra et panel på 9.000 unge mellem 15-29 år. Hver analyse bygger på “mindst 1.500 besvarelser“. I-A mere end antyder en repræsentativitet ved at fortælle på hjemmesiden, at “I Danmark er over 90% af de unge mellem 15 og 30 på internettet. Internettet er derfor det perfekte medie til at indsamle viden om denne gruppe“. – Det er høfligt sagt et tvivlsomt udsagn.

Den 7.2. fortalte Børsen MedieMarked hen over side 6 og 7 at “Dagbladsannoncen når ikke de unge“. En analyse (fra Ungdomsbarometret) viser, at spurgt “hvordan vurderer du reklamer i følgende medier?“ er der 3% der svarer “meget god“ for avisannoncer og 22% for biografer.

Lad artiklen ligge; journalister er journalister og det er ikke pænt ment i denne sammenhæng. Og vi er jo nogen, der kun lige får fat i rubrikkens og underrubrikkens udsagn. Desværre er vi også nogen, der i travl- og venlighed, kommer med en god kommentar uden at blive klar over, at vi kommenterer en luftspejling. Troværdigheden styrkes med et billede af formanden for Dansk Markedsføringsforbund.

De tre kommentatoerer forstår jeg. Jeg er – her – også klar til at glemme værdien af spørgsmålet og skalaen; jeg er klar til at glemme interviewsituationens betydning for svaret; jeg er klar til at glemme nogle friske erfaringer fra en fokusgruppe-analyse, der fortalte om en verden til forskel mellem 15 og 25 årige i relation til en annonce.

Der er ikke det, jeg ikke er klar til at glemme, når jeg husker, at mit ærinde er:

– at svarene er baseret på de første 1.851 der reagerede på mailen fra Instant-Answer

– at Danmarks Statistik fortæller mig, at ca. 2/3 i aldersgruppen brugte nettet inden for den sidste måned (ikke nødvendigvis hjemmefra)

– at ca. 3/4 har adgang fra skole/arbejde/hjem

– at de 3/4 adskiller sig fra hele gruppen, at de 2/3 adskiller sig fra de 3/4, at de 9.000 i “panelet“ formodentlig adskiller sig fra de 2/3.

Hvis det nu var et spørgsmål der kunne bruges til noget, kunne vi så konkludere noget om, hvordan de 15-29 årige vurderer reklamer: Nej. Kan det vejes op til noget fornuftigt: Næppe.

Er der signifikant forskel på de 22% og de 12% der siger “temmelig dårlig“: tja, det er jo ikke sådan til at sige.



Illustrationen her erhelt tilfældig og så repræsentativt som alt, der ligger øverst i mine udklipsbunker. Jeg har intet udestående hverken med analysebureauet eller avisen; måske vil de være så venlige at opfatte det som reklame…PERSON: