I Markedsføring nr. 8 fra 15. marts opfordrede jeg køberne af netanalyser til at tænke sig rigtig godt om og til ikke at lade hurtighed og lav pris opveje de elementære krav til de konklusioner, undersøgelserne skal bruges til. Den opfordring gælder stadigvæk. Det samme gælder argumenterne for at tænke sig ekstra godt om, når det gælder netanalyser.
Hvis det er for “akademisk“ at spørge til tilfældig udvælgelse og resultaternes statistiske usikkerhed, er der nok at bekymre sig over endda. Stil spørgsmål om hvem respondenterne og deres svar tegner et troværdigt billede af og spørg til og tænk selv over, hvordan respondenterne og svarene er bragt til veje. De voksende borfaldsproblemer i metodisk seriøse analyser er vand i forhold til, at respondenterne melder sig selv til svar i netanalyser.
I Markedsføring nr. 10 var der svar fra to store netanalysevirksomheder. Det er jo godt nok, og jeg er sikker på, at Markedsførings læsere selv kan læse teksten kritisk; derfor kun en kort kommentar.
Jeg er enig med analysechef Mads Stenbjerre fra Zapera.com A/S i, at der er mange forhindringer for repræsentative undersøgelser, og at konklusionerne fra anlyser må indrettes efter det, hvis man fraviger dydens smalle sti; formodentlig er vi også enige i, at analysevirksomheden har et fagligt ansvar, når man i PR-øjemed formidler analyseresultater til journalister.
Det er reelt nok, at Zapera sammensætter stikprøver proportionalt i forhold til befolkningen, altså kvotasamling. Når det passer til formålet, gør jeg det samme, og skal der sminke på, kan jeg finde på at kalde det for “eksemplifikatorisk repræsentativitet“! Men ud over den proportionale stikprøves begrænsninger er det et ydeligere problem for netanalyserne, at kvoterne kun kan sammensættes ud fra de, der selv melder sig.
Det helt afgørende er, om køberne er klar over de store begrænsninger i, hvad man kan bruge resultaterne til. Ingen kan være uenig i Mads Stenbjerres afsluttende udsagn om, at der er fordele, der taler for netanalyser – hvis de bliver brugt rigtigt og til de rigtige formål. Jeg har bare så mange dårlige oplevelser omkring denne præmis, at køberne skulle rykkes i ørerne, fordi de for ofte snyder sig selv, når de køber de analytiske discountprodukter uden tilstrækkelig deklaration af tilsætningsstofferne.
Svaret fra Instant-Answer ved adm. dir. Niels Blichfeldt hører til de dårlige oplevelser. Jeg fastholder, at udsagnet om, at “90% af de unge mellem 15-30 år er på nettet“ ikke kan bruges til noget i sammenhængen. Jeg skal ikke give debatniveauet et yderligere spark nedad, men når I-A anfører, at ungdomspanelet er repræsentativt for de unge som helhed, så er det ganske enkelt ikke rigtigt ud fra den almindelige betydning af repræsentativitet i analysesammenhæng. Det er også elementært, at de 9.000 i panelet må adskille sig fra de internetbrugende overhovedet, og at de ikke kan være repræsentative for aldersgruppen som helhed. Præmisserne for at hævde dette er ikke tal, og behøver ikke være det; almindelig omtanke er tilstrækkeligt.