Stor ståhej for ingenting

I Markedsførings Netnyheder kunne man i marts læse, at resultatet af DRRB’s ikke offentlige undersøgelse af kundernes vurdering af bureauerne var forskellig fra resultatet af Børsens Nyhedsmagasins meget offentlige bureaukåring i BNY nr. 9. Forskellen gjaldt placeringerne på reklamebureauernes “top 5” og var forklaret med analysernes forskellige fremgangsmåder.

Det er svært at hidse sig op over, og da jeg er skeptisk over for det meningsfulde i at måle, hvem der er Danmarks bedste reklamebureau, havde jeg næppe set artiklen, hvis ikke BNY med reference til ovenstående i nr. 10 havde et voldsomt angreb på Markedsføring for at vildlede læserne og beklikke BNY’s troværdighed.

Flueknepperi

Artiklen i BNY nr. 9 om “Reklameanalysen 2002” viste sig at være erhvervsjournalistisk underholdning, der ikke går ind på, hvad tallene kan bruges til, og hvad de reelt betyder.

Artiklen refererer annoncørernes forventninger til brug af reklame i 2002 og underbygger, at det ikke ser lovende ud, ved at slå svarene “samme brug af reklame” og “mindre brug af reklame” sammen til 54% og sammenligne denne sum med de 46%, der forventer et større budget. “Ved ikke” er ikke medtaget. Det er ikke smart, når man beskylder andre for at vildlede læserne.

Flueknepperi?? Ja måske isoleret set, men hvis der er tilstrækkelig mange fluer, kan det give store resultater. Det er ud fra artiklen svært at forstå, hvorfor rangfølgen af Danmarks 30 største reklamebureauer er baseret på “image vejet med kendskab”, og hvordan de firecifrede “imagescores” fremkommer. Det fremgår ikke, hvordan respondenterne er udvalgt, og 64% frafald blandt annoncørerne ser ikke rart ud. De mange ord om de mest kendte tv-reklamer levner ikke plads til at forklare, hvordan vurderingen af reklamebureauerne på otte kriterier er foregået. Til gengæld er det klart formuleret – og med til at øge min forvirring over tallenes nytteværdi – at “vægtningen er gennemført ved, at alle vurderinger er lagt sammen, dog tæller kreativiteten dobbelt. Herudover er kendskabet til de deltagende bureauer vejet sammen med imageresultaterne”.

Det er teoretisk snak om småting, fordi helheden består af småting, og fordi fornuftig omgang med teoriens krav er en betingelse for, at man hverken snyder sig selv eller andre. Og det var i hvert fald nok til at få mig til at sige ja til at “anmelde” den fulde 122 sider lange rapport, som BNY og analysebureauet IFO annoncerede i artiklen i nr. 9.

Uklar metode

“Reklameanalysen 2002” er en stor analyserapport, hvis positive og negative sider ikke kan ydes fuld retfærdighed på pladsen her. De 2,5 spørgeskemaer af 5 mulige, som analysen kan få, bygger derfor både på en helhedsvurdering og på flere detaljer end de nævnte.

Undersøgelsen omfatter 180 annoncørers og 119 reklamefolks vurdering af medie- og reklamebureauer. Det fremgår ikke, hvordan respondenterne er udvalgt. Jeg holder mig til den del af undersøgelsen, hvis population er de “reklame- og marketingansvarlige” for de 500 største annoncører ud fra Gallup Adfact, der skulle vurdere de 30 største reklamebureauer målt ud fra bruttoavancen i 2000.

Det er et definitionsspørgsmål, om der er tale om en undersøgelse af reklamebureauernes “image”. Undersøgelsens formål er at give reklamekøbere en oversigt over markedet til brug for vurdering af nuværende og eventuelt kommende samarbejdspartnere. Og det er jo godt nok, hvis “markedet” er de 30 største, og tallene holder vand.

Principielt er der tale om en totaltælling uden udvalgsusikkerhed. Svarprocenten på 36%, der betegnes rutinemæssigt som tilfredsstillende uden omtale af, hvad det betyder for resultaterne, at 320 af de 500 respondenter ikke har svaret.

Det er ikke til at vide, hvad “de marketingansvarlige” lægger i at “kende” et reklamebureau, men det er indlysende kun at lade “kendere” af et bureau vurdere det. Der er derimod ikke noget indlysende i, at vurderingerne tæller dobbelt, hvis respondenten kender “godt” og ikke blot “nogenlunde”. Hvis disse respondenters svar overhovedet skal vægtes mere, hvorfor så ikke med 3 eller 0,5.

Brixtofte på borgmestrenes top 3?

I oversigten over kendskabet til bureauerne anføres først andelen, der overhovedet kender (fx for Bates 70% eller 126 respondenter) og derefter andelen af disse (og ikke af alle), der “kender godt” (for Bates 27% eller 34 respondenter), hvis svar altså i forhold til Bates vejer dobbelt så meget som de 92 andres. I den anden ende af kendskabet er der ca. 45 respondenter, der kender fx NP3, Buhl UnLimited og det ikke eksisterende Rap Collins, og fra 10 til 17, der kender disse bureauer godt.

I redegørelsen for undersøgelsen nævnes yderligere, at “da nogle bureauer naturligvis er mere kendt end andre, hvilket giver forskelle i antallet af vurderinger, er rangfølge på imagekriterierne fundet ved at veje frekvensfordelingerne for de enkelte kriterier med kendskabet til bureauerne”.

Jeg forstår hverken rækkefølgen af beregningerne, hvorfor de to vejninger gennemføres, eller hvad det betyder for resultaterne. Men jeg har en lumsk mistanke om, at det er positivt for “imagescoren” at være kendt. Fremgangsmåden kunne måske løfte Brixtofte op i top 3 blandt danske borgmestre.

Hvad er der i tallene?

På et selvudfyldt skema er respondenterne bedt om for otte kriterier at vurdere de bureauer, de kender på den ene eller anden måde på en fem-punktsskala. I redegørelsen for metoden står der:

Sammenvejningen af imagebedømmelserne er gennemført efter følgende metode:
1. For hver af imagebedømmelserne er gennemsnittet beregnet. På skalaen udtrykker 5 den bedst mulige vurdering, medens 1 udtrykker den ringeste imagevurdering.
2. Bedømmelserne på de 8 imagekriterier er lagt sammen. Ved sammentællingen er parameteret “kreativitet” dog talt med to gange og får således dobbelt vægt.
3. Imageværdierne er vejet med kendskabet.

Jeg læser det således, at der er beregnet et gennemsnit for hver enkelt respondent for hver af de otte vurderinger. Gennemsnitsberegningen af fem kvalitative, semantiske udsagn er en udbredt fremgangsmåde, men et alvorligt (teoretisk ukorrekt) skridt i retning af, at vi ikke ved, hvad tallene betyder.

Derefter er æbler og pærer lagt sammen og helt arbitrært er kreativitetsæblet lagt ned i talhakkeren to gange. Denne tredje vægtning af tallene svækker brugsværdien, hvis man ikke er enig i denne præmis for et positivt image. Det svært gennemskuelige resultat er til sidst vejet med kendskabsprocenten. Det er en tal-hakkemaskine, der sikrer effektivt mod en blot nogenlunde præcis forståelse af, hvad tallene betyder.

Glem placeringerne

Der er rigtigt mange tal i den rapport, der kan købes hos Børsens Nyhedsmagasin. Selve imagescoren og placeringerne fra 1-30 kan jeg ikke anbefale nogen at tage sig af. Jo mere, der er tale om de enkelte målinger af bestemte kriterier i forhold til de enkelte bureauer, jo mere nytte kan der være i resultaterne fra 180 af de 500 største annoncører, men man skal huske på, at udvælgelsen af respondenterne er ukendt, og at resultaterne bygger på kvalitative udsagn i form af placering af tal i et spørgeskema, som det kan være svært at holde styr på for selv den bedste vilje.