Annons: Mediedagen 2019

Yougov för medvetet in felaktiga mått

Att som Yougov medvetet föra in felaktiga mått får inte förekomma i en förtroendebransch, skriver Novus vd Torbjörn Sjöström.

I min debattartikel (publicerad i Medievärlden 15 maj) efterlyste jag ett ansvarstagande bland branschens undersökningsföretag. Undersökningsföretagen måste stå som garant för korrektheten i sina mätningar samt slutsatserna man kan dra utifrån dem. Att vi som leverantör tar ansvar för metodik, datainsamling och analys är centralt för trovärdigheten för alla mätningar som genomförs. Det är också viktigt ur medias perspektiv. Media har svårt att själva kritiskt granska en mätning de beställt, de är duktiga på källkritik men mindre bra på självkritik. Genom att vi som undersökningsföretag, i den expertroll vi har, tar ansvar för genomförande och analys kan man enklare hantera eventuella feltolkningar. Samtidigt upprätthålls trovärdigheten och oberoendet kring de mätningar som publiceras, oavsett vem som är beställaren. Det är min bestämda uppfattning att detta är enda chansen att säkerställa att opinionsundersökningar har en fortsatt hög trovärdighet och även i framtiden är det viktiga beslutsunderlag som det är idag.

Ett exempel jag tog upp var Metro/Yougovs senaste väljarbarometer. I den refererar de till förändringar de hävdar var statistiskt säkerställda. En orimlig slutsats eftersom en undersökning baserad på en självrekryterad webpanel aldrig kan hänvisa till felmarginaler, statistiskt säkerställda förändringar eller signifikansnivåer. Mått som dessa på säkerställda förändringar och skillnader kräver ett slumpmässigt urval och är inte applicerbart på självrekryterade paneler.

Lars Björkman på Yougov känner sig manad att svara på min artikel. Svaret är en lång rad påståenden vilka jag har svårt att se relevansen kring. Hans främsta argument är att alla undersökningar är så bristfälliga att ingen med trovärdighet kan referera till felmarginaler längre.

Jag tycker att det är mycket allvarligt att någon som bestämt hävdar att dessa mått inte kan användas samtidigt använder dem i sina egna undersökningar. 

Detta bekräftar med all önskvärd tydlighet vikten av det jag efterfrågade i min ursprungliga artikel. Varje undersökningsföretag måste ta ansvar för sina egna mätningar och slutsatserna man kan dra utifrån dem. Att medvetet föra in felaktiga mått som skett här får inte förekomma i den förtroendebransch som undersökningsföretagen verkar i. Det jag initialt trodde var ett misstag och ett talande exempel på hur ett fel kan sprida sig, visar sig vara ett medvetet sätt att föra in felaktigheter, antagligen för att öka trovärdigheten kring deras mätningar.

Övriga argument i Lars replik tänker jag inte gå in på, de flesta är helt felaktiga och för debatten helt irrelevanta.

Som avslutning vill jag förtydliga att Novus tar ansvar för alla våra mätningar och till skillnad från vad som uppenbart pågår hos andra företag så använder vi inte kvalitetsmått vi själva inte kan stå för. Vi genomför kvalitetsstudier och metodutveckling för att säkerställa att de undersökningar vi genomför är så korrekta de kan vara, oavsett om insamlingsmetoden är till exempel telefon eller web.

Novus använder inte självrekryterade paneler för undersökningar mot allmänheten. Alla studier för att utvärdera korrektheten i resultatet och representativitet på åsikter (inte bara kända demografiska parametrar som ålder och kön) visar samma sak: Självrekryterade paneler innehåller problem som omöjligt kan rätas upp oavsett hur duktig man är i sitt hantverk. Det är inte skicklighet som krävs för att räta till en självrekryterad undersökning, det är bara tur om den stämmer. Riktiga undersökningar görs för att man inte skall behöva vara beroende av turen eller magkänslan. 

Torbjörn Sjöström

VD

Novus

 

Det finns inget slumpmässigt urval längre

Varning för självrekryterade paneler