Därför använder vi inte självrekryterade paneler

Som underhållning räcker det att det skulle kunna vara sant. Men som beslutsunderlag är det helt centralt att materialet är pålitligt, skriver Novus vd Torbjörn Sjöström.

Det är glädjande att se Medievärldens enkät och att så många redaktioner höjer kvaliteten i sin värdering av opinionsundersökningar. En nödvändighet för att inte förtroendet för hela branschen skall försvinna. En huvuddel förstår hur viktigt det är att dra gränsen vid självrekrytering.

Tyvärr ser jag en röd tråd i Inizios svar. I grunden kommer problembeskrivningen och lösningen från USA. Men dessa problem finns inte i Sverige.

Alla etablerade undersökningsföretag skulle enkelt kunna bygga upp självrekryterade paneler. Lönsamheten skulle öka. Men Novus gör det inte på grund av att det inte går att dra några slutsatser kring en bredare grupp än de som svarat. Frågar du 1 000 personer i en självrekryterad panel kan du bara uttala dig om vad dessa 1 000 har svarat, inget om svenska folket som helhet.

När jag tillträdde som vd på Novus undersökte vi saken i Nordens största metodstudie (Publicerad i maj 2012). 8 000 intervjuer genomfördes fördelat på tre självrekryterade, tre slumpmässigt rekryterade och två telefonurval. Studien visar tydligt alla dessa problem som teorierna befarar. Det finns flera snedvridningar som inte går att jämna ut om man inte redan vet svaret på just den fråga man vill undersöka. 

Undersökning i självrekryterade paneler är inte alltid fel, men man vet inte när det är rätt och när det är fel. Det går inte att uppskatta träffsäkerheten (felmarginalen). Undersökningar är beslutsunderlag, inte underhållning. Som underhållning räcker det att det skulle kunna vara sant. Men som beslutsunderlag är det helt centralt att materialet är pålitligt.

Att Inizio och Aftonbladets ”Sverige tycker”uppfyller Esomar och SMIF:s (europeiska och svenska branschorganisationen) regler är inte relevant. Reglerna fokuserar på integritet, inte populationsuppskattningar.

AAPOR (amerikansk branschorganisation) konstaterar att självrekryterade undersökningar producerar väljarbarometrar som stämmer med de andra. Då det finns ett känt facit att rikta in sig mot inom politiska mätningar till exempel ”Poll of polls”. De konstaterar också att det inte går att säga om de stämmer i frågor där det inte finns ett känt facit.

Om man kontaktar de som har fast telefon eller mobiltelefon når man alla vuxna svenskar. Novus har ringt både fasta telefoner och mobiltelefoner i sina undersökningar i många år.

Novus webbundersökningar genomförs utan en självrekryterad panel och populationsuppskattningar kan göras. Den viktiga slumpen bibehålls och alla uppenbara felkällor som självrekryterade paneler har minimeras. 

Att genomföra undersökningar via webben är ett teknikskifte, Novus var en av de första i Sverige att nyttja den metoden. Men man kan inte själv ansöka om att få vara med. Vi väljer slumpmässigt ut svenskar till panelen.

Att bygga en självrekryterad panel genom pop ups på hemsidor är inte ett teknikskifte, snarare innebär det att sänka kvaliteten så lågt att produkten blir obrukbar.

Inizio säger å ena sidan att de inte riktar in svaren efter andra undersökningar, å andra sidan att de gör det. Om USA skall vara en ledtråd har bland annat den kände statistikern Nate Silver konstaterat att det jobbas med något som kallas herding: ”The bad pollsters copy from the good”.

Undersökningarna ser rätt ut på totalen, men bidrar inte med någonting annat än en extrapolering av redan känd data. Effektivt för att skapa en falsk säkerhet kring deras undersökningar.

Jag misstänker att ”herding” används även i Sverige bland aktörer som har självrekryterade paneler. Till exempel publicerades inte en enda väljarbarometer om EU-valet i Sverige från de självrekryterade leverantörerna. Det råkar sammanfalla med det faktum att vi som arbetar med slumpmässiga urval genomförde så få undersökningar (på grund av att redaktionerna sparade pengarna till riksdagsvalet) att det inte gick att skapa en pålitlig ”poll of polls”, det vill säga inget känt facit att rikta in sig mot.

Visst det kan vara en slump att ingen tog tillfället i akt att både få publicitet samt visa att det funkar även utan ett känt facit. Samtidigt levererar de väljarbarometrar och förtroendemätningar med hög frekvens. Där det finns ett känt, färskt facit att förhålla sig till.

Apropå ”Sverige tyckers” fraud detection kan jag konstatera att jag sett experiment med flera mejladresser där undersökningar fortsätter komma från dem, trots flera byten av kön, inkomst och ålder på samma respondent. Enkla tester – uppenbara felaktigheter.

Novus parallellstudie visar att aktivister var överrepresenterade i självrekryterade paneler. ”Sverige tycker” har en högre profil än dessa paneler och är därmed en uppenbar måltavla för de som vill skapa en falsk bild av vad Sverige tycker.

Tyvärr är inte detta mina enda invändning. Jag vädrade min oro för nästan ett år sedan när en kvällstidning skapade undersökningar för att skapa nyheter. Nu har dessa besannats upprepade gånger. Det slarvas och man drar växlar på sina resultat som ett seriöst undersökningsföretag aldrig skulle gå med på. Det är lockande för en redaktion, men undersökningsföretaget måste ha integritet och försöka hålla emot.

Så ser mediecheferna på opinionsmätningar

Inizio om kritiken mot Aftonbladets mätningar
Torbjörn Sjöström, vd Novus