Inizio om kritiken mot Aftonbladets mätningar

Varken Ekot eller SVT:s nyhetsprogram accepterar självrekryterade paneler, och DN har nyligen skärpt sin policy. Karin Nelsson på Inizio svarar på kritiken mot undersökningsmetoden.

Förra veckan kritiserades Aftonbladets opinionssatsning ”Sverige tycker” från olika håll, bland annat från vänstersajten Dagens Arena

Kritiken har huvudsakligen rört tre aspekter: att Sverige tycker-panelen är självrekryterad och därmed av många anses som mer opålitlig än traditionella urvalsmetoder, att Aftonbladet alltför lättvindigt använder mätverktyget för viktiga frågor som politik (i det kritiserade fallet, Sverigedemokraternas opinionsläge), och att Aftonbladet drog för stora växlar på mätningsresultatet, som de bland annat använde för att göra en framtidsanalys.

Karin Nelsson, senior rådgivare på Aftonbladet/Sverige tyckers samarbetspartner Inizio, svarar på kritiken:

– Det bygger på missuppfattningar och förutfattade meningar om hur vi arbetar med opinionsundersökningar. Jag är lite bekymrad över att kritiken vrider uppmärksamheten åt fel håll. Sverige Tycker är en seriös aktör som via Inizio omfattas av de branschetiska regler som gäller för undersökningsbranschen via SMIF och Esomar. De verkliga hoten mot undersökningsbranschen kommer från Facebook, Google och andra företag som tillhandahåller undersökningar som inte följer regelverk kring arbetssätten. Vi vill bidra till en förnyelse av den klassiska undersökningsbranschen genom att dela med oss av hur vi arbetar.

Varför tror du att många medier väljer bort självrekryterade paneler?

– Det beror på okunskap. Det finns gamla, beprövade metoder och det tar lite tid att förändra attityder. Men jag har upplevt tidigare teknikskiften inom branschen, som från post till telefon, och även då var motståndet stort. Jag välkomnar den här debatten. Många har inte förstått vad det här är och hur vi jobbar. Vi är professionella, vi har väldigt lång erfarenhet av att även arbeta med slumpmässiga metoder.

Finns det några vetenskapliga belägg för att självrekryterade paneler ger lika säkra svar som undersökningar med slumpmässigt urval?

– Vetenskaplig metod finns, men teoretisk underbyggnad saknas. Det pågår mängder av forskning kring detta runt om i världen. Det finns flera sätt att kontrollera våra resultat, bland annat genom att göra flera undersökningar där vi ställer samma fråga, och jämföra svaren med svaren i andra opinionsundersökningar med andra urval.

– När det gäller panelen kan vi konstatera att vi inom Schibsteds universum når ca 80 procent av svenska folket varje vecka. Om vi jämför med telefonundersökningar är det idag bara 60 procent i Sverige som har fast telefoni.

Men det går väl att ringa mobiler också?

– Ja, men det komplicerar datafångsten.

Hur fungerar era utskick?

– Alla får vara med i vår panel, men alla får inte svara. När vi väljer ut de som ska svara så är det efter väldigt noggrant utprövade metoder. Sedan när vi analyserar de inkomna svaren använder vi statistiska modeller som påminner mycket om de modeller man använder för undersökningar baserade på slumpmässiga urval, men vidareutvecklade för vår självrekryterade panel.

 Vad kalibrerar ni mot?

– Mot SCB:s officiella statistik, efter ålder, kön, region och vilket parti man röstat på i föregående val.

Ni kalibrerar inte mot andra opinionsundersökningar som bygger på slumpmässiga urval?

– Nej, det gör vi absolut inte.

– Vi har väldigt hög svarsgrad, jag tror det beror på att vi har korta enkäter som folk verkligen svarar på.

Vad har ni för svarsfrekvens?

– Vi pratar inte om svarsfrekvens, utan om svarsgrad, för det finns ju ingen statistisk teori kring det vi gör, och det är ju så klart en svaghet. Svarsgraden ligger på cirka 70 procent bland dem vi skickar ut enkäterna till. 

Hur hanterar ni att en person kan registrera sig under obegränsat antal alias?

– Det finns metoder för att upptäcka missbruk, ”fraud detection”. Falska svar är ett problem som finns med i alla undersökningar, att någon kan svara i någon annans namn.

 Men det går ju att göra det i en lite annan skala med webbenkäter?

– Ja, men det finns metoder för det också, det kan vi upptäcka på ip-adresser till exempel.

 Har ni upptäckt fusk och exkluderat användare?

– Inget som är systematiskt eller omfattande som kommit till min kännedom.

 Innebär det att det aldrig hänt eller att ni inte har upptäckt det?

– Det är säkert de som anmält sig för att se hur det här fungerar, och för att lära sig. Det är ju också så att även om du registrerar dig via flera e-postadresser så är det vi som väljer vilka som ska få svara på varje specifik undersökning, så du måste upp i en väldigt stor volym för att kunna påverka resultaten. En panelmedlem svarar i snitt på 4,2 av 150 utskickade enkäter på ett år, den så kallade uppgiftslämnarbördan.

Så ser mediecheferna på opinionsmätningar