Anförande Kvalitetsseminariet 15 februari 2018
Undersökningsbranschen är mitt i en omvälvning med hög förändringstakt pådriven av digitaliseringen och människors förändrade beteenden och vanor. Här försöker jag ge min bild av nuläget och säga något om vad jag ser skymtar runt hörnet för branschen.
De senaste åren har präglats av flera oväntade och omtumlande politiska händelser. Britternas beslut att lämna EU och Donald Trumps seger i det amerikanska presidentvalet har skakat om, oavsett om perspektivet är undersökarens eller den politiskt intresserade medborgarens.
Snabbt satte sig bilden att undersökare och experter av olika slag hade misslyckats med att förutse dessa valresultat. Nu vet vi att den beskrivningen är onyanserad och delvis felaktig, men för många människor har det blivit en sanning. Att mätningarna visade fel.
För oss undersökare blev 2016 ett år av granskning och ifrågasättande. De sammanvägningar av mätningar som varit så träffsäkra, till exempel Nate Silvers modeller, och de stora mediebolagens prognoser och tal om sannolikheter fick människor över hela världen att tro att valutgången både i USA och i Storbritannien var given. Odds-sättarna och spelbolagen hängde på.
Och så kom valresultaten som en chock.
Om 2016 innebar ifrågasättande så bjöd 2017 på ett antal val i Europa med träffsäkra mätningar. Nederländerna, Frankrike och Norge för att nämna några exempel. Men att mätningarna fungerade väl skapade ingen särskild uppmärksamhet.
Jag har ofta fått frågan: Har ni undersökare dragit några slutsatser efter Brexit och Trump? Har ni lärt er något?
Ja, det har vi. Både när det gäller metoder och hur våra samarbeten med medier som publicerar resultaten bör gå till. Och sannolikt har granskningen som följde bidragit till mer av självrannsakan och att undersökare runt om i världen ser på den egna verksamheten med mer kritisk blick.
En snabb teknisk utveckling, nya kommunikationsvanor och större skillnader i beteende mellan yngre och äldre är några faktorer som har bidragit till att det har blivit svårare att nå och intervjua ett representativt urval av befolkningen, både i Sverige och i många andra länder.
De praktiska problemen för undersökare har blivit fler och många undersökningar genomförs numera med metoder som ligger längre från den klassiska sampling-teorin.
Till att börja med har vi bristande urvalstäckning. Våra tester av olika urvalskällor visar att vi misslyckas med att hitta kontaktuppgifter till en del av urvalet. Vi får ett täckningsfel framförallt bland yngre personer som saknar fast telefon och där användning av mobiler med kontantkort är vanligare. Dessa personer har alltså ingen möjlighet att bli tillfrågade att delta i våra undersökningar.
Sedan har vi trenden mot mer bortfall. Bortfallet har ökat år för år under en längre tid och dessutom har skillnaderna mellan yngre och äldre blivit större.
För 20 år sedan hade fortfarande de flesta hushåll ett fast telefonabonnemang och ett samtal till hemtelefonen var ett naturligt sätt att kontakta ett hushåll, oavsett respondentens ålder. Många svenska hem hade en telefon och en telefonkatalog på en bänk i hallen.
Idag är telefonin individualiserad. De flesta av våra intervjuer genomförs över mobiltelefon. Telefonen har på några decennier förvandlats från hushållets gemensamma, tekniskt enkla apparat till den smarta mobilen som blivit en ständig följeslagare för kommunikation och underhållning. Även inne på toaletten enligt flera undersökningar!
Bortfallet är också ojämnt fördelat på andra sätt. När vi på Ipsos i efterhand analyserade våra mätningar inför senaste riksdagsvalet så kunde vi se att vi hade ett systematiskt högre bortfall i starka SD-områden och lägre bortfall i starka MP-områden. Socioekonomiska och politiska faktorer har betydelse.
Med smarta mobiler kommer nya smarta appar, som Truecaller och andra samtalsblockerare. Appar som automatiskt filtrerar bort oombedda telefonsamtal och samtal från okända nummer.
Enligt en ny undersökning från Demoskop uppger 60 procent av svenskarna att de sällan eller aldrig svarar när de blir uppringda av ett okänt nummer. Och 30 procent uppger att de har installerat mobil-appar som automatiskt blockerar samtal och sms från nummer som ej är kända.
Många svarar inte i telefon. Och då kan de heller inte komma med i våra telefonrekryterade respondentpaneler.
Hur når vi dessa respondenter idag?
För 10 – 15 år sedan genomfördes de flesta publicerade opinionsundersökningar på ungefär samma vis. Idag har vi tvärt om en stor metodvariation. En flora av olika metoder används. Telefon mixas med webb. Olika urvalskällor blandas. Nya idéer för att efterbearbeta data har introducerats. Respondenter rekryteras till paneler på olika sätt.
Och skattningarna av partiernas stöd spretar därefter. I november skattade SCB stödet för Socialdemokraterna och Sverigedemokraterna till 33 procent respektive 15 procent. Enligt Sentio var stödet för dessa partier 27 procent och 22 procent och enligt YouGov 25 procent respektive 21 procent.
Är stödet för Socialdemokraterna 33 procent, som SCB hävdar, eller 25 procent som YouGov rapporterar? Det är en viss skillnad.
Vem ska man lita på, undrar kanske en intresserad tidningsläsare.
För några veckor sedan svarade jag på ett brev från en auktoritet inom statistikerkåren, tidigare verksam vid SCB.
I sitt brev skriver han att de undersökningar som Ipsos och andra institut genomför i respondentpaneler saknar vetenskapligt stöd. Att undersökningsresultat presenteras som fakta i media, men att metoderna som används är ovetenskapliga.
Han uttrycker en oro för att vi tummar på kvaliteten och att medier som berättar om våra resultat ska basunera ut fake news istället för korrekta skattningar av partisympatier, förtroendenivåer och annat.
Och visst har min brevskrivare en poäng. En del av de nya metoderna har svagare vetenskapligt stöd jämfört med undersökningar som genomförs enligt klassisk samplingteori.
Och jag delar till viss del hans oro. Det vi känner till om de olika felkällorna, som täckningsproblem, stort bortfall och så vidare, talar för att riskerna för fel borde vara större än tidigare.
Det måste vara förvirrande för läsare och tittare som tar del av dessa skattningar som spretar åt olika håll. Konspirationsteorier om mörkning och tillrättaläggning frodas på nätet. Det är inte ett dugg förvånande.
Man kan ta fram storsläggan och kalla det ovetenskapligt. Men såhär ser verkligheten ut. Det har blivit krångligare. Lösningen är inte att sluta undersöka.
Så vad är lösningen?
Vi kommer inte i närtid att hitta en optimal metod som löser alla problem. Men vi får fortsätta att pröva och utveckla, med öppet sinne. Sträva efter bättre transparens och mer kunskapsdelning mellan oss undersökare samt i relation till forskare.
Redaktionsledningar och utgivare har också en viktig roll.
Medier som beställer och publicerar väljarbarometrar och andra undersökningar bör sätta sig in i hur undersökningarna genomförs och vilka felkällorna är. Och det finns en stor förbättringspotential när det handlar om att upplysa läsare och tittare om att de skattningar som publiceras är förknippade med osäkerhet. Varje månad kommer nya exempel där journalister och kommentatorer drar stora växlar på mycket små förändringar från månad till månad, förändringar som ofta handlar om rena slumpvariationer.
I sina bästa stunder kan opinionsundersökningar bidra med kunskap om samhället och informera både medborgare och makthavare om väljarkårens åsikter i aktuella samhällsfrågor. Sådan information kan vara betydelsefull som beslutsunderlag, och har ett demokratiskt värde, både för vanliga väljare och för politiska beslutsfattare.
Just den aspekten, vad dessa undersökningar egentligen bidrar med, kommer ofta bort i diskussionen om metoder och huruvida man kan lita på mätningarna. Det är frågor som borde lyftas oftare, både av undersökare och av redaktionsledningar.
Digitaliseringen har förändrat beteenden och vanor och har kanske gjort vårt jobb svårare. Men samtidigt har nya möjligheter öppnats. Idag kan information från fler datakällor användas för att komplettera våra traditionella kvantitativa enkätundersökningar.
Undersökningar är fortfarande basen i vårt jobb. Men sökdata och inlägg i sociala medier som Facebook, Instagram och Twitter bör plockas in som komplement för att fördjupa analysen.
Utmaningen framåt för oss undersökare är dubbel.
Vi bör fortsätta att utveckla och förfina de etablerade metoderna och hitta nya vägar att nå respondenterna. Samtidigt behöver vi lära oss hur analys av fritext, bilder, video och sökdata kan kombineras med det etablerade för att ge en rik och allsidig belysning av frågeställningar.
Låt mig nämna tre exempel på hur nya datakällor kan användas som komplement:
Den Washington-baserade tankesmedjan Brookings Institution släppte nyligen något de kallar en ”big data analysis” med titeln ”What Internet search data reveals about Donald Trump’s first year in office”
Några slutsatser från studien:
- Allmänhetens intresse för Donald Trump har minskat successivt under 2017. Antalet sökningar har minskat till ca 20 procent av mängden sökningar under den vecka han svors in som president
- Det finns tydliga skillnader mellan delstater och mellan städer när det gäller vilka sakområden som intresserar väljarna i relation till president Trump
- Antalet sökningar på Donald Trump och riksrätt har ökat kontinuerligt sedan han tillträdde
Brookings visar att analys av sökdata är ett effektivt sätt att identifiera trender. Nya trender kan upptäckas snabbare än i traditionella undersökningar eftersom informationen skapas och samlas in live, i realtid.
Enligt ett känt exempel ska det vara möjligt att följa Google-sökningar på ordet influensa och på så sätt upptäcka var i världen som influensaepidemier håller på att bryta ut.
Sökdata visar vad som engagerar människor och hur intressen för ämnen och personer förändras över tid. Mängden data gör det möjligt att analysera och bryta på variabler som till exempel geografiska regioner. Begränsningen handlar om att sökdata visar intresset för en fråga, och i viss mån intensiteten i intresset, men kanske inte riktningen, vad människor tycker och tänker.
Ett gäng Ipsos-kollegor från kontoren i Mexico City och Washington håller just nu på att ta sig an det mexikanska presidentvalet och de har valt att satsa på en kombination av undersökningar med etablerade metoder och analyser av data från andra källor.
”We are going to use a whole lot of data streams.. “ säger min kollega Chris Jackson i Washington när han berättar om planerna under ett Skype-samtal. Programmet inför valet innefattar bland annat
- Större basundersökning med personliga intervjuer baserade på befolkningsurval
- Daglig tracking-undersökning med telefonintervjuer
- Analyser av inlägg och kommentarer i sociala medier för att fånga trender och väljarnas bild av kandidaterna
- Analys av ekonomiska indikatorer som tillväxt, arbetslöshet et cetera
Sedan ska teamet försöka väva samman informationen från de olika datakällorna och skapa prognoser för valutgången i olika delar av Mexiko. Ett ambitiöst och innovativt program, samtidigt ett visst risktagande eftersom de introducerar subjektivitet och nya möjliga felkällor.
Och så ett exempel från Sverige.
Kantar Sifo har just lanserat ett verktyg för att analysera det politiska samtalet på sociala medier. Ambitionen är att fånga vad som sägs om partierna och de politiska sakfrågorna.
Den första analys som presenterats avser september – oktober 2017 och bygger på ca 1 miljon inlägg och artiklar från Twitter, Instagram, Facebook och redaktionella medier. Analysen fokuserar på hur stort utrymme partier och partiledare får i sociala medier, inom vilka ämnen och sakområden som partierna och partiledarna syns och hörs samt hur tonen var gentemot partier och partiledare.
Analysen kompletterar de traditionella mätningarna om sakfrågor och visar bland annat att invandring och integration är det politiska sakområde som engagerat mest under mätperioden. Frågan har toppat både Twitter, Facebook och de redaktionella mediernas agenda.
Näst största fråga under perioden är brottslighet, lag och ordning. Diskussionerna har kretsat kring situationen för polisen, förslag om hårdare straff, övergrepp kopplade till MeToo samt våldsbrott och skjutningar.
Vad blir nästa steg? Jag har några hypoteser:
- Förväntningar och krav på snabbhet kommer bara att öka. Från kunder, från respondenter, från medier
- Integration av information från olika datakällor kommer att bli normen. Vi har bara sett början
- Enligt Ipsos Tech Tracker ägnar britter under 30 år mer än 24 timmar i veckan åt sina smart phones. Och det var 2016. Mobilen kommer att stå i centrum för det mesta vi gör framåt
- Passiv datainsamling kommer att bli en nyckelfaktor
Genom applikationer i telefonen kan vi registrera plats, var en person är, hur hon rör sig, vem hon är tillsammans med, vilka appar hon använder, vilken media hon konsumerar, vad hon gör online, vad hon söker efter, vilka sociala medier hon använder.
Smarta mobiler kan ljudlöst och diskret registrera allt vi gör.
Men den personliga integriteten då?
Det är en annan artikel.
Av David Ahlin