Så granskar du en lokal ranknings metod och urval

Varför metod och urval avgör en lokal ranknings trovärdighet

En lokal rankning ordnar enheter inom ett geografiskt eller verksamhetsmässigt avgränsat område efter ett eller flera kriterier. Trovärdigheten beror på vilka som ingår och hur de mäts. UKÄ konstaterar att rankning av universitet och högskolor blivit vanligare de senaste åren. Detsamma gäller lokala listor över skolor, vårdcentraler, restauranger eller kommunala satsningar: de ser enkla ut men vilar på val av data, tidpunkt och jämförelsegrupp.

Granska därför först metoden – faktorer, viktning, insamling, bortfall – och sedan urvalet: enheter, geografi, period. Kan rankningen inte svara på båda går det inte att avgöra om placeringen speglar skillnader mellan enheter eller i hur listan byggts.

Fråga först vad listan vill uppnå: informera, marknadsföra eller utvärdera? Syftet avgör vilka kriterier som är rimliga och vilka slutsatser som kan dras.

Kartlägg syfte, beställare och målgrupp

Fastställ vem som beställt rankningen och vem den är gjord för. En myndighets informationsrankning, en branschorganisations jämförelse och en leverantörs marknadsföringslista har olika incitament. Fråga: Vem betalar? Vem äger datan? Vem väljer kriterierna? Får den rankade lämna synpunkter före publicering?

Skilj på informationsrankning, marknadsföring och utvärdering. Informationsrankning hjälper en målgrupp att välja eller förstå ett område. Marknadsföring lyfter en produkt, ort eller aktör. Utvärdering bedömer måluppfyllelse eller kvalitet mot en definierad norm. Samma siffror kan användas i alla tre, men slutsatserna skiljer sig.

Bestäm också geografisk och organisatorisk nivå: lokal (till exempel kommun eller län), regional eller nationell? En lokal rankning måste redovisa sin avgränsning, annars kan enheter utanför området saknas eller jämföras fel. Påstår den sig vara lokal men bygger på nationella data? Kontrollera om siffrorna brutits ned till lokal nivå och om underlaget är tillräckligt stort.

Syfte i lokal rankning: Informationsrankning vs. Marknadsföring vs. Utvärdering

Lista rankningsfaktorer och granska viktningen

Be om en komplett faktorlista. Amiciteds genomgång av transparens i AI-rankning listar domänauktoritet, innehållets aktualitet, ämnesrelevans, engagemangssignaler och citeringsfrekvens. För en lokal rankning: Vilka mått används? Direkta mätningar eller proxyvariabler? Självrapporterade eller hämtade från en oberoende källa?

Granska viktningen: Hur vägs faktorerna samman? Är vikterna fasta eller ändras de mellan publiceringar? Normaliseras data – till exempel per invånare, per anställd, per elev – och i så fall hur? Om en tung faktor har svag koppling till det rankningen påstår sig mäta kan placeringen drivas av något annat än kvalitet.

I Amiciteds beskrivning av transparens i AI-rankning lämnas den exakta viktningen öppen. Samma krav gäller en lokal rankning: utan redovisad viktning går det inte att veta om en liten förändring i en faktor ändrar topplistan. Be också om det som inte redovisas: uteslutna faktorer, manuella justeringar, sponsring, partneravtal eller redaktionella val.

Granska urvalet: vilka ingår, vilka utelämnas och varför

Kontrollera populationen. Vilka enheter eller källor kvalificerar sig? Är listan uttömmande eller ett urval? Bygger den på AI-rankning eller sökmotorlogik beskriver Amicited att källor väljs ut och rankas efter ett antal faktorer (se avsnittet om faktorer och viktning). Fråga då: Vilka källor får vara med? Vem har lagt in dem? Finns en känd lista över uteslutna källor?

Granska geografisk och tidsmässig avgränsning. Gäller rankningen en kommun, ett län, en region eller hela landet? Vilken period mäts? En kort period kan släppa igenom tillfälliga variationer; en för lång kan dölja förändringar. Be om start- och slutdatum för varje datakälla.

Hantera bortfallet. Hur många enheter saknar data? Varför? Redovisas de som ”ej rankade” eller utelämnas de? Ett systematiskt bortfall – till exempel små enheter, landsbygd eller privata aktörer – påverkar urvalet. Begär bortfallsanalys och lista över enheter som inte kunde mätas.

Begär dokumentation och bedöm insynen

Beställ en metodbeskrivning som täcker syfte, beställare, population, datakällor, insamlingsmetod, databehandling, viktning, bortfall, uppdateringsfrekvens och ansvarig person. Be också om dataunderlaget i maskinläsbar form, beräkningsregler och eventuella avtal med dataleverantörer. För en lokal rankning bör det framgå om siffrorna är offentliga eller köpta.

För offentliga aktörer gäller offentlighetsprincipen. I en svensk forskningspublikation beskrivs den som grundlagsskyddad och central för demokratin. Enligt Skatteverkets rättsliga vägledning jämställs riksdagen och de beslutande kommunala församlingarna med myndighet vid tillämpning av offentlighetsprincipen (2 kap. 5 § TF). Begär ut metodbeskrivningar, upphandlingsunderlag, mejl och beslutsunderlag med stöd av offentlighetsprincipen; sekretess kan prövas för vissa uppgifter.

Använd en strukturerad insynsbegäran: hänvisa till handlingen, be om diarienummer, ange om du vill ha utskrift eller digital fil och begär eventuella sekretessprövningar skriftligt. En parallell finns i KU:s granskningsarbete: enligt 12 kap. 1 § regeringsformen har konstitutionsutskottet rätt att få ut protokoll över beslut i regeringsärenden och de handlingar som hör till ärendena. I en lokal granskning är motsvarande underlag ofta nämndprotokoll, tjänstemannautlåtanden och beställarens kravspecifikation.

Viktiga rättsliga ramar för granskning av lokal rankning

Testa reproducerbarhet och känslighet

Reproducerbarhet: Får du samma ranking med samma data, vikter och tidsperiod? Be om beräkningsfil eller tillräcklig dokumentation för att räkna om. Bygger rankningen på AI eller sökmotorlogik kan exakta vikter vara okända; Amicited beskriver faktorer men lämnar den exakta viktningen öppen (se avsnittet om faktorer och viktning). Testa då att variera det du kan och se hur stabil listan är.

Känslighetsanalys: ändra en vikt i taget, ändra tidsperiod, ta bort en stor enhet eller lägg till/ta bort en datakälla. Anteckna om topplistan förändras. Små justeringar som ger stora utslag betyder att resultatet är känsligt för antaganden. Ligger en enhet bara i topp med en viss period eller faktor finns risk för cherry-picking.

Testa även normaliseringen. En lokal rankning som jämför kommuner eller stadsdelar måste ofta ta hänsyn till befolkningsstorlek, ålder, socioekonomi eller annan bakgrund. Saknas sådana justeringar kan rankningen mäta skillnader i underlag snarare än i verksamhet. Begär att få veta vilka justeringar som gjorts och varför.

Sammanställ granskningen: skilj på metodkritik och resultatkritik

Skriv en kort rapport i fyra delar: (1) sammanfattning av vad rankningen påstår och vad du granskat, (2) metodfynd – faktorer, viktning, urval, bortfall, dokumentation, (3) resultatets känslighet när metoden varieras, (4) förbättringsförslag. KU:s granskningsbetänkande ger en användbar struktur: inledning, sammanfattande redogörelse, huvudavsnitt för varje granskningsfråga och eventuella reservationer.

Håll isär metodkritik och resultatkritik. Metodkritik: rankningen kan inte belägga sin slutsats, till exempel för att viktning eller urval är oredovisat. Resultatkritik: den redovisade slutsatsen är fel eller ofullständig utifrån de data som faktiskt används. Exempel: Om en lokal rankning utelämnar vårdcentraler utan digitala data är det ett urvalsproblem; om den sedan placerar de kvarvarande enheterna i en ordning som inte stöds av data är det ett resultatproblem.

Avsluta med frågor till beställaren: Vilka faktorer vägs in? Hur? Vilka ingår inte? Hur hanteras bortfall? När uppdateras listan? Vilka ändringar görs nästa gång? Ange vilka svar som krävs för att listan ska kunna bedömas som reproducerbar.