Working Paper No. 712

How Should Research Performance be Measured?

Rättvisa mått på forskningsproduktion behöver vara flerdimensionella

Publicerad: 15 augusti 2007, reviderad november 2007, februari 2008, september 2008, oktober 2009, mars 2010 och december 2010Antal sidor: 21Nyckelord: Impact of Research; Ranking; Research Output; Research Productivity; Bibliometrics; Google Scholar; h-index; Impact Factor; SSCIJEL-koder: A11; A13; A14; B41

How Should Research Performance be Measured? Magnus Henrekson och Daniel Waldenström


Forskningens ökade internationalisering och specialisering har drastiskt ökat behovet av jämförelser mellan forskare och forskningsinstitutioner i samband med medeltilldelning, anställningar och utnämningar. Men trots detta behov råder ännu ingen konsensus om hur dessa jämförelser ska utföras i praktiken. Denna studie går igenom flera av de idag vanligaste måtten på forskningskvalitet inom nationalekonomisk forskning. Vi finner att det oftast använda måttet förefaller vara bland de minst lämpade. Om man vill undvika felaktig fördelning av resurser bör därför flera olika mått på forskningskvalitet beaktas.

Forskningen kan bedömas på olika sätt

Tjänstetillsättningar och forskningsanslag kommer i framtiden att till stor del bero på hur enskilda forskares och forskarlags prestationer bedöms utifrån olika kvantitativa mått. Det är därför inte bara viktigt att vara medveten om att ett visst mått kan ge en ensidig bild när två enskilda forskare jämförs. Måtten i sig kan också ha stor påverkan på hur forskare arbetar och vilka frågor de väljer att forska om, beroende på vilken typ av forskning som belönas. En konsekvent användning av enbart ett enda jämförelsemått kan därmed få en avgörande betydelse för forskningsmiljöns utveckling.

Vår studie jämför hur sju alternativa mått på forskningskvalitet påverkar rangordningen och fördelningen av forskningsprestationer bland samtliga Sveriges nationalekonomiprofessorer.

I tre av måtten räknas endast publiceringar i internationella vetenskapliga tidskrifter. Dessa "tidskriftsmått" är de i särklass vanligaste utvärderingsmåtten i forskarvärlden. Inom europeisk nationalekonomi har särskilt ett av dessa tidskriftsmått, det s.k. KMS-måttet, fått ett avgörande inflytande efter att det upphöjdes till närmast officiell status av forskarorganisationen European Economic Association. Utöver de tre tidskriftsmåtten använder vi tre mått som baseras på hur många citeringar forskarnas verk fått, vilket är ett mer direkt sätt att mäta vetenskapligt genomslag på. Det sjunde och sista måttet är varje forskares totala antal forskningspublikationer (internationellt).

Det vanligaste måttet är inte det mest lämpade

Huvudresultatet av vår jämförelse är att det föreligger stora skillnader i utfall mellan de olika måtten. Skillnaderna gäller både fördelningen mellan toppen och botten av professorerna och hur deras inbördes rangordning ser ut.

Särskilt finner vi att det inom nationalekonomi uppmärksammade KMS-måttet är det mått som genererar den högsta koncentrationen i toppen av prestationsfördelningen. Samtidigt ger detta mått den nedre halvan av professorerna endast hälften så stor andel av den totala mängden prestationer som övriga mått (förutom ett av citeringsmåtten som är nästan lika koncentrerat). Dessutom är den rangordning som KMS genererar mest olik de övriga rangordningarna när man jämför med de andra tidskriftsmåtten.

Om detta enda mått dessutom är så snedfördelat som KMS-måttet inom nationalekonomisk forskningsmätning förefaller vara, kan ensidigheten till och med ge upphov till stora vetenskapliga snedvridningar.

IFN Working Paper nr 712, "How Should Research Performance Be Measured? Evidence from Rankings of Academic Economists", är författat av Magnus Henrekson och Daniel Waldenström, båda vid Institutet för Näringslivsforskning (IFN).

Vill du veta mer? Kontakta någon av författarna via e-post: magnus.henrekson@ifn.se och daniel.waldenstrom@ifn.se.
 

Magnus Henrekson

Kontakt

Tel: 08 665 4502
magnus.henrekson@ifn.se

Daniel Waldenström

Kontakt

Tel: +33-754844839
Mobil: 070 491 6082
daniel.waldenstrom@if...

Senaste boken

Flyget och företagen

 

Flyget-och-företagen.jpg

 

Shon Ferguson, IFN, och Rikard Forslid, Stockholms universitet, har forskar om flygets betydelse för näringslivet.

Forskarna visar att inrikes direktlinjer till Stockholm är viktiga för tillverkningsindustrin i kommunerna utanför de tre storstadsregionerna och att internationella direktlinjer är särskilt betydelsefulla för tjänstesektorn.

Institutet för Näringslivsforskning, Grevgatan 34 - 2 tr, Box 55665, SE-102 15 Stockholm, Sweden | Tel: +46-(0)8-665 45 00 | info@ifn.se