Gå til hovedtekst

DFØ anbefaler at evalueringsdesign inngår i planleggingsfasen

På frokostseminar arrangert av DFØ og produktivitetskommisjonen anbefaler DFØ at departementene etterspør evalueringsdesign i en tidlig fase. Evalueringsdesign, evalueringsrammeverk, evalueringsopplegg, evalueringsplan: kjært barn har mange navn.

Poenget er å komme tidlig i gang med å tenke gjennom hva slags informasjon som skal samles inn, hvordan den skal samles inn, hvem som skal gjøre det, hva den skal brukes til og hvem som skal bruke den på hvilke tidspunkt. Så tidlig at alle som er involvert i tiltaket også kan bidra før, underveis eller etter en tid, med nødvendig informasjon.

Hvorfor evalueringsdesign før iverksetting?

  • bedre evaluerbarhet
  • effektiv datainnsamling
  • gode prosesser for vurdering og formidling av funn
  • resultatene kommer til riktig tid

Evalueringsdesign kan gi «oppskriften» til en enkelt avgrenset evaluering – eller det kan beskrive hvordan et tiltak/virkemiddel skal måles og evalueres over tid, med ulike tilnærminger.

Noen elementer i et evalueringsdesign:

Formål

Hvem skal bruke evalueringsresultater, når og i hvilke beslutningsprosesser (formål)

Analytisk modell

Analytisk modell som beskriver hvilke forventninger vi har til sammenhenger mellom tiltak og resultater, eventuelt inkludert en beskrivelse av forutsetninger og risikoer (resultatkjede, programteori, nedbrytning av mål ol.)

Evalueringsspørsmål

Ved å konkretisere evalueringsspørsmål så tidlig som mulig får vi også god hjelp i å formulere mål så presist som mulig og i å tenke nøye gjennom hva det er realistisk å dokumentere av måloppnåelse.

Jo rundere evalueringsspørsmålene er formulert – jo mer frihet gir vi til tolkning - og jo større risiko er knyttet til om vi får den informasjonen vi har behov for.

Evalueringskriterier / suksesskriterier

  • Hva bruker vi som referanse for å vurdere verdi?
  • Skal vi sammenlikne med andre eller vurdere mot forhåndsdefinerte kriterier?
  • Ved å tydeliggjøre kriterier tidlig er vi også åpne om begrensninger i konklusjonene. og forebygger misforståelser i diskusjoner om hva evalueringsarbeidet egentlig gir svar på.

Metodevalg og tilnærming:

  • Trenger vi breddeinformasjon, har vi behov for å generalisere?
  • Hvilke indikatorer skal vi samle inn informasjon på i forkant (nullpunkt), hvilke vil vi følge med på underveis, og hvilke vil vi innhente på senere tidspunkt?
  • På hvilke områder vil vi beskrive endring fortløpende og på hvilke områder ønsker vi statistiske analyser?
  • Trenger vi dybdeinformasjon og grunnleggende forståelse for hvilke mekanismer som virker?
  • Holder det å identifisere og analysere god praksis?
  • Holder det å identifisere og analysere avvik?
  • Kan vi bruke case studier eller historiefortelling som metode, eller må vi ha «data»?
  • Trenger vi data fra SSB, brukerundersøkelser, fag-felle evalueringer, intern rapportering, følgeevalueringer ell. Hva er en god kombinasjon?
  • Gir valg av metode og tilnærming balansert og helhetlig informasjon som tilfredsstiller krav til relevans og pålitelighet?

Organisering og ressurser

  • Hvem eier evalueringsarbeidet?
  • Hvem har ansvar for gjennomføring?
  • Har vi god nok kunnskap om ulike metoder og tilnærminger til å velge riktig miks, eller bør vi involvere forskere/konsulenter i en tidlig fase?
  • hvem bør samle inn data?
  • hvem bør gjennomføre analysene og konkludere?
  • hvem bør utforme eventuelle anbefalinger?
  • Krav til konklusjoner – beslutningsgrunnlag?
  • Skal de være rettet mot tiltak på et bestemt nivå? (politikere, ledere i departement, etatsstyrere, ledere i virksomhet, fagpersoner)
  • Hvilken type? (funn, læringspunkter, anbefalinger)
  • Hvordan ønsker vi formidling av resultater? dokumentasjonsbehov, innspill til forbedring, endring eller avslutning. (rapporter, seminarer, beslutningsprosesser)

Krav til oppfølging og bruk

  • Evaluering kan være kostbart og krevende for de som blir involvert, og kanskje spesielt for de som blir evaluert – hvordan sørger vi for en god prosess i etterkant som gir tillit og troverdighet?
  • Jo tydeligere vi definerer oppfølging og bruk i forkant – jo mer forpliktende blir evalueringsarbeidet.
Direktoratet for økonomistyring, Pb 7154 St. Olavs plass, 0130 Oslo | E-post: evaluering@dfo.no | Personvernerklæring (Privacy policy)