Gå til hovedtekst

Canada - en inspirasjon for bruk av evaluering for bedre styring

Direktoratet for økonomistyring (DFØ) besøkte i juni den canadiske evalueringsforeningens (CES) årlige konferanse og møtte representanter fra Treasury Board of Canada Secretariate / Centre of excellence for evaluation.

Direktoratet for økonomistyring (DFØ) besøkte i juni den canadiske evalueringsforeningens (CES) årlige konferanse. CES markerer i år 35. årsjubileum for konferansen med å feire bidragene til utviklingen av evalueringsfagfeltet i Canada. Konferansen, som varte i tre dager, hadde over 600 besøkende. Tilstede var både evaluatorer, studenter og personer fra offentlig forvaltning, frivillig sektor og private fondsorganisasjoner. Programmet hadde stor variasjon av workshops, delsesjoner og plenumsforedrag. I denne artikkelen vil vi oppsummere noen overordnede erfaringer fra konferansen. For interesserte finnes det også en litteraturbase fra konferansen.

 

 

DFØ med interessant besøk i Canada

Direktoratet for økonomistyring (DFØ) besøkte i juni den canadiske evalueringsforeningens (CES) årlige konferanse. CES markerer i år 35. årsjubileum for konferansen med å feire bidragene til utviklingen av evalueringsfagfeltet i Canada. Konferansen, som varte i tre dager, hadde over 600 besøkende. Tilstede var både evaluatorer, studenter og personer fra offentlig forvaltning, frivillig sektor og private fondsorganisasjoner. Programmet hadde stor variasjon av workshops, delsesjoner og plenumsforedrag. I denne artikkelen vil vi oppsummere noen overordnede erfaringer fra konferansen. For interesserte finnes det også en litteraturbase fra konferansen.

Hva har Canada gjort i de 35 årene på evalueringsfagfeltet som er nyttig for oss andre?

 

#1 Fokuset for evaluering i Canada er særlig på program- og policynivået

I Canada har man bygget opp evaluering som et verktøy som er særlig fremtredende for program- og policynivået. Fokuset var i mindre grad på kortsiktige prosjekter og programmer på lavere nivåer.  Evaluatorer og fagfolk har jobbet sammen med statlige virksomheter for å bygge opp en evalueringskultur. Det gjelder også å utvikle bruk av evalueringsmetoder og kunnskap i planleggingen av programmene ved å etablere en “logic model” (resultatkjede) for rasjonalet bak programmet og hva det skal bidra til. Det gjør det også mye enklere å evaluere i etterkant om målene er nådd.   

#2 Fagfeltet er bygget opp- og basert på partnerskap og samarbeid

Det er engasjement og vilje til samarbeid og læring fra både evaluatorer og oppdragsgivere. Man har jobbet aktivt med å få til gjensidig tillit og forståelse for hva evalueringsprosessen innebærer. Virksomhetene er avhengige av evaluatorenes kompetanse, samtidig som evalueringen evaluator skriver ikke blir bra uten virksomhetens kunnskap og kompetansenivå. Den canadiske evalueringsforeningen (CES) har vært en aktiv pådriver til å profesjonalisere fagfeltet gjennom for eksempel sertifisering av evaluatorer.

#3 Man har hele tiden hatt en pragmatisk og eklektisk tilnærming til design og metode. Slik jobber man for å en sunn definisjon av effekter og resultater med tanke på å få fram en fornuftig verdi av hva endring betyr.

“What works for whom and when”: I Canada har de hatt som motivasjon å bygge opp en læringskultur som tar utganspunkt i hva som virker og ikke virker heller enn å rapportere av ren plikt. Det kan i ytterste konsekvens også bety at evaluatorer rapportert at det kan være positivt at den planlagte endringen ikke har funnet sted i programmer hvor de har sett at den endringen ikke var så bra i den aktuelle konteksten.

Man bruker og utvikler ulike tilnærminger, metoder og verktøy som er passende. Fagfeltet har blant annet bidratt med en nytenking for kartlegging av effekter og resultater som heter Contribution analysis. Det er særlig egnet der måling ikke er tilstrekkelig og der det ikke er mulig eller hensiktsmessig å bruke for eksempel randomiserte kontrollerte studier (RCT). Metoder som contribution analysis fyller sammen med outcome mapping og rapid impact assessment et metodegap.

 

Man har også drøftet utforinger og fallgruver man bør jobbe med, ikke bare i Canada, men på fagfeltet generelt. De hovedutfordringene som ble identifisert på konferansen er:

 

#1 Feil forventninger og forståelse om hva evaluering er og hva det kan gi

Det blir ofte stilt for mange spørsmål. Evalueringer som ikke er blitt godt planlagt fra starten forventes å gi svar på mange spørsmål på kort tid. Det kan også være urealistiske forventninger om etter kort tid å identifisere effekter. Mange forstår evaluering som et verktøy som skal si noe om resultater etter gjennomføringen der det har blitt mål underveis.  Det er vanskelig å endre kulturen slik at man planlegger for et opplegg for løpende læring.

#2 Et smalt og enkelt fokus på “ what works” og “value for money”.

Det kan være problematisk å gi konteksuavhenige råd om effekter og resultater. Det som virker på et sted vil ikke nødvendigvis gi samme resultater på andre steder. Det er problematisk særlig ved situasjoner hvor evalueringer brukes som beslutningsgrunnlag for å innføre det samme tiltaket på andre steder i håp om at det skal gi samme resultater.  Her må man jobbe med bevisstgjøring hos både evaluatorer og oppdragsgivere. Det kan i mange sammenhenger være mer fruktbart å snakke om overførbarhet heller enn generalisering. Det vil si at det skjer en tilpasning og ikke en kopiering.

#3 Enporighet om metode og normsetting av en “beste” metode

Man standardiserer en “golden method” uten å tenke på konsekvensene for evalueringsdesignet og konteksten den skal brukes i. Den metodiske gullstandarden trumfer andre aspekter slik at for eksempel evalueringsspørsmålene og bruken av evalueringe er underordnet. Det er skadelig for evalueringsfagfeltet fordi det gir en feil bilde av hva evaluering egentlig er.

#4 Opinionsbasert politikk og styring

Man baserer en innsats og politikk på et synspunkt uten å ha noen støtte i evidens. Enda verre er det at beslutningstakere og politikere misbruker data for å gi støtte til sin sak.

 

Faglig inspirasjon til DFØ

DFØ har også i forbindelse med konferansen møtt representanter fra Treasury Board of Canada Secretariate /Centre of excellence for evaluation  som er ansvarlig for den canadiske evalueringspolicyen på statlig nivå. Deres oppgave er å følge opp at policyen etterleves gjennom årlige undersøkelser av departementer og store virksomheter. Sekretariatet følger blant annet opp om departementer og virksomheter etablerer evalueringsfunksjoner, evalueringsplaner og utfører evalueringer med god kvalitet som gir informasjon til budsjettprosessen. Det var nyttig for DFØ å høre om suksesskriterier og organisering av evalueringsfunksjonen fra en stat som har en lang tradisjon med å jobbe med dette.   

 

Direktoratet for økonomistyring, Pb 7154 St. Olavs plass, 0130 Oslo | E-post: evaluering@dfo.no | Personvernerklæring (Privacy policy)