DEBATT. Det är välkommet att Sida nu förändrar den egna utvärderingsenheten. Det bör innebära att Sida anlägger ett helhetsperspektiv på utvärderingsverksamheten som saknats i många år. Det skriver Jocke Nyberg, fristående senior utvärderare som tidigare bland annat arbetat för Sida i Colombia.
Detta är en debattartikel. De åsikter som framförs är författarens egna.
Två chefer för utvärderingsverksamheten på Sida uttrycker kritik mot att utvärderingsenheten i Sidas nya organisation ”förvandlats till ett team långt ner i organisationen”. Förändringen uppges riskera att hota den självständiga basen. Samma slutsats drar ordföranden i OECD-DACs utvärderingsnätverk. Sida svarar att utvärderingsteamet inte placerats i en operativ avdelning, utan fortsatt är en stödfunktion till ledningen.
Det är uppenbart att något behövde göras, givet de svagheter som utvärderingsenheten på Sida uppvisat i många år. Bättre koll på partners utvärderingar, mera fokus på granskning av resultat och ansvarsutkrävande, utveckla och kommunicera system för lärande för och effekter av utvärderingsverksamheten. Det är förbättringar som nu kan bli verklighet om Sidas ledning och styrelse agerar rätt.
Att placera utvärderingsteamet inom en enhet som lyder under en stödavdelning för metod och resultat behöver inte leda till mindre oberoende. Sidas chefer har professionell integritet och utvärderingar kommer att få fortsatt, eller ännu högre prioritet.
Riksrevisionens granskning
De nya organisatoriska förändringarna på Sida är i linje med Riksrevisionens rekommendationer som finns i granskningen. Där står bland annat:
- Biståndets styrning, uppföljning, utvärdering och rapportering måste hänga ihop på ett tydligare sätt
- Regeringen behöver göra en översyn av biståndets uppföljning, utvärdering, rapportering och styrning.
- Det är svårt att bedöma resultatet av biståndet mot riksdagens uppsatta mål utifrån regeringens resultatredovisning av biståndet.
Därför, menar Riksrevisionsverket, behöver myndigheter som utvärderar:
o arbeta mer strategiskt och selektivt med utvärdering som verktyg för att hämta in information om långsiktiga effekter av insatser, portföljer, stödområden och strategier
o utveckla stödet till Sidas medarbetare när det gäller att bedöma när det är relevant att göra utvärderingar av insatser och strategier, och vad utvärderingarna i så fall ska fokusera på.
Dålig koll partnerledda utvärderingar
En av svagheterna som Sidas utvärderingsenhet haft i många år handlar om att man inte ansett sig ha resurser för att ha full koll på så kallade partnerledda utvärderingar, det vill säga utvärderingar som leds och görs av andra än Sida. Dessa uppgår till åtminstone ett hundratal per år och är i särklass flest.
Inom Sidas bistånd finns fyra kategorier utvärderingar:
- Partnerledda – beställs och leds av Sidas samarbetspartner, uppskattade av Sida till cirka 100 per år.
- Decentraliserade – beställs och leds av Sida and handläggare på främst ambassader, cirka 25 per år.
- Centrala utvärderingar av strategisk vikt – beställs och leds av Sida
- Interna genomlysningar, 3-5 per år.
De partnerledda utvärderingarna är speciella. Partners formulerar uppdragsbeskrivning, bestämmer vilka konsulter som kan lämna anbud, bedömer anbud, väljer utvärderare och är sedan mottagare av utvärderingsrapporter. Huruvida detta förhållande i sig kan vara en form av intressekonflikt har några av Sveriges ledande antikorruptionsforskare uttryckt intresse att undersöka. Oavsett intressekonflikt eller ej så har Sidas utvärderingsenhet under många inte prioriterat uppgiften att kartlägga partnerledda utvärderingar.
2019 gav Sida NIRAS, en konsultfirma, i uppdrag att kartlägga de partnerledda utvärderingarna. NIRAS rapport, Meta-study of Partner-led Evaluations 2019, finns att läsa här.
I rapporten kan man läsa:
”Sida saknar system för att skapa en helhetsbild av de utvärderingar som genomförs av samarbetspartners. Sida har därför otillräcklig förståelse för antalet, typen, trovärdigheten, kvaliteten och användbarheten av partnerledda utvärderingar. Dessa uppgifter är viktiga för Sida för att bidra till att stärka trovärdigheten, kvaliteten och användningen av utvärderingar.” (Min översättning från engelska som var rapportspråk).
Brist på transparens i upphandlingar
Ett annat systemfel det gäller utvärderingar är Sidas mångåriga oförmåga att begära att partners tillämpar samma transparens och riktlinjer i upphandlingar av utvärderare som Sida självt så förtjänstfullt gör. Myndigheten är här ett föredöme när det gäller transparens. Bland annat finns alltid tydliga kriterier för hur anbud ska bedömas/utvärderas i upphandlingar. Det är oftast olika procentsatser för kvalitativa aspekter i anbud (till exempel metod, relevant erfarenhet, arbetsplan, förstående för uppdraget etcetera) och hur att dessa viktas i relation till offererat pris. Det är sant att många partners inte är myndigheter och därmed faller utanför Lagen om offentlig upphandling (LOU). Men Sida har krav på att partners måste uppvisa effektiva styrsystem för bland annat uppföljning, utvärdering och upphandling. I vissa fall ska bedömningskriterier ingå i upphandlingsunderlaget men det finns sällan. Vi är några konsulter som samlat på oss mer än hundra så kallade Terms of Reference där sådana kriterier saknas.
Som alla vet är det i samband upphandlingar som största korruptionsrisker finns, och det gäller också biståndsbranschen. Jag säger inte att svenska civilsamhällesorganisationer är korrupta, men kunskaperna bland deras handläggare om upphandlingar är ofta bristfälliga. Därför borde Sida se till att bedömningskriterier alltid finns med också i partnerledda upphandlingar, med procentsatser för kvalité och viktning kvalité/pris.
Jocke Nyberg
Utvärderare
Läs också
|
Uppläsning av artikel
|
