okrogle mize sde
bojan radej
Posvet o podatkovnih zahtevah
evalviranja javnih programov
1 2 m a j 2 0 0 9
Fakulteta za socialno delo, Ljubljana
Creative Commons
ljubljana, junij 2009
s l o v e n s k o d r u š t v o e v a l v a t o r j e v
k a r d e l j e v a p l o š č a d 1 7 ,
l j u b l j a n a , s d e v a l @ s i o l . n e t
slovensko društvo evalvatorjev 2008-2009
Posvet Slovenskega društva evalvatorjev, FSD-Fakultete za socialno delo (UL) in IRSV Inštituta RS za socialno varstvo
»Podatkovne zahteve evalviranja javnih programov«
12. maj 2009, FSD, Topniška c. 31, predavalnica 6, od 16,00-17,50h.
Prisotni: dr. Liljana Rihter (FSD), dr. Nino Rode (FSD), mag. Barbara Kobal, (IRSSV), Vid
Žiberna (IRSSV), Tamara Rape Žiberna (FSD), Beata Akerman, mag. Zvezda D. Koželj
(ZVKDS - Zavod za varstvo kulturne dediščine Slovenije, Ljubljana), Elena Pečarič (YHD,
Ljubljana), Bojan Radej (SDE).
I Uvod
Povod za pogovor se je porodil oktobra 2008 ob branju knjige: Rode N., L. Rihter, B. Kobal.
2006. Evalvacija programov v socialnem varstvu: Model in postopek izvedbe. Ljubljana:
Fakulteta za socialno delo Univerze v Ljubljani, 161 str. Knjiga po njegovem mnenju gradi
metodo raziskovanja socialnega dela na področju socialnega varstva, predvsem njenih
elementarnih sestavin, povezav med njimi in hierarhija predmetov proučevanja. Osrednje mesto
v knjigi zavzema potreba po oblikovanju osnovnega podatkovnega okvira ('monitoring'), ki je
podlaga vsakega vrednotenja učinkov. Avtorji knjige sicer trdijo, da je namen knjige oblikovati
model evalviranja programov na področju socialnega varstva, pri čemer evalvacijo razumejo
širše – kot evalvacijsko raziskovanje in ne samo vrednotenje. To je eden izmed razlogov (poleg
glavnega – da na tistih področjih socialnega varstva, kjer programe izvajajo organizacije, ki so
sofinancirane s strani MDDSZ-Ministrstva za delo, družino in socialne zadeve, ne obstaja enoten
način zbiranja podatkov) za to, da je v knjigi precejšnji del namenjen oblikovanju okvira za
zbiranje podatkov. Vendar je pri tem jasno, da evalvacijsko raziskovanje ne more biti utemeljeno
samo na empiričnih podlagah in se pri tem izpostavljati nevarnosti, da ostanejo konceptualna in
paradigmatska vprašanja metodologije vrednotenja in raziskovanja potisnjena v ozadje, kar je
sicer zelo pogosta težava pri razvoju modelov evalviranja. Zato lahko imajo rezultati odpiranja
tega problema na primeru izbrane knjige širšo uporbnost.
Za posvet ima zasluge dr.-ca Rihter, ki se ji zato g. Radej v imenu SDE zahvaljuje.
2
slovensko društvo evalvatorjev 2008-2009
Posvet je zamišljen kot zaprt za širšo javnost saj so bili nanj povabljeni samo diskutanti, ki so za
participacijo v diskusiji na to temo zainteresirani. Vendar pa je bilo vabilo na dogodek široko
diseminirano in tako bo tudi s poročilom o dogodku.
Namen seminarja je sprejeti izziv, ki ga ponuja navedena knjiga. Po mnenju uvodničarja naj
posvetu skuša odgovoriti na izziv s stališča odnosa med začetnim in končnim aktom evalvacije,
oz. med podatkom kot vhodno surovino ter rezultatom evalvacije kot njenim končnim namenom.
Pred začetkom diskusije so bile predstavljene podatkovne zahteve evalviranja javnih programov,
kot jih vidi:
1. Bentham, eden prvih evalvatorjev je zahteval, naj država vsako svojo idejo najprej preikusi
in izbere optimalno; to je takšno, ko bo dosežena največja blaginja za vsakogar in za vse –
dvojni maksimum posamično&kolektivno.
2. Condorcet (družbena matematika - volilni sistemi) in Petty (merjenje družbenih bogastev –
politična aritmetika); osvoboditi družbene razprave iracionalnosti; ideal kibernetičnega
vladanja kot poti v demokratično družbo.
3. Začetnik socialnih statistik, Graunt, londonski trgovec, ki je v 17. stoletju s svojo
štacunarsko
aritmetiko
dvostavnega
knjigovodstva
pokazal
na
povezanost
usod
posameznikov in družb in s tem pomena socialne pravičnost za splošno blaginjo. Podatke o
rojstvih je zapisal v račun, z obliko črke T, kjer je na kreditno (levo) stran dvostavnih
računov oziroma bilanc, podatke o smrti pa na debetno (desno) stran. Nato jih je uredil po
spolu, starosti in socialni pripadnosti. Tako je lahko prikazal povezavo med socialnim
položajem, zdravjem in prispevnostjo ljudi – na primer da je smrtnost otrok v revnih družinah
dvakrat višja kot v premožnih. Tako je z navadnim empiričnim beleženjem prišel do
ugotovitev, ki so neposredno ugotavljale objektivno stanje v mestu.
4. Danes smo na pragu kibernetske dobe, ko bodo družbene rutine lahko opravljene s
pritiskom na gumb. Finančna industrija kot izrazito numerična dejavnost se je v nekaterih
storitvah že povsem informatizirala (sklepanje kreditnih pogodb z računalnikom; trgovanje
na finančnih borzah. Ali je vse to že uresničilo vizije Condorceta in drugih? Vsi pojavi še
3
slovensko društvo evalvatorjev 2008-2009
zdaleč niso somerni, zato je zgolj empirično proučevanje v družbenih raziskavah zelo
tvegano početje.
II. Kako je s tem na področju presoj vplivov in vrednotenja?
V nadaljevanju je izpostavljenih nekaj dilem, ki so se bralcu knjige (uvodničrju) porodile ob
prebiranju.
1. Monitoring ali vrednotenje? Je 'naloga evalvacije prispevati k razčiščevanju in kritični
oceni vrednot' (str 14)?
2. Je evalviranje namenjeno ugotavljanju uspešnosti (izpolnjenost nalog, doseženi cilji) neke
javne institucije ali sistemskih učinkov (javni interes, notranja nasprotja, kohezivnost,
integracija)?
3. Premalo ali preveč podatkov – zbiranje ali selekcija? Modeliranje podatkovnih tokov (da
ni podvajanj ali zbiranja nepotrebnih podatkov). Sumiranje kot metoda poenostavljanuja v
fazi obdelave rezultatov.
4. Objektivno ali objektifikacija (vse kar vemo je pristransko in relativno; nezaupanje do
objektivnih, trdih dejstev)?
5. V socialnem varstvu smo soočeni s situacijo, kjer ne moremo računati, kot ugotavljajo
avtorji knjige, na kakršen koli »ekvivalent zlatega standarda« (prim. »merjenje kakovosti
življenja«). To zadeva problem nesomernosti družbenih kategorij (javno : zasebno) in
razlikovanje stroge od šibke somernosti (pogojna somernost: pragovi, meje zasebnosti) ter
razlikovanje stroge od šibke nesomernosti (šibka somernost v dveh različnih kontekstih –
ekološki turizem = somerno v ekoloških in ekonomskih indikatorjih presoj). S tem je torej
pot sumiranju odprta, le še prehoditi jo je treba, vendar je ta pot polna pasti.
6. Fragmentirana ali sintezna obravnava rezutlatov presoj ter različne teorije oblikovanja
pomenov (vrednotenje!). Z agregacijo ali s korelacijo? Maksimum ali enotnost notranjih
nasprotij?
4
slovensko društvo evalvatorjev 2008-2009
III Razmišljanja ob knjigi, ki služijo kot iztočnice za diskusijo
1. Pomen zbiranja podatkov za vrednotenje socialnega varstva je v knjigi poudarjen in je na
nekem mestu celotno 'evalvacijsko raziskovanje’ izenačeno s ‘sistematično zbiranje in
preverjanje podatkov o predmetu evalvacije’ (str. 18).
Komentar g. Radeja: Evalvacije ni mogoče zvesti na monitoring (po enakem retrogradnem
pravilu bi morali peku reči mlinar). Evalvacija ni produkcija podrobnosti (primer rastrov).
Takšno evalviranje bi postalo samoizčrpavajoče – več podatkov ne bo rešilo razlik ampak še
bolje definiralo razlike, saj problem ni nezadostna informiranost evalvatorja ampak
kompleksnost, torej nespoznavnost pojavov, ki jih hoče proučevati.
Komentar avtorjev knjige: Na omenjenem mestu je v knjigi napaka. Točno v tem delu bi
moral biti uvodni stavek v razlike med znanstvenim raziskovanjem in evalvacijskim
raziskovanjem. Je pa res, da evalvacijsko raziskovanje temelji na podatkih, ki so sistematično
zbrani po vnaprejšnjem razmisleku. Avtorji se seveda zavedajo, da evalvacije ni mogoče
zvesti na monitoring, vendar menijo, da je potrebno za evalvacijo imeti dovolj dobre podatke
(ki jih bo verjetno najlažje pridobili prav z monitoringom).
2. Naloga evalvatorjev ni zgolj pripraviti material za evalvacijo. Naročniki so slabi socialni
agregatorji, evalvacije so bile uvedene ravno zato, ker naročniki tega ne znajo narediti.
Komentar FSD in IRSSV: V socialnem varstvu se nam zdi pomembno, da tako naročniki
(torej izvajalci SV storitev) kot tudi uporabniki storitev sodelujejo pri evalvaciji, saj so
predvsem oni strokovno (in kot eksperti iz svojega življenja) najbolj kompetentni za to, da
podajo določene ocene in vsaj participirajo (če ne že ključno vplivajo na presojo).
Komentar g. Radeja: Tukaj ni govora o sodelovanju naročnikov pri presoji ampak o tem ali
ga sme evalvator zasuti s podatki, med katemi se naj naročnik potem sam znajde. Kje je
potem presežek, kje je dodana vrednost evalvacije?
3. »Sistematično in realistično ugotavljanje teh učinkov bi namreč v socialnem varstvu
zahtevalo hkratno obravnavo kompleksa vseh socialnih problemov, predlaganih rešitev in
5
slovensko društvo evalvatorjev 2008-2009
njihovega vpliva na družbene vire, procese in sisteme. Jasno je, da bi to zahtevalo zelo veliko
sredstev, naporov, politične volje in časa. Zato se tega, vsaj v Sloveniji, kolikor se le da
izogibamo.« (iz korespondence z dr. Rodetom)
Komentar g. Radeja: Pojavi so kompleksni zato je potrebno razviti metode, ki bodo temu kos.
To pomeni zamenjati fragmentarni s sinteznim pristopom k presojam? Razlikovati med
somernostjo : nesomernostjo!
Komentar FSD in IRSSV: Zanimivo razmišljanje. Pri oblikovanju modela si ves čas
prizadevamo za sintezni pristop presoje vseh udeležencev, vendar pri tem opažamo ovire.
4. Avtorji knjige zapišejo: »Kakor smo poudarili, so ocene evalvatorjev nujno subjektivne,
odvisne od zornega kota, podvržene interesom, simpatijam in antipatijam do različnih skupin
vpletenih in različnim drugim vplivom« (str. 91)
Komentar g. Radeja: Pristranskost je lastnost vhodnih podatkov vrednotenja, ne pa tudi
sklepnih ugotovitev, če so te zgrajene tako, da to pristranskost ustrezno organiziramo
(pristranskost torej ni problem, ki preprečuje vrednotenje ampak samo kontekst v katerem se
vrednotenje edino lahko odvija). 'Ustrezno' v tem primeru pomeni razločiti med somernimi in
nesomernimi pojavi ter med njuno šibko in strogo variacijo. Več o tem v članku. Gre za to, da
je končno spoznanje po presoji dosežek procesa spoznavanja, v katerem informacije
sumiramo tako previdno, da neujemajoča fragmentarna spoznanja zanemarimo, ujemajoča pa
interpretiramo na všji ravni splošnosti (npr. v povzetku), to pomeni tudi v kakovostno
drugačnem medsebojnem odnosu, katerega pomen razberemo z ujemanjem simetrično
nasprotnih spoznanj (korelacija).
5. Avtorji se naslanjajo na t.im. »dialoško evalvacijo« (str.92), ki skuša zbližati nasprotne
ocene vplivov tako, da se na koncu z ocenami vsi dovolj strinjajo, da jih lahko zagovarjajo
Komentar g. Radeja: Opravka imamo z relativnostjo razlik, konsenz pa je kolektivna
kategorija; pri usklajevanju posamičnih stališč gre za mikroskopski proces usklajevanja 'za in
proti'. Podobno neutemeljeno aspiracijo ima CAF – Community Assessment Framework, ki
se uporablja za samoevalvacijo uspešnosti dela javnih institucij. Ločiti mikro in makro raven
6
slovensko društvo evalvatorjev 2008-2009
presoj: mikro raven problema je podatkovna raven, makro raven je raven sklepanja in
podajanja ugotovitev (evalvator pa operira na mezo ravni, če hoče biti verodostojen)!
IV. Razprava
V razpravi je sodelovala večina udeleženk in udeležencev. Poseben prispevek je predložila le
mag. Koželj.
Razprava se je večinoma, ne pa v celoti, sukala okoli predpostavk in okvira evalviranja in
pokazala na dokajšnje razlike, ki se kažejo kot trdovratne in ukoreninjene v izhodiščni
diskurzivni poziciji, ne v argumentih razpravljavk in razpravljavcev (Radej).
Razpravljalci iz FSD in IRSSV na to menijo, da ni bilo dovolj časa za resnejšo predstavitev
argumentov.
Tako se, po mnenju udeležencev konstruktivna metodološka debata ni uspela razviti oz. smo bili
priča soočenju prepričanih. Tako je po tej plati dogodek dokajšnje razočaranje, še posebej v
primerjavi s pričakovanji glede na zanimive iztočnice, ki jih podaja knjiga (Radej).
Razpravljalci iz FSD in IRSSV pa kljub temu menijo, da je bilo srečanje dobrodošlo za njihov
razmislek o nadaljnjem delu pri oblikovanju modela, žal pa je podalo malo uporabnih idej in
predlogov za izboljšanje in delo v prihodnje (s strani udeležencev z »drugačno izhodiščno
diskurzivno pozicijo«). S tem se je mogoče strinjati vendar bi bilo pri tem primerno uporabnost
dosežkov posveta vrednotiti v razmerju z vloženimi prizadevanji (Radej).
Avtorji metode presoj SV vsebin (po Yates) kot tudi sodelujoči so bili povabljeni podati pobude
za to, da se zgoraj izpostavljene in druge diskutirane dileme prenesejo v širši okvir, ki bo širši od
ustaljenih institucionalnih okvirov (IRSSV : FSD : MDDSZ) g. Radej pa je dobil občutek, da se
socialno varstvene presoje, tako kot presoje na večini drugih področij hermetizirajo, če ne zaradi
drugega že zaradi metodološkega eksluzivizma, ki je za področje presoj zelo značilno.
Razpravljalci iz FSD in IRSSV pojasnijo, da omenjeno vsekakor ni cilj sodelujočih pri tem
projektu. Menijo, da presoj in vrednotenja na tem področju žal še ni bilo. Poudarijo tudi, da se
šele vzpostavlja sistem monitoringa; šele ko bodo podatki na voljo, pa se bo lahko presojalo.
7
slovensko društvo evalvatorjev 2008-2009
Ostaja vprašanje - na podlagi česa lahko presojamo v tem trenutku? Vendar je treba priznati, da
ta vidik prizadevanj avtorjev ni bil kritiziran, prav nasprotno (Radej).
G. Vid Žiberna za g. Radejem izpostavi svoje mnenje čemu so namenjene evalvacije. Meni, da so
namenjene preverjanju doseganja zastavljenih ciljev programov in preverjanju sistema oz.
postopkov, ki jih izvajajo v organizacijah, vendar meni predvsem, da je edini cilj ne
minimaliziranje stroškov vlagateljev finančnih sredstev (MDDSZ…), marveč maksimizacija
profita uporabnikom, evalavacije so namenjene uporabnikom, ki naj bi dobili najbolj kakovostne
in ustrezne storitve, v idealnem primeru ob minimalnem inputu (kadrovskem, finančnem,
časovnem,…). Učinkovitost programa = zadovoljstvo uporabnikov.
Že če gre le načelno opredelitev in tem bolj, če je to mogoče tudi uresničiti z izbranim načinom
presoj, potem je to nedvomno v prid postopku, meni Radej. Vendar rutinsko opaža velik prepad
med načelnimi opredelitvami presojevalcev in tem, kar počnejo. Glej primer »dialoške
evlavacije«, ki je lahko samo lep izraz za to, da šibkejšega povoziš z besedami ali glasom.
Skratka, ne gre za obvezen mikro pogled niti proti mikro pogledu v presojah ampak za drugačno
razumevanje problema: mikro pojave presojevalsko ne bi smeli obravnavati mikroskopsko (to
dela na primer trg) kot je sicer v navadi ampak mezoskopsko (vmes med fragmentarnimi dejstvi,
s katerimi spoznavamo resnico in sistemskim smotrom svojega početja). Evalvator ima
mezoskopsko perspektivo, ne glede na to kakšen pojav presoja. Če tega ne naredi, ne more imeti
orientacije, ne more vedeti kje je meja med formalno logiko presoj, ki ji zagotavlja konsistenco
in izvedbeno improvizacijo, čarovnijo, izmišljevanjem. Če evalvator ne obvladuje situacije, v
kateri presoja, ne more obvladati objekta svoje presoje, ne more biti nevtralen presojevalec, torej
sploh ne more biti presojevalec. Zato po štirih desetletjih evlavatorske prakse ostaja 60%
evalvatorskih izdelkov neuporabnih in nadaljnjih 20% le tu in tam uporabnih.
Ga. Tamara R. Žiberna se sprašuje ali res obstajata dilemi, ki ju je nakazal g. Radej –
»Monitoring ali vrednotenje?« in »Je evalviranje namenjeno ugotavljanju uspešnosti
(izpolnjenost nalog, doseženi cilji) neke javne institucije ali sistemskih učinkov (javni interes,
notranja nasprotja, kohezivnost, integracija)?«.
8
slovensko društvo evalvatorjev 2008-2009
Radej meni, da je oboje pomembno v zaporedju ampak drugo je s stališča naročnika
pomembnejše in tudi s stališča evalvatorja, ki želi pdoati celostno sliko. Ni rečeno, da bo
ministrstvo delalo dobro, če bo doseglo vse svoje cilje, ker ministrstva ni mogoče razstaviti na
dele, ga oceniti po delih in rezultate seštevati, ker ti niso seštevljivi. Če ocenimo samo
izpolnjenost ciljev, smo prezrli kompletno kompleksnost problema in to je edina realnost, v
kateri se problem rešuje – ne glede na to, katero metodo presojevalci uporabijo.
Radej še meni, da je presenetljivo, da glede na poudarek, ki ga ima v obravnavani metodi
podatkovni vidik presoj, da vanj niso enakopravno zajeti tudi uporabniki socialno-varstvenih
storitev, statistične strokovnjakinje, evalvatorji in drugi, ki imajo koristno znanje in izkušnje s
podatkovnimi problemi evalviranja. Meni, da brez odprtosti presoj lahko področje socialnega
varstva kot tudi evalviranje teh programov postane inštrument vključevanja/izključevanja po
kriterijih, ki nimajo zveze s socialnim varstvom imajo pa veliko zveze bodisi s prestižem ali z
nezanimanjem.
Razpravljalci iz FSD in IRSSV menijo, da je sedanje stanje (ko ni ničesar) verjetno še bolj
problematično od opisanega. Pojasnijo pa še, da so končni uporabniki vključeni v evalvacije
(obsežni vprašalniki o zadovoljstvu uporabnikov); z izvajalci socialno varstvenih storitev ves čas
neposredno sodelujejo, imajo skupinska in številna individualna srečanja, vse posamezne dele v
oblikovanju modela in nato konkretnega določanja dimenzij, ki jih v organizacijah zdaj
spremljajo, so usklajevali z izvajalci in so počakali na njihovo odobritev; glede strokovnosti se
zavedajo omejitev (v timu je sicer več oseb z metodolološko, statistično ali družboslovnoinformatično izobrazbo) in bi bili veseli, v kolikor bi bilo možno krog tistih, ki sodelujejo
funkcionalno in operativno (še obvladljivo) razširiti. Zadeve se ves čas trudijo opravljati
strokovno, dialoško (z vsemi deležniki: uporabniki, izvajalci, naročniki : FSD, IRSSV) in
konsenzualno.
G. Radej ocenjuje, da je opazna načelna navezanost avtorjev metode na argumentacije avtorja
(Yatesa¸ Vir: Yates, B.T. (1996): Analysing costs, procedures, processes, and outcomes in
human services, appplied social research methods series, vol. 48. Sage Publications, Thousand
Oaks, London, New Delhi.) zaradi tega razprave ostajajo zaprte v ozek okvir. Uporaba
9
slovensko društvo evalvatorjev 2008-2009
enostransko kavzalnih metodologij (kot pri Yatesu) je sporna za evalvacijo tako kompleksnih
vsebin kot so socialno-varstvene. Linearna kavzalnost, kot npr. tržna učinkovitost in koristnost je
ravno vzrok za produkcijo socialnih problemov v družbi na njenem obrobju. Zato je malo
verjetno, da bo mogoče z Yatesovo linearno vzročnostjo pristopom evalvacijo socialno
varstvenih programov naredili relevantne, kot si želijo avtorji navedene knjige.
Razpravljalci iz FSD in IRSSV pojasnijo, da modela ne razumejo v istem smislu, imajo občutek,
da gre za blokado v komunikaciji (oz. razumevanju). Dobrodošla se jim zdi ideja, ki jo razvija
Radej »mezo-matične presojevalske matrike«, v kateri pa jim za enkrat uporabna vrednost le-te
(za konkretne evalvacije v socialnem varstvu) ni bila predstavljena. On pa na to odvrača, da ne
gre »za konkretne evalvacije v socialnem varstvu« ampak za meta-evalvacijsko razpravo o
metodah, takih in drugačnih. To je namreč izhodišče, ki ga ima SDE tudi v drugih primerih, saj
se evalvatorji na tak način lahko veliko naučimo ravno iz svojih različnosti-podobnosti.
G. Vid Žiberna doda, da sta učinkovitost programa in koristnost nujni. Slabi - neučinkoviti
programi ne maksimalizirajo koristi uporabnikov socialno-varstvenih storitev, ampak so samo
strošek davkoplačevalcev, profitira pa peščica posameznikov, ki nudi nekakovostne storitve,
velika večina (uporabniki, davkoplačevalci) pa zgublja. Pri tem se strinja, da lahko nastanejo
socialni problemi – da torej peščica izvajalcev nekakovostnih socialno varstvenih storitev ostane
brez zaposlitve, še vedno pa obstaja možnost, da seveda lahko spremenijo/izboljšajo svoje
metode in intenzivnost dela in ta riziko odpade.
Posebej je bila v razpravi izpostavljena težava (Elena Pečarič), da uporabnice/uporabniki lahko
evalvacijo občutijo kot breme, celo kot dvojno breme,, ki pa zanje nima koristnih učinkov.
G. Radej izpostavi, da je to dejstvo v nasprotju z ambicijo avtorjev metode, da postavijo
posameznika v ospredje kot jedro socialno-varstvenih prizadevanj.
Razpravljalci iz FSD in IRSSV menijo, da je ta izpostavljena težava v neskladju s prej
omenjenim (»glede na poudarek, ki ga ima v obravnavani metodi podatkovni vidik presoj, da
vanj niso enakopravno zajeti tudi uporabniki socialno-varstvenih storitev, statistične
10
slovensko društvo evalvatorjev 2008-2009
strokovnjakinje, evalvatorji in drugi, ki imajo koristno znanje in izkušnje s podatkovnimi
problemi evalviranja.«).
Radej tega ni razumel enako, saj zasutost do grla z obrazci, hipotetično vzeto, še ne pomeni
enakpravne vključenosti.
Dodajo, da se teh težav zavedajo, da je to žal posledica tega, da je model še vedno v nastajanju in
zaenkrat precej obremenjuje tako izvajalce SV storitev kot tudi njihove uporabnike – z namenom
»izluščiti«, kaj je tisto, na podlagi česar bo v prihodnosti lahko izvedena presoja ,od katere bodo
imeli največ vsi udeleženci (kot je izpostavil Bentham – »največja blaginja za vsakogar in za vse
– dvojni maksimum posamično&kolektivno.«).
G. Radeju se zdi, da tudi v tem primeru 'skrb za posameznika' s pomočjo tehničnih pomagal, kot
so podatki ali evalvacije SV storitev, vodi stran od humanega cilja. Meni, da je na nek način to
nujna posledica odločitve avtorjev metode, da se bodo evalvacije socialno-varstvenih vsebin čim
bolj izogibale metodologijam kompleksnega vrednotenja kompleksnih pojavov.
Razpravljalci iz FSD in IRSSV pojasnijo, da avtorji niso sprejeli ali vsilili nobene odločitve – o
vseh temah so se z izvajalci programov – ki so v določenih primerih tudi uporabniki programov –
skupno dogovarjali (kar po mnenju izvajalcev ne kaže na »izogibanje metodologijam
kompleksnega vrednotenja«).
Radej je pojasnil, da je mislil v znanstveni terminologiji, kompleksnosti ne razume enako kot
zapletenost ali opravil-sam-veliko-dela. Kompleksno pomeni videti svet kot nesomeren (tako
besedo incommensurability iz angleščine prevaja Zlata Gorenc v knjigi: Giddens A. 1989. Nova
pravila sociološke metode. Ljubljana: ŠKUC, Filozofska fakulteta, Studia Humanitatis, sprem.
bes. Pavel Gantar, 221 str.) v smotrih in ravneh obravnave – več v članku o mezo-matričnih
presojah, http://www.sdeval.si/attachments/105_sde_dz3-08.pdf.
Meta evalvacijska razprava je na primeru socialno varstvenih programov po mnenju Radeja še
enkrat nakazala, da so evalvacije lahko dvorezen meč; evalviranje samo lahko uvede vrsto
pristranskosti, če se kompleksnosti svojega izziva ne loti tako, da mu je kos, in da je na koncu
lahko sprejet predvsem od tistih, ki jim služi – končnih uporabnikov in javnega interesa. Radej
11
slovensko društvo evalvatorjev 2008-2009
meni, da se danes zdi, da presoje SV vsebin še večinoma ujetnica v domeni metodoloških
ekspertov in to le razmeroma ozke skupine – kateri je korektnost evalvacij v napetosti z drugimi
dejavniki – od poslovnih do prestižnih – kjer so mnenja uporabnikov in mnenja nevključenih
evalvatorjev večinoma sprejeta kot moteča in se zdijo pogrešljiva. Zato ne morejo presenečati
ocene IAB (Impact Assessment Board, naodvisno svetovalno telo pri evropski komisiji, gl.
poročilo za leto 2008, http://ec.europa.eu/governance/impact/key_en.htm), da je do 80%
evalvacij, ki jih opravi komisija neuporabnih ali le delno uporabnih.
Razpravljalci iz FSD in IRSSV pojasnijo, da mnenj nevključenih evalvatorjev ne sprejemajo kot
moteča – ravno obratno – so dobrodošla. Široka udeležba ljudi, ki delajo na omenjenem projektu,
na posvetu po njihovem mnenju kaže tudi na odprtost do različnih predlogov mnenj, ne le
evalvatorjev (na drugih področjih) temveč tudi izvajalcev SV storitev in uporabnikov. Dodajo pa
še, da so žal na konkretni ravni zaenkrat predlogi in mnenja precej skromna. Kar se tiče
uporabnosti evalvacij si izvajalci prizadevajo, da bi bili podatki, ki se s pomočjo modela zbirajo v
prvi vrsti uporabni za izvajalce storitev, nato pa seveda tudi za vse ostale deležnike (uporabniki,
financerji ipd.). Tako visok % neuporabnosti evalvacij je seveda možen, če so npr. evalvacije
metodološko šibke. Morda je še večji problem, če evalvacije nimajo nobene teže, torej da so
same sebi namen, jih nihče ne upošteva, ni predvidenih ne pozitivnih, ne negativnih sankcij, ne
kakršnihkoli ukrepov.
Odgovor na to, odvrača Radej je, da se nujno zbiranje temeljnih podatkov o dejavnosti v čim
večji meri prepusti specializiranim službam za zbiranje podatkov in ni v domeni raziskovalcev,
ki so po naravi svojega posla, še posebej, če ga opravljajo analitično, deskriptivno, preveč
požrešni na podatke in vse rešitve za svoje probleme iščejo v vedn novih in podrobnejših
podatkih. Predlagam, če si ogledate animacijo, kako je lev evalviral mravljo na spletni strani
SDE.
Tako je bilo po mnenju na koncu seminarja nakazanih le nekaj alternativnih možnosti za
nadaljevanje razprav in reševanje izpostavljenih težav. Razpravo o podatkovni tematiki bi v
relaciji do evalvacij kazalo po mnenju Radeja razširiti s statističnimi eksperti (SURS), širšo
evalvatorsko stroko (ne le IRSSV-FSD) in tudi v povezavi s poznavalci razmejevanj med javnim
12
slovensko društvo evalvatorjev 2008-2009
in zasebnim na področju javnosti zasebnih podatkov (urad Pirc-Musarjeve). Meni, da na
področju evalvacij obstajajo resne težave metodološke in dialoške narave zato bi bilo potrebno
razprave v zastavljeni smeri nadaljevati in poglobiti.
Razpravljalci iz FSD in IRSSV povedo, da gre za dober predlog, ki pa na razpravi ni bil (v takšni
obliki) izpostavljen. Dodajo še, da tudi oni občutijo potrebo po nadaljevanju in poglobitvi
razprave – predvsem v smislu konkretnih predlogov za izboljšanje metode, ki bo prilagojena za
SV (najprej monitoringa, nato tudi vrednotenja).
Pripravil:
Bojan Radej
v sodelovanju z FSD in IRSSV
13
slovensko društvo evalvatorjev 2008-2009
Posveti in okrogle mize Slovenskega društva evalvatorjev (2008-2009):
»Poklicni etični kodeksi med načeli in prakso«, torek, 20. maja 2008 ob 15-17,30h na Inštitutu
za ekonomska raziskovanja, Kardeljeva ploščad 17, Ljubljana, poročilo z okrogle
mize:http://www.sdeval.si/Publikacije-za-komisijo-za-kodekse-in-standarde/Okrogla-miza-Etikavrednotenja.html
»Evalviranje javnih politik, politika in javni interes«, 28. oktober 2008, od 17-19,30h, Dom
sindikatov, Dalmatinova 4, Ljubljana, poročilo z okrogle mize:http://www.sdeval.si/Komisija-zavrednotenje-dejavnosti/Okrogla-miza-Javni-interes-in-vrednotenje.html
»Merkantilne, tehnokratske in politične odločitve o prostoru: Kam bi del«? 3. februar 2009,
14h-16,30, v prostorih knjižnice UIRS, Ljubljana (v soorganizaciji z Urbanističnim inštitutom),
Poročilo z okrogle mize: http://www.sdeval.si/Publikacije-za-komisijo-za-kodekse-in-standarde/
Porocilo-z-okrogle-mize-Merkantilne-tehnokratske-in-politicne-odlocitve-o-prostoru-Kam-bidel.html
»Podatkovne zahteve evalviranja javnih programov«, 12. maj 2009, Fakulteta za socialno
delo, predavalnica 6, od 16,00-17,50, (v soorganizaciji z FSD in Inštitutom za socialno varnost),
poročilo z okrogle mize: http://www.sdeval.si/Publikacije-za-komisijo-za-kodekse-in-standarde/
Okrogla-miza-Podatkovne-zahteve-evalviranja-javnih-programov.html
O Slovenskem društvu evalvatorjev: Ustanovljeno leta 2008 na podlagi Ustanovne izjave, z vizijo
afirmiranja nepristranskega vrednotenja raznovrstnih fenomenov in učinkov delovanj družbe (expost, ex-ante), ki pripomorejo k uravnoteženemu in integriranemu napredku celotne družbe,
posameznih skupnosti in posameznikov. Društvo deluje kot platforma civilne družbe neodvisnih
strokovnjakinj s širokim profilom, potrebnim za doseganje sinergijskih učinkov vrednotenja
družbenih pojavov (projektov, programov...), kar naj bi pripomoglo k razvoju trajnostne družbe.
Društvo ima tri stalne komisije (za kodeks in standarde, za vrednotenje, študijsko komisijo).
Naslov uredništva: [email protected], Kardeljeva ploščad 17, 1000 Ljubljana, Slovenija
Oblikovanje znaka društva je avtorstvo Naje Marot, UIRS, [email protected]
Pripravljeno s programoma OpenOffice Writer in Draw, http://www.openoffice.org/
Podpornik SDE: Inštitut za ekonomska raziskovanja, http://www.ier.si/
14