Validitet i bedömning av reell kompetens inom högre utbildning Tova Stenlund Institutionen för Tillämpad Utbildningsvetenskap: Beteendevetenskapliga Mätningar, Umeå Universitet Vad är Beteendevetenskapliga mätningar? ”Målsättningen är att utveckla och utvärdera metoder, instrument, teorier och system för att beskriva, tolka och förstå individers och gruppers kunskaper, färdigheter och attityder.” • Institutionens arbete ¾ Högskoleprovet, Nationella prov, Körkortsprovet m.m • Mitt forskningsområde ¾ Bedömning av vuxnas reella kompetens inom högre utbildning/Validering Dagens presentation: ¾ Definition och syfte ¾ Situationen i Sverige. - Exempel på bedömning av reell kompetens inom högre utb. (yrkeslärarprogrammet) ¾ Validitet/kvalitet i bedömningen. Begreppet ”Validering” är komplicerat! ”Validering är en process som innebär en strukturerad bedömning, värdering, dokumentation och erkännande av kunskaper och kompetens som en person besitter oberoende av hur de förvärvats (Ds 2003:23). ” Men… • Validitet i ett vetenskapligt sammanhang, att mäta vad som var avsett att mätas och inget annat, och Validering, att utvärdera validiteten i en metod eller instrument Tre huvudsakliga områden 1. Inför vidare studier, behörighet eller som underlag för urval. 2. Anpassad utbildning, ofta inom yrken med brist på utbildad personal, ex vårdyrken, yrkeslärare. 3. I relation till arbetslivet, arbetssökande eller utveckling i sitt arbete Avhandlingsområde: ”Validitet i bedömningen av reell kompetens inom högre utbildning!” Två huvudsakliga syften med validering inom högre utbildning: - få tillgång till en utbildning som man normalt inte är kvalificerad för, behörighet - få en förkortad utbildning, tillgodoräkna sig poäng Reell kompetens! • Formell kompetens - Strukturerat lärande, erhållen inom utbildningssystemet • Informell kompetens - Ostrukturerat (till viss del omedvetet) lärande genom dagliga aktiviteter, som ex i arbetet eller hemmet • Icke-formell kompetens - Kan vara både strukturerade och medveten, erhållen på arbetsplatsen eller frivilligt deltagande i fritidsaktiviteter Bedömning av reell kompetens i Sverige! I samband med antagning högre studier: • Egen beskrivning av vad man kan åtföljs av bevis, ex anställningsintyg, - Antagningsenheten gör bedömningen om en person anses uppfylla grundläggande behörighet - Särskild behörighet, programansvarig eller studierektor gör bedömningen Forts. Bedömning av reell kompetens i Sverige • Behovsanpassad verksamhet - Bristyrken, ex behov av behöriga yrkeslärare - Högre utbildningnivå efterfrågas i vissa yrkeskategorier, ex från barnskötare till förskollärare eller från förskollärare till lågstadielärare Men…… • Inget enhetligt system! • Ny myndighet för yrkeshögskolan. Hur mätas/bedöms reell kompetens? Verktyg/instrument för bedömning: • Portfolio • Självskattning • Dokumentanalys • Intervjuer • Prövning, teoretisk/praktisk • Lärarbedömning • Diagnos Olika modeller för bedömning av reell kompetens • Konvergent/bevis ¾ ¾ ¾ ¾ Om du kan? kontrollerande, mot fastställda kriterier bevis för kunskap/kompetens bedöms och ges ett värde (poäng). Dokumentanalys, lärarbedömningar, prövning osv. • Divergent/process ¾ Vad du kan? ¾ Inga färdiga svar, vad individen lärt ¾ En process där reflektion och identifikation av kunskap/kompetens översätts och ges ett värde ¾ Självskattningar, intervjuer, diagnos, studievägledning portfolio osv. Valideringsdelegationens modell Kartläggning Yrkesbedömning/prövning Certifiering/praktik/ tillgodoräknande Kontrollerande Normerad och spetskompetens Utforskande Generell kompetens Exempel: ValiWeb • System för att validera, bland annat, sökande till yrkeslärarutbildningen • Utbildningen är uppdelad i två delar: 1. Yrkesrelaterad kompetens 2. Pedagogisk kompetens • Poäng främst i den yrkesrelaterade delen av utbildningen • Upp till ett och ett halvt år kortare utbildning. Exempel på valideringsmodell inom högre utbildning 1. Claim for APL based on vocational background 2. Description and evaluation of vocational background Vocational background needed to continue the process Not sufficient vocational background 3. Occupational experts judge the work-related competence 4. Final decision from the university Admission and the full amount of credits Admission, but not the full amount of credits Not admitted Varför är det viktigt med kvalitet i bedömningen av reell kompetens? • High stake! - Ju större konsekvenser en bedömning får för individen desto viktigare är det att bedömningen är rättvis och tillförlitlig - Bedömningen av reell kompetens inför högre studier innebär stora konsekvenser för individens framtida yrkeskarriär. Vilka blir konsekvenserna för samhället om bedömning inte är tillförlitlig? Studier i avhandlingen! I. Review över området med ett validitetsperspektiv. (Stenlund, T. (2009) Assessment of Prior Learning in Higher Education: a review from a validity perspective. Assessment & Evaluation in Higher Education. Publicerad online 4 augusti 2009) II. Studie (enkät) som undersöker upplevelsen av bedömningen av reell kompetens hos sökande till yrkeslärarprogrammet. (Stenlund, T., (submitted) Threats against the valid use of Assessment of Prior Learning in Higher Education: Claimants` experiences of the assessment process. Assessment in Education: Principles, policy and practice). III. Studie som undersöker validiteten i antagningsbeslut inom yrkeslärarutbildningen. (Stenlund, T., (submitted) Validity in admission decisions based on Assessment of Prior Learning in Higher Education. Assessment and Evaluation in Higher Education) IV. Studie som undersöker reliabiliteten i bedömningen av reell kompetens. (Stenlund, T., (work in progress) Intra- and Inter rater reliability in Assessment of Prior Learning. PARE.) Kvalitet i bedömningen av reell kompetens inom högre utbildning (Stenlund, 2009): 1. Proceduren för bedömningen bör var tydligt definierad för de som söker, involverad personal (som ex bedömare), och intressenter. Kriterier för att bedöma reell kompetens skall också inkluderas. 2. Bedömningen skall mäta och värdera reell kompetens utan att ta hänsyn till var eller hur man erhållit kompetensen. 3. Den akademiska institutionen är ansvarig för bedömningen 4. Bedömningen av reell kompetens bör vara valid and reliabel. 5. Bör ha samma kvalitetskrav som andra mer traditionella bedömningar. 6. De som genomgår bedömningen bör få hjälp och vägledning genom processen, och de bedömare som är involverade i processen bör ha rätt utbildning. 7. Förbättring och utvärdering av bedömningens kvalitet bör ske kontinuerligt. Gemensamma principer (EU, 2004) • Individuella rättigheter - Frivillig, rättvis, tillgång, respekt • Aktörernas förpliktelser - Fastställa system och metoder, kvalitet, vägledning och information • Tillit och förtroende - Genomskinlighet, rättvisa, kvalitet • Trovärdighet och legitimitet - Opartiskhet, undvika intressekonflikter, professionell kompetens Modell för att hitta och undersöka möjliga hot mot validiteten i bedömningar (Crocks, Kane & Cohen, 1996) 1.Administrering 2.Scoring/poängsättning 3.Aggregation/total poäng 6.Evaluation/värdering 7.Decision/Beslut 4.Generalization 5.Extrapolation 8.Impact/Konsekvenser 1. Administration • Möjliga hot - Genomförandet, vilka procedurer som följs och presentationen av en bedömning kan påverka resultatet av bedömningen - Resultatet kan antingen bli oförtjänt bättre eller sämre om man inte följer lämpliga procedurer 2.Scoring, 3.Aggregation och 4.Generalization • Reliabilitet och generaliserbarhet • Ex på möjliga hot - Intra-rater or inter-rater inconsistency, avsaknad av bedömaröverensstämmelse, d.v.s. resultatet beror på vem som gör bedömningen - Decrease of dependability, om man t e x bara använder en form av, eller väldigt få, uppgifter (bedömningsgrund) minskar pålitligheten i bedömningen. 5. Extrapolation/Samstämmigheten mellan det som bedöms och de riktlinjer som säger vad som ska bedömas • Möjliga hot - construct under-representation, man utelämnar något som borde ingå i bedömningen - construct irrelevant variance, man inkluderar något som inte borde ingå i bedömningen 6. Evaluation/ hur man formar bedömningarna • Möjliga hot - Olämpliga bedömningar, Positive bias, bedömningen är mer positiv än den borde vara, baseras på annat än själva bedömningsmaterialet Negativa bias, bedömningen är mer negativ än den borde vara, ex en grupp bedöms mindre kompetent än en annan likvärdig grupp 7. Decision/Beslut tagna som följd av bedömningen • Möjliga hot - Olämpliga kriterier (standards) 8. Impact/Konsekvenser för deltagarna eller samhället • Möjliga hot - Positive consequences not achieved - Serious negative impact occurs Resultat av studier! • Studie I: Relativt outforskat område! • Studie II: - Skillnader i hur ofta de var i kontakt med personal/vägledning - Svårt att beskriva sin yrkeskompetens och att komma ihåg allt, tidskrävande - Otydligt, vad som krävs för att få ett bra resultat, hur bedömningen och beslut tas, vad som saknas - Brist på återkoppling, bristfällig information om resultatet Forts. Resultat av studier • Studie III: - Skillnad mellan yrkesexperternas bedömning och högskolornas beslut - Skillnader i policy mellan universiteten - Gruppskillnader (kön och erfarenhet som yrkeslärare) • Studie IV: - Svårt att bedöma yrkeskompetens, subjektivitetsproblem - Bättre intra-rater reliabilitet än inter-rater reliability Några slutsatser! • Standardisering av proceduren, ex för att säkerställa att alla sökande får samma behandling, • Gemensam policy för alla universitet, ex för att undvika att någon får en fördel eller nackdel beroende på vilket universitet de söker till • Tydlig och genomskinlig definition (kriterier) av det som ska bedömas • Viktigt med utbildning av yrkesexperter, personal vid universiteten (även studievägledare), medvetenhet om hur de gör bedömningar och vilka hot mot validiteten som föreligger förbättrar möjligheten till en bra bedömning • Fortgående kvalitetssäkring, oavsett instrument Tack för mig!