1. No category

Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Att mäta det omätbara
– Ett exempel: de omätbara entreprenöriella kompetenserna
Martin Lackéus, doktorand i entreprenöriell utbildning, Chalmers
Blogg: www.vcplist.com Twitter: @mlackeus
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Kort om mig
Bakgrund:
•
•
•
•
Civ.ing i industriell ekonomi, Chalmers
Masterexamen från Chalmers entreprenörskola
Grundare / VD Vehco AB, Amplia AB, Me Analytics AB
Inte jobbat som lärare (utom på högskolan), inte särskilt pedagogiskt skolad
Idag, sedan 2009
•
Projektledare för olika utvecklingsprojekt
på Chalmers entreprenörskola
•
Doktorand med fokus på gränslandet mellan
entreprenörskap och pedagogik
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Detta tänkte jag prata om:
1.
Vad är… entreprenörskap / entreprenöriell kompetens?
2.
Varför & Hur göra människor mer entreprenöriella?
3.
Varför inte? Om detta nu är så bra, vad hindrar oss?
4.
Mätning – ett nytt sätt
5.
Värdeskapande – en ny pedagogik
Vill du veta mer?
Mycket är sammanfattat i en färsk
skrift jag gjort för OECD. Se
sidhänvisningar. Finns att ladda ner
på vcplist.com/resources
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
(Vad är entreprenöriellt lärande?)
Vad är entreprenörskap?
OECD :
Sid 6
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Två sorters värdeskapande
Så här ser det dock ut i 80% av fallen
Utforskande
värdeskapande
”Nya arbetssätt”
Innovation, helt nya erbjudanden,
lärande arbetssätt, metodutveckling
Rutinmässigt
värdeskapande
Entreprenöriell
kompetens
”Så som vi alltid gjort”
Processtyrning, optimering,
effektivisering, små förbättringar
Operationell
kompetens
…verktyg
Det behövs nya…
…strukturer
…kompetenser
…samarbetsformer
OECD :
Sid 8-9
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Vad är entreprenöriella kompetenser
•
•
•
Bred definition
Smal definition
(Mahieu, 2006; Fonden för Entreprenörskap, 2011)
(Mahieu, 2006)
Agera på möjligheter och skapa värde –
finansiellt, kulturellt eller samhälleligt
Kreativitet och självförtroende i fokus
•
•
•
Förmågor inom affärsutveckling
Anställa sig själv
Starta ett nytt företag
Förbereda individer för en mer osäker framtid
VÄRDESKAPANDE
FÖRETAGSSKAPANDE
Entreprenöriella…
Vad är det?
…kunskaper
Begrepp, konceptuella modeller, faktakunskap
…färdigheter
Marknadsföring, strategi, resursanskaffning,
möjlighetsidentifiering, lärande arbetssätt, relationshantering
…attityder /
förhållningssätt
Passion, självsäkerhet, identitet, proaktivitet, uthållighet,
osäkerhetshantering
OECD :
Sid 5-6
& 10
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Varför entreprenörskap i utbildning?
Individ
Organisation
Samhälle
Vanligt uttalade anledningar, mindre effektiva i skolan, leder till frikopplade insatser
Sysselsättning
Fler individer behövs som
kan och vill ta ansvar för att
skapa jobb
Nya och växande organisationer
anställer fler folk
Länder ser entreprenörskap som
en väg till ökad sysselsättning
Ekonomisk
framgång
Man kan bli rik som
entreprenör
Företag som förnyar sig
överlever längre och blir mer
framgångsrika ekonomiskt
Förnyelseprocesser är
fundamentala för att vitalisera
hela ekonomier
Förnyelse,
globalisering
och innovation
Människor i en föränderlig
värld behöver entreprenöriella
kompetenser
Nystartade organisationer
förnyar branscher och skapar
nya marknader
Ekonomin hos nationer blir
alltmer avreglerad och utsatt för
globala förändringskrafter
Viktigaste effekten
av entreprenöriellt
Ekonomisk välfärd i en nation
Kreativa och nöjda människor
skapar basen
för ökad
Om
ni
presterar bättre på lärande.
arbetsplatsen
livskvalitet och lycka
frågar mig
Ovanliga anledningar, lovande i skolan, kan integreras i alla ämnen
Glädje / lycka
Det är kul att vara kreativ, att
skapa nya saker och att
hjälpa andra människor
Samhällsutmaningar
Entreprenöriella individer kan
bidra till att lösa svåra
samhällsutmaningar, samt är
en möjlighet även för
diskriminerade / utsatta
individer att nå framgång
(Samhälls-) entreprenörskap
utgör en möjlighet för
organisationer att bidra.
Samhällsentreprenörer försöker
lösa problem som
marknadsekonomin inte lyckats
lösa
OECD :
Sid 13
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Vad gör människor mer entreprenöriella?
•
Väldigt få genvägar!
–
•
Många säger att enda sättet är ”Learning-by-doing”
–
–
•
•
Inte genom att säga till dem ”var kreativ!”, ”våga!”, ”bara gör det!”,
läsa en bok, eller lyssna på en gästföreläsare
Men, learning-by-doing… …vadå?!
Starta ett företag? Lösa ett problem? Skriva en affärsplan?
Det finns bättre och enklare sätt…
–
En ny verktygslåda har kommit senaste decenniet, där
fokus är värdeskapande snarare än företagsskapande
–
Chalmers har ihop med Drivhuset byggt en pedagogisk
plattform baserat på detta, som används i hela Sverige
–
Centrerad kring moderna verktyg som ”Business Model
Canvas”, ”NABC”, SPIN”, ”Effectuation”, etc etc
Det är känslorna som gör tricket:
Steve Blank
Saras Sarasvathy
Alexander
Osterwalder
Vi anordnar
aktiviteter som…
…triggar känslomässiga händelser…
…vilket bygger upp entreprenöriell kompetens.
Skapande, värdeskapande, organisationsskapande, etc.
Omvärldskontakt, osäkerhet, grupparbete, presentationer, etc.
Självförtroende, passion, identitet, pro‐
aktivitet, uthållighet, osäkerhetshantering
OECD :
Sid 1718
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
…triggar
känsomässiga
händelser…
…vilket bygger upp
entreprenöriell
kompetens.
Individuella skillnader
Ökad uthållighet
Värdeskapande
Balansera teori och praktik
Ökad entreprenöriell passion
Företagsskapande
Arbeta i team
Ökad självinsikt
Uthålligt företagsskapande
Osäkerhet och tvetydighet
Ökad tolerans för osäkerhet och tvetydighet
Interaktion med omvärlden
Ökat uppgiftsspecifikt självförtroende
Att leda andra människor
Formering av entreprenöriell identitet
Att övervinna Viktigkompetensgap
Bättre marknadsförings‐
färdigheter
Vi anordnar
aktiviteter som…
Skapande
Outforskad
mellanväg
Ny möjlighet till
formativ bedömning
– ett sätt att mäta det
omätbara
Viktig
Att presentera inför andra människor
Ökad social förmåga
OECD :
Sid 24
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Den altruistiska paradoxen*
Vi blir mer motiverade av att skapa värde för andra idag,
än av att skapa värde för oss själva i en avlägsen framtid
Genom att låta studenter agera på frågan:
“För vem är denna kunskap värdefull - idag?”
kan man frigöra höga nivåer av motivation, vilket ger bränsle åt lärandet
I stället för att säga:” Detta har du nytta av om 15 år”
OECD :
Sid 23
* Närmare beskriven i min avhandling “Developing Entrepreneurial Competencies”, som kan laddas ner på www.vcplist.com/blog
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Traditionell
testfokuserad
”kateder”- utbildning
Rigid
• Teori i fokus
• Ämneskunskap
• Fokus på tankar
• Isolerad elev
• Klassrumsbaserat
• Enkelt
• Lätt att mäta
Problem med motsättningar
Progressiv /
projektbaserad
”flumskola”
Vag
• Praktik i fokus
• Lärprocess
• Fokus på handling / känsla
• Engagerad elev
• Omvärldskopplat
• Komplext
OECD :
• Svårt att mäta
Sid 11
Photo by
h.Koppdelaney
CC BY-ND 2.0
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Traditionell
testfokuserad
”kateder”- utbildning
Problem med motsättningar
Politiker
Progressiv /
projektbaserad
”flumskola”
Forskare
OECD PISA
Lärare
“Increased globalization gives us no alternative to focusing on increasing efficiency through testing, accountability, and choice. ”
Hursh, 2007, “Assessing No Child Left Behind and the rise of neoliberal education policies”
“Pisa enriches [education] because it encourages countries to look at ideas from around the world.”
Andreas Schleicher, head of Pisa
“The danger here is that we end up valuing what is measured, rather than that we engage in measurement of what we value..”
Biesta, 2009, “Good education in an age of measurement: on the need to reconnect with the question of purpose in education”
“The new Pisa regime, with its continuous cycle of global testing, harms our children and impoverishes our classrooms”
OECD :
Photo by
Sid
11
Letter from 100 educational academics to OECD, h.Koppdelaney
calling to cancel next round of PISA tests CC BY-ND 2.0
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Traditionell
testfokuserad
”kateder”- utbildning
Problem med motsättningar
Politiker
Progressiv /
projektbaserad
”flumskola”
Forskare
OECD PISA
Värdeskapande som pedagogik:
Lärare
För vem är denna kunskap värdefull?
“Increased globalization gives us no alternative to focusing on increasing efficiency through testing, accountability, and choice. ”
Hursh, 2007, “Assessing No Child Left Behind and the rise of neoliberal education policies”
• Enkelt
• Lätt att mäta
Appreciative
Inquiry
Design
Thinking
Effectuation
Customer
Development
Enkla metoder för
värdeskapande mot
omvärlden
Nya sätt att
mäta det
omätbara
“The danger here is that we end up valuing what is measured, rather than that we engage in measurement of what we value..”
Biesta, 2009, “Good education in an age of measurement: on the need to reconnect with the question of purpose in education”
• Komplext
• Svårt att mäta
Photo by
h.Koppdelaney
CC BY-ND 2.0
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Hur man försökt mäta det omätbara
- Utvärdering av entreprenörsutbildning
Vad man mäter
Före utbildningens start
När utbildningen
pågår
Direkt efter utbildningens
slut
Lång tid efter
utbildningen
Tankar
Entreprenöriella kunskaper,
färdigheter och attityder
-
Entreprenöriella kunskaper,
färdigheter och attityder
-
Aktiviteter
-
-
Faktiskt entreprenöriellt
beteende
Känslor
-
-
-
Lackéus, 2014, ”An Emotion Based Approach to Assessing Entrepreneurial Education”
Theory of Planned Behavior:
Entrepreneurial attitudes
Entrepreneurial intentions
Entrepreneurial behavior
I can be…
I am…
(self‐efficacy / ability / controllability)
(entrepreneurial behavior)
I want to be…
(passion / social norms / willingness )
I’m planning to be...
(planned behavior)
…an entrepreneur
(narrow definition)
OECD :
and/or
I was…
(entrepreneurial outcomes)
Sid 16
& 19
…entrepreneurial
(wide definition)
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Exempel på tankemätning:
ASTEE Project – www.asteeproject.eu
OECD :
Sid 1617
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Problem med befintlig forskning
•
•
Tankebaserade strategier (Theory of Planned Behavior, enkäter, etc)
–
Lätta att tillämpa – enkäter kan delas ut till 1000-tals elever / studenter – men väldigt tunt med
användbara slutsatser
–
Metoden hämtad från naturvetenskapliga verktygslådan (”evidence based”), men fungerar dåligt
på meningsskapande aktiviteter
–
–
–
–
Berättar bara om en förändring har skett, inte vad som skett, när det skedde, varför och hur
Naiva uppfattningar om egen förmåga före insats stör jämförelser
Stor risk för skevt urval / systematiskt fel – viss utbildning attraherar entreprenöriella personer
Länken mellan intentioner och faktiskt beteende är en teori som ej har kunnat visas empiriskt
Aktivitetsbaserade strategier (faktisk entreprenöriell aktivitet)
–
–
–
–
–
Svårt att koppla faktisk entreprenöriell aktivitet till utbildningsinsats flera / många år tidigare
Mycket dyrt att följa individer under så många år som ofta krävs
De långa tidsspannen ger många kringvariabler och gör att kausalitet blir svårt att etablera
Stor risk för skevt urval / systematiskt fel – viss utbildning attraherar entreprenöriella personer
OECD :
De som fått entreprenörsutbildning agerar oftare entreprenöriellt - motiverar utbildningsinsatser Sid 1617
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Mina försök att mäta det omätbara
Vad man mäter
Före utbildningens start
När utbildningen
pågår
Direkt efter utbildningens
slut
Lång tid efter
utbildningen
Tankar
Entreprenöriella kunskaper,
färdigheter och attityder
Vad tänker
eleverna?
Entreprenöriella kunskaper,
färdigheter och attityder
-
Aktiviteter
-
Vad gör
eleverna?
Faktiskt entreprenöriellt
beteende
Känslor
-
Vad / hur känner
eleverna?
-
•
•
•
Bygger på att spåra signifikanta och emotionella händelser som triggar lärande (dvs länkar)
Fångar elevers upplevelser, liknar ”formativ bedömning”, bygger på Experience Sampling
Fokus på vad som sker i utbildningsinsatsen, inte före / efter / långt efter
En mobil app används för att fånga
elevers känslomässiga upplevelser
”Experience
sampling”
Månad 1
Interjvuer transkribreras, kodas i
NVIVO och frekvens av länkar mäts
Djupintervjuer följer upp händelserna,
kopplar varje händelse till lärande
Månad 2
Månad 3
Analys görs av när / varför / hur
entreprenöriellt lärande sker OECD :
Sid 17Månad 4
Månad 5
18
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Experience Sampling Method (ESM)
•
Mycket korta enkäter som besvaras i situationen / miljön
–
–
–
•
Kan fånga subjektiva upplevelser med mycket hög validitet och reliabilitet
En blandning mellan dagbok och enkät
Underlättas väsentligt av att (nästan) alla idag har smarta mobiler
Har anpassats för syftet att fånga lärande
–
–
–
The week of
a teenager:
Eleven själv rapporterar när något signifikant har hänt
Bygger på männsikans naturliga önskan att dela emotionella händelser
Förankrat i Vygotskys lärandesyn att det är mänsklig aktivitet som leder till lärande
What teenagers
do in class:
OECD :
Sid 1718
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Men… hur kommer känslor in i bilden?
“Det genetiska, fysiska och biologiska”
“Kunskaper, färdigheter, attityder, värderingar,
känslor, övertygelser och sinnesintryck”
Vad är lärande?
“Lärande [är] processer där hela människan – kropp och själ – upplever en social situation som
innefattar tankar, känslor eller praktisk handling (eller en kombination) som integreras i ens biografi
och leder till en förändrad (mer erfaren) person.”
Peter Jarvis, “Towards a comprehensive theory of human learning”, 2006, sid 13
Vilken roll spelar känslor för lärande?
“Känslor har diagnostiskt värde för läraren
eftersom de avslöjar [elevernas] underliggande
tankar, engagemang och oro.”
“Känslomässiga dimensioner utgör det
fundament som praktiskt, konceptuellt och
kreativt lärande vilar på”
Monique Boekaerts, “The crucial role of motivation and emotion in
classroom learning ”, 2010, sid 91, ur boken “The Nature of Learning!
John M. Dirkx, “The Power of Feelings: Emotion, Imagination, and the
Construction of Meaning in Adult Learning”, 2001, sid 68
“Om skolutveckling inte tar hänsyn till känslor
kan pedagogiska initiativ förbise och rentav
skada några av de mest fundamentala
aspekterna av vad lärare gör.”
Andy Hargreaves, “The Emotions of Teaching and Educational Change”,
2005, sid 294
“Kunskap och resonemang skilda från
känslomässiga effekter och lärande saknar
mening och motivation och är till liten nytta
i den verkliga världen..”
Mary Helen Immordino-Yang & Antonio Damasio, “We Feel, Therefore We
OECD :
Learn: The Relevance of Affective and Social Neuroscience to Education”,
Sid 17
2011, sid 128
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Länkar mellan viktiga händelser och
entreprenöriell kompetensuppbyggnad
23-24-åringar på Chalmers entreprenörskola
”Jag vill!”
”Jag kan!”
”Jag vågar!”
”Jag är sån här!
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Länkar mellan viktiga händelser och
entreprenöriell kompetensuppbyggnad
13-14-åringar på högstadiet (ÅK7)
”Jag gör!”
”Jag kan!”
”Jag samarbetar!”
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Vanligaste källorna till känslor
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Appen LoopMe – ett nytt mätverktyg
www.loopme.se
Aktiviteter
Tankar
Känslor
Används i mer än 100 skolor runt om i Sverige
Sammanfattat
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Ökad motivation
Att motivationen har höjts genom att
Rebecka kan se direkt vilka aktiviteter och
uppgifter som går hem i klassen hjälper
henne själv att utmana sig själv i sin
undervisning. Eleverna blir mer kreativa
eftersom de får vara med och påverka och
de ser en direkt återkoppling.
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Vad upplever eleverna i några av Sveriges
mest entreprenöriella skolor?
Studie åt Skolverket av Carin Sävetun och Martin Lackéus i samarbete med Me Analytics AB
•
Vi fick i uppdrag av Skolverket att
med hjälp av app-metodik utforska EL
när det fungerar som ”bäst”
•
Bygger vidare på vår förstudie av
Framtidsfrön, som visade på goda
effekter av värdeskapande mot
omvärlden
•
Skolor valdes ut av oss i kommuner
som ofta nämns som goda exempel,
urval stämdes av med Skolverket
Rapport kan laddas ner på vcplist.com/resources
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Vad upplever eleverna i några av Sveriges
mest entreprenöriella skolor?
Studie åt Skolverket av Carin Sävetun och Martin Lackéus i samarbete med Me Analytics AB
Fördelning av ”Kreativ”
Intressanta saker skedde här…
Arbeten om Sveriges landskap
Skriv om min familj, läs en bra bok
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Vad upplever eleverna INTE i några av
Sveriges mest entreprenöriella skolor?
Varav 7 av 8 på rasten
Enda verkliga kontakt utanför skolan
var när en journalist kom för att ta kort
på när de använde appen LoopMe
På engelskalektionerna skedde
intressanta saker som vi ska
utforska närmare
- Ett fokus på förhållningssätt har (ännu) inte lett till utpräglat entreprenöriellt lärande.
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Entreprenöriellt lärande vs annat
Entreprenöriellt
lärande
Problembaserat
lärande
Projektbaserat
lärande
Praktik
(APL)
…problem
X
X
X
X
…möjligheter
X
…autentiskt innehåll
X
X
X
X
…artifakt-skapande
X
…iterativa experiment
X
…Interaktion med omvärlden
X
X
…värdeskapande för externa parter
X
X
…teamwork
X
…arbeta över längre tidsperioder
X
…nyskapande
X
Fokus på…
X
X
X
X
X
OECD :
…misslyckande del av processen
X
Sid 13
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Värdeskapande som pedagogik
Fokus på…
…problem
…möjligheter
…autentiskt innehåll
…artifakt-skapande
…iterativa experiment
…Interaktion med omvärlden
…värdeskapande för externa parter
…teamwork
…arbeta över längre tidsperioder
…nyskapande
…misslyckande del av processen
Entreprenöriellt
lärande
Problembaserat
lärande
Projektbaserat
lärande
Praktik
(APL)
X
X
X pedagogik:
X
Definition
av värdeskapande
som
X
Låt studenter / elever skapa något (gärna innovativt)
av värde
för minst en
utanför skola
X
X (1) person X
X /
högskola, baserat på valfritt ämnesinnehåll samt
X
X Startpunkt i
uppbyggd
förståelse för omvärlden.
problem
/ möjlighet de själva finner / äger.
X
X arbeta i team och över längre tidsperioder.
X
Låt dem
Se till att de använder den kraftfulla iterativa
X
X
entreprenöriella verktygslåda som finns att tillgå.
Bedömning
skall ske löpande
och aktivitetsbaserat.
X
X
X
X leder till stark motivation, men
X också risk,
X
Detta
tvetydighet,
känslosvall mm, vilket är positivt och bra
X
för lärandet. Oavsett om de lyckas skapa värde eller
ej såXhar de lyckats. Det är försöket som räknas!
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Traditionell
pedagogik
Hur värdeskapande som pedagogik överbrygger
Progressiv
pedagogik
Enkelt
En enkel uppgift: Skapa värde för någon utanför klassen / skolan
baserat på valfritt kunskapsinnehåll i skolan
Kompext
Om det blev värdefullt för en (1) person så har du lyckats.
Individ
Omvärld
Om du försökte men misslyckades så har du också lyckats
Ämneskunskap
I entreprenöriella verktygslådan finns kunskap om hur man skapar värde
Process
Verktygslådan gör värdeskapande processer möjliga att lära ut
Både framgång och misslyckande leder till personlig reflektion.
Isolerad
Engagerad
Varje iteration i värdeskapandet startar med självreflekterande frågor
Börja i teorin, fråga “För vem kan denna kunskap vara värdefull, idag?”
Teori
Praktik
Avsluta det hela i teorin, reflektera över vad som visade sig vara värdefullt
Se hela filmen på vcplist.com/tenminutes
OECD :
Sid 2324
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Sundsvall testar nu detta i stor skala
•
Ett initiativ från kommundirektören
och skoldirektören för att nå
Sveriges bästa skola 2021
•
Särskilt handplockat projektledarteam
(pedagoger / rektorer / skolutvecklare) har
utbildats under 2014 av Chalmers / Drivhuset
– fokus på värdeskapande i teori och praktik
•
Samtliga 120 chefer i utbildningsförvaltningen utbildas nu i nästa steg
•
Mätverktyg LoopMe testas för ev
uppföljning av effekter
•
Definition som används
–
”Metoder och verktyg som
används i lärandet för att
uppnå ökad meningsfullhet
och upplevd relevans genom
att skapa värde för någon annan.”
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Kort film från Sundsvall
https://www.youtube.com/watch?v=hul1Z_91tPw
Läs mer & ladda ner bilder på min forskarblogg: vcplist.com
Diskussionsfrågor:
1. Hur kan man “mäta” besökares entreprenöriella lärande
på ett science center? Elever kontra övriga besökare?
2. Hur kan elever bli mer medvetna om sitt eget lärande?
Vilka nu aktuella utställningar och program ger
möjligheter till detta?
3. Hur kan observationsmetoder utvecklas? Finns det
möjligheter att samarbeta med skolan för att värdera
elevers lärande?
Martin Lackéus, doktorand i entreprenöriell utbildning, Chalmers
Blogg: www.vcplist.com
Twitter: @mlackeus
E-post: [email protected]