SEALLL är ett Grundtvig 1-projekt, del av det europeiska utbildningsprogrammet SOCRATES. Projektet syftar till att förbättra kvalitet på undervisning, lärande samt organisation och ledarskap i livslång lärande (LLL) genom att sprida och stödja självutvärdering. Projektet stödjer aktörer i organisationer som arbetar med LLL att självutvärdera deras undervisning, lärande och ledarskap.

I detta nyhetsbrev kommer vi att ge några exempel på självutvärdering som följer de processer som rekommenderas av SEALLL.

Självutvärdering kan ha en bred utgångspunkt: det handlar inte bara om utbildningsinnehåll och metoder. Alla delar i en organisation kan självutvärderas så länge initiativtagaren äger processen. Självutvärdering kan genomföras på alla nivåer i en organisation: ledarnivå, organisationsnivå, operativ nivå eller personalnivå.

Ibland känns det svårt att få in deltagares åsikter, vi vill inte ska störa dem med våra frågor och vi tror inte att dom vill delta. Om vi är kreativa kan vi hitta sätt att göra självutvärdering mer attraktivt och finna att deltagare gärna lämnar synpunkter om vi kan bevisa att vi kommer att använda resultaten till förbättringar. Det betyder att självutvärdering inte börjar med sökandet efter ett instrument utan långt innan, vid den tidpunkt då man överväger att göra en självutvärdering eller när man finner brist på information. Läs nedan om hur en Österrikisk organisation hanterade detta: Självutvärdering av ett rådgivande samtal.

Ibland vill vi samla in för mycket information på en gång och glömmer deltagarna som måste fylla i långa formulär. Innan vi funderar över vilken information vi vill samla in, bör vi definiera kriterier som vi tror är viktiga för deltagarna. Kwasimodo, en belgisk organisation, utvärderade hur dom utvärderade sina utbildningssammankomster och bytte ut deras fyra sidor långa formulär till ett mer spännande självutvärderingsinstrument. Läs mer om detta i exempel 2.

“Jag är inte emot det, inte alls, men kan vi göra det? Kvinnorna som kommer hit är i en krissituation. Kan vi verkligen be dem fylla i en utvärdering om kvaliteten på det jobb vi som organisation gör när dom inte vet hur man ger sina barn mat eller hur man betalar hyran? Det känns inte bra.” – Rådgivaren tittar tveksamt på mig och sedan på hennes äldre kollega: “Jag förstår att jag borde värdera mitt eget arbete högre och det finns förstås alltid utrymme för förbättringar och feedback – det skulle vara nyttigt ur vissa aspekter.”

Dialogen skedde på kontoret hos ett av medlemsorganisationerna i SEALLL-projektet. Organisationen ger support till kvinnor i krissituationer. Dess huvudsakliga syfte är att erbjuda mild service till kvinnorna. Med tanke på det, var det viktigt för arbetslaget att utveckla självutvärderingsmetoder som inte krävde för mycket av kunderna. Att hitta ett sätt att kombinera självutvärdering med organisationens grundläggande principer var ämnet för mötet. Så här blev det:

"Jag föreslog att vi skulle titta på de delar av arbetet som hon vill ha feedback på. Vi kom överens om att vi skulle följa planeringsinstrumentet som är framtaget i SEALLL-projektet. Så, vad är ett möjligt mål med utvärderingen, vilken typ av information behövs för att nå dessa mål? Vem behöver informationen komma från? – Och viktigast, föreslår hon, vi borde titta på miljön där samtalen genomförs. Dessa genomförs på ett kvinnocafé för att uppmuntra kvinnor som har svårt för att be om hjälp.“ Men, det betyder också att det inte är särskilt privat, människor från andra bord kan höra, ibland har kvinnor med sig barn som låter, radion spelar på hög volym – det är väldigt svårt och otillfredsställande”. – Jag ser på henne. “Du vill ha bevis för något som du redan vet” och på hennes chef, “Hur starka bevis behöver du för att kunna stötta en förbättring av arbetssituationen?”– “Det finns inga pengar, vi kan inte bygga om, men om det finns tillräckliga bevis kan vi hitta en lösning”. Medan vi funderar över hur många klagomål som krävs för att motivera en förändring, delar rådgivaren med sig av andra erfarenheter. I det fortsatta samtalet utvecklar rådgivaren och hennes chef en lösning som båda är väldigt nöjda med.

Vi börjar titta på andra aspekter. Det visar sig att rådgivaren skulle vilja veta hur god kvalitet rådgivningen håller, men hon visar mig med förtret utvärderingsformuläret som hennes föregångare använde. “Jag kan inte tänka mig att fråga kvinnor i kris alla dessa frågor. De är ju inga experter, hur kan jag förvänta mig att deras svar ska ligga på rätt nivå? Jag skulle vilja veta om kvinnorna känner att de mår bättre efter rådgivningen.” Jag föreslår att hon kan använda symboler som ett instrument. Jag tar fram några saker ur min väska och lägger dem på bordet. “Kan du välja en symbol som visar hur du känner kring hur vi löste problemet med miljön för rådgivning?” Båda kvinnorna väljer glatt och beskriver anledningen till sina val. Jag frågar dem hur de känner inför instrumentet. Det känns bra, säger dom. De motiverar det med att instrumentet fick dem att se sina egna känslor. Rådgivaren säger att hon verkligen skulle vilja jobba så här. Vi bestämmer att det i minnesanteckningarna efter ett rådgivningssamtal ska finnas en återkopplingsdel som ska formuleras: Symbol som valdes i slutet av mötet/anledningar till valet av symbol… Det ger feedback till rådgivaren och det får samtidigt kunden att se sina egna känslor.

Rådgivaren kommer på ytterligare en aspekt som skulle vara intressant. “Jag rekommenderar mina kunder att ta kontakt med ett antal olika institutioner, men jag får ingen återkoppling på om dessa är rätt för problemet och om de är tillräckligt stödjande utifrån ett könsperspektiv. Det skulle vara mycket nyttigt att veta mer om det. Oftast hör jag inget mer ifrån kvinnorna, och det kan betyda att det blev rätt men det kan också betyda det motsatta. Att veta mer om det skulle förbättra mitt arbete.” Så vi försöker hitta ett instrument som inte innebär så mycket arbete för kunderna men som ger rådgivaren den information hon behöver. Lösningen blir ett frankerat vykort med frågor med svarsalternativ, några smilies och utrymme för övriga kommentarer. Rådgivaren vill formulera frågorna själv och sända dem till mig för feedback.

Detta är ett bra exempel som visar att man kan anpassa självutvärdering till nästan alla arbetssituationer utan att gå emot huvudsyftet i arbetet. Det enda som krävs är kreativa idéer. Jag hörde nyligen från medlemsorganisationen och de berättade att de redan hade börjat använda instrumenten och att de var väldigt nöjda eftersom deras kunder tyckte att det var bra.

Kwasimodo är en belgisk icke vinstdrivande organisation, som stöds och finansieras av kulturförvaltningen i den Flamländska regionen. Kwasimodos huvudsyfte är att sprida och implementera kvalitetssäkring i organisationer inom social- och kultursektorn. Självutvärdering är en viktig del av kvalitetssäkringen. Kwasimodo har framgångsrikt utvecklat en uppsättning verktyg för att utvärdera graden av kvalitetssäkring som finns i en organisation.

1. Varför utvecklade vi nya verktyg?

Ständiga förbättringar är det centrala i TQM. Utvärdering är därför en nödvändig process för att identifiera och planera förbättringar. Som expertorganisation inom TQM, har Kwasimodo alltid aktivt utvärderat undervisning och rådgivande samtal som ges till kundorganisationer.

En kritisk analys visade dock att Kwasimodo inte hade använt nya data för att utveckla och genomföra förändringar i organisationen. Det fanns ett antal anledningar till detta:

• utvärderingarna slutfördes inte korrekt eller i tillräckligt hög grad av kunderna
• svaren var partiska
• utvärderingsfrågorna var inte relevanta och inte alltid helt kopplade till Kwasimodos tjänster

2. Vad var syftet med utvärderingen?

Lärarna på Kwasimodo ville samla in information om effekterna av sin undervisning. Dessutom ville de få fram data som visade Kwasimodos styrelse att de kontinuerligt förbättrade sin undervisning.

Det är viktigt för lärarna på Kwasimodo att de utför bra undervisning och att de använder en modell för återkoppling som kunderna kan använda för att ge feedback. De som deltar i undervisningen är också ivriga att bidra med objektiv information relaterat till den kvalitet som lärarna har på undervisningen i vetskap att denna information används till att förbättra framtida undervisning.

I detta sammanhang är det naturligt att utvärderingsfrågorna handlar om leveransen av tjänsten (i detta fall undervisning) och inte om andra områden som varken lärarna eller Kwasimodo har kontroll över. Utvärderingen ska ge tydlig återkoppling på den effekt som undervisningen har. Den ska också svara mot indikatorerna, kundens prioriteringar och gentemot deltagarnas förväntningar.

3. Hur fick vi fram kriterierna?

Steg ett: Definition av kriterier för utvärdering

Detta uppnåddes genom att lista olika undervisningstillfällen och genom att definiera lämpliga indikatorer genom att använda ett processledningssystem. Denna process resulterade i att fem objekt som skulle utvärderas:

• innehållet
• lärandeprocessen
• hur nöjd kunden var i allmänhet
• intentionen att fortsätta samarbeta med Kwasimodo
• nivån på det aktiva deltagande hos kunden

Steg två: Vilka ska vi fråga och vilka förväntningar har dessa?

För att få ett snabbt och enkelt utvärderingssystem som inte ska ses som tidskrävande för kunder har varje utvärderingsobjekt bara tre frågor. Dessutom kan utvärderingsobjekt kombineras, i enlighet med den kundgrupp som ger återkoppling i utvärderingen.

Steg tre: Utveckling av utvärderingsobjekt

Kwasimodo har fem utvärderingsobjekt för att utveckla olika utvärderingsmodeller i enlighet med deras målgrupp. Utvärderingsobjekt som relaterar till innehållet ses som en grund i alla utvärderingsmodeller och de fyra resterande utvärderingsobjekten relaterar till processen och leveransen och kan anpassas efter varje specifik kundgrupp.

4. Tips och tricks

• Klargör vad du verkligen behöver veta och vad du kommer att ha störst nytta av för att kunna förbättra utvärderingsobjektet.
• Var ärlig när du läser av resultatet i utvärderingen. Det är lönlöst att ändra eller tolka resultaten.
• Återkoppla resultaten till deltagande kunder. Berätta hur dessa resultat kommer att påverka framtida verksamhet.
• Utvärderingsverktyg är inte eviga. Ändra den när det är nödvändigt.
• Försök att göra utvärderingsprocessen intressant och innovativ för både deltagande kunder och lärare. Var kreativ!
• Utvärdera utvärderingsmetoden regelbundet så du är säker på att din metod fortfarande är relevant och ändamålsenlig.

produkter finns på projektets webbplats! Besök gärna:

• Landcommanderij Alden Biesen, Bilzen, BE, coordinator:
  Guy Tilkin: guy.tilkin@alden-biesen.be
• PLATO, University of Leiden, NL:
  Jaap Van Lakerveld: laker@fsw.leidenuniv.nl
  Selma van der Haar: haarsvd@plato.leidenuniv.nl
• Soros International House, Vilnius, LT:
  Daiva Malinauskiene: daiva@sih.lt
• Kwasimodo, Brussels, BE:
  Anita Caals: anita.caals@kwasimodo.be
• Centre for Flexible Learning, Söderhamn SE:
  Tove Elvelid: tove.elvelid@soderhamn.se
• ISIS Institut für Soziale Infrastruktur, Frankfurt am Main, DE:
  Karl Mingot: mingot@isis-sozialforschung.de
• The Bauer-Messner EvaluierungsKEG, Graz, AT:
  Christa Bauer: christa.bauer@aon.at
  Angelica Petrovic: Angelika.Petrovic@inode.at
• Fundacja Centrum Edukacji Obywatelskiej, Warsaw, PL:
  Kasia Batko: kasiab@ceo.org.pl
  Iwona Kania: iwona.kania@ceo.org.pl
• Akdeniz University Center for Continuous Education, Antalya, TR:
  Gunsiray Košun: gunsiray@akdeniz.edu.tr

Livslångt lärande (LLL) är ofta mindre formellt och strukturerat än grundskolestudier och studier inom högre utbildning. Därför är kvalitetssäkring, självutvärdering, självstyrt lärande och lärande organisationer till och med mer viktigt i LLL än i formella lärsituationer.

SEALLL är ett Grundtvig 1 projekt, en del av det Europeiska utbildningsprogrammet SOCRATES. Projektet syftar till att förbättra kvaliteten på undervisning, lärande och ledning i det livslånga lärandet genom att stödja självutvärdering. Projektet stöttar aktörer i organisationer som arbetar med livslångt lärande med självutvärdering av undervisning, lärande och ledning.

SEALLL är INTE ytterligare en uppsättning färdiga utvärderingsinstrument med indikatorer som ska följas upp och rutor som ska kryssas i.
SEALLL fokuserar på självutvärdering som en lärande process. Vi talar för en kultur där kvalitetssäkring innebär att man äger sin egen process och de resultat som kommer fram. Det är viktigt för att en utvärderingsprocess ska kunna leda till förändring. Ett underifrånperspektiv och stöd till processens initiativtagare i att leda sin egen utvärdering är utgångspunkten för SEALLL.

Vi ser självutvärdering som en utvärderingsprocess som är självinitierad, internt organiserad och självbestämd. Den ska syfta till professionellt beslutstagande, högre måluppfyllnad och höjd utbildningskvalitet.

Verktyget som används i projektet utgår från en moduluppbyggd struktur där självutvärdering ses som en dialog mellan olika aktörer. En dialog mellan stab, lärare och studerande och/eller en dialog mellan organisationen och relevanta externa aktörer är utgångspunkt för självutvärdering.

• Att hjälpa aktörer inom organisationer som arbetar med LLL att självutvärdera sin undervisning, sitt lärande och sin ledning.
• Att hjälpa organisationer som jobbar med LLL att bygga upp sin institution som en lärande organisationer på alla nivåer.
• Att gynna ett underifrånperspektiv för självutvärdering i LLL.
• Att ha en bred europeisk approach i skapandet av material.
• Att fokusera på användningen av självutvärderingdata, analyser och konsekvenser.

• En moduluppbyggd struktur med indikatorer och kriterier för självutvärdering av kvalitet i LLL som hjälper potentiella användare att designa sin egen utvärderingsprocess.
• En webbplats med den moduluppbyggda strukturen, lämpliga verktyg, instruktioner, självutvärderingsinstruments, självutvärderingsverktyg online, goda exempel etc.
• Utbildningstillfällen och fortbildningsdagar på regional och nationell nivå.
• En pool av experter, utbildare och talare inom området. (för organisatörer av nationell och internationell fortbildning).
• En manual för lärare/handledare och administrativ personal med instruktioner, metoder och tekniker för att införa och implementera självutvärdering i vuxnas lärande.
• En internationell konferens för att sprida materialet.

• Lärare, handledare, chefer och administrativ personal i formella och informella vuxenutbildningsorganisationer.
• Lärarutbildare.
• Myndigheter inom utbildning, sociala frågor och kulturella frågor på lokal/regional/nationell nivå (politiker och tjänstemän).
• Programutvecklare
• Vuxna studerande

På projektets webbplats hittar du:

• Instruktioner för att införa självutvärdering i din organisation.
• Några teorier kring SEALLLs syn på självutvärdering.
• En mall for att starta självutvärderingsprocesser och skapa egna instrument.
• Exempel på självutvärderingsprocesser i olika situationer av LLL, med utgångspunkt från initiativtagare och område.

SEALLL erbjuder också information och fortbildning i partnerländerna samt talare och workhopledare för konferenser som andra organisationer ordnar.

produkter finns på projektets webbplats! Besök gärna: