SEALLL is een Grundtvig 1 project en maakt deel uit van het Europese onderwijsprogramma Socrates. SEALLL is erop gericht de kwaliteit van lesgeven en leren en de kwaliteit van organisatie en management te verbeteren door het promoten en ondersteunen van zelfevaluatie. Het project wil alle 'spelers' in LLL-organisaties helpen bij de zelfevaluatie van hun lesgeven, leren en management.

Deze nieuwsbrief biedt een aantal voorbeelden van zelfevaluatie volgend op de processen, geïntroduceerd door SEALLL.

Zelfevaluatie heeft een brede invalshoek: het gaat hier niet alleen over de inhoud van de opleiding en de methoden. Alle elementen van een organisatie kunnen onderwerp zijn van zelfevaluatie op voorwaarde dat de initiatiefnemer zelf over het proces beschikt. Zelfevaluatie kan plaatsvinden op alle niveaus van de organisatie: het bestuursniveau, het operationele niveau of zelfs het persoonlijke niveau.

Soms denkt men dat geen evaluatie mogelijk is t.a.v. bepaalde deelnemers aan een activiteit: dat we hen best niet lastig vallen met onze vragen of dat ze niet bereid zijn deel te nemen aan de evaluatie. Als we maar creatief zijn, vinden we wellicht een manier om zelfevaluatie attractiever voor te stellen. We merken dat men graag commentaar geeft op voorwaarde dat men het gevoel of het bewijs krijgt dat er iets met de resultaten gedaan wordt. Lees in het eerste voorbeeld beneden hoe een Australische organisatie dit aanpakte: zelfevaluatie toegepast op een counselingsituatie.

Zelfevaluatie is niet slechts een instrument maar ook een proces. Wanneer we het proces doorlopen vanuit een creatieve manier van denken, kunnen we nieuwe materialen en methoden bedenken. Soms willen we teveel informatie op hetzelfde moment waardoor we de deelnemers uit het oog verliezen, die vaak zeer lange vragenlijsten moeten invullen. Alvorens we nadenken over de informatie die we willen verzamelen, zouden we beter de criteria bepalen waarvan we vermoeden dat ze belangrijk zijn voor de deelnemer. Kwasimodo, een Belgische organisatie, evalueerde de wijze waarop ze haar opleidingssessies evalueerde en veranderde haar 4-paginalange vragenlijst in een sexier zelfevaluatie-instrument. Zie voorbeeld 2.

“Ik ben er niet tegen, helemaal niet. Maar is dit doenbaar? De vrouwen die hier komen, bevinden zich in een wanhopige situatie. Kan men hen lastigvallen met het invullen van een vragenlijst over de kwaliteit van mijn werk terwijl ze niet weten hoe hun kinderen te voeden of hun huur te betalen? Ik zou me er afschuwelijk bij voelen.” – De consulent kijkt me vragend aan en met een blik naar haar meerdere: “Ik begrijp wel dat ik rekenschap moet kunnen geven van mijn werk en natuurlijk moet er altijd ruimte zijn voor verbetering. Feedback zou dan ook zeer nuttig zijn met het oog op bepaalde aspecten”.

Deze dialoog vond plaats in het prille begin van een counselingsessie op het departement van één van onze ledenorganisaties in het SEALLL-project. Het is een organisatie die steun verleent aan vrouwen in crisissituaties. Het basisprincipe van de organisatie is aan deze vrouwen hulp en diensten aan te bieden. Om deze reden vond het team het moeilijk om een manier van zelfevaluatie te ontwikkelen die niet te veel van de cliënten vroeg. Dus een manier vinden om zelfevaluatie te combineren met de basisprincipes van de organisatie vormde het thema van de counselingsessie. En zo ging het verder:

Ik bood aan om naar die aspecten van haar werk te kijken waarover de consulente feedback wenste. Ze ging akkoord om het planningsinstrument in ons zelfevaluatieraster te volgen. Dus, wat zijn de mogelijke doelstellingen van de evaluatie, welk soort informatie zou haar helpen deze doelstellingen te bereiken? Van wie had ze informatie nodig? En zeer belangrijk was, volgens haar, de omgeving van de counselingsituatie. Deze vindt plaats in een vrouwencafé om wat meer verlegen vrouwen aan te moedigen hulp te vragen. “Maar dit betekent ook dat het niet om een privéaangelegenheid gaat, mensen aan andere tafels luisteren mee, soms zijn er vrouwen en kinderen die lawaai maken, de radio staat luid – het is erg moeilijk en schenkt geen genoegen.” - Ik kijk naar haar. “Je wil bewijs van iets dat je al weet” en naar haar baas, “Hoe veel of hoe sterk acht je de bewijzen nodig om de situatie te verbeteren?” – “Er is geen geld, we kunnen het gebouw niet reconstrueren maar als we voldoende sterke bewijzen hebben, zullen we een oplossing vinden”. Terwijl we trachten na te gaan hoeveel klachten van vrouwen er nodig zouden zijn om daadwerkelijk een verandering te bewerkstelligen, kan de consulente niet weerhouden worden enkele van haar ervaringen te delen. In de daaropvolgende dialoog begint de consulente samen met haar baas een oplossing uit te werken die hen beide voldoening geeft. Blijkbaar is de dialoogsituatie erg bevredigend voor hen. Ik besef dat ik ze stilaan terug naar het thema moet leiden, “Soms heb je zelfs geen bewijzen van anderen nodig, soms is het voldoende om een dialoog te voeren met je baas!”

We bekeken ook enkele andere aspecten. Blijkt dat de consulente geïnteresseerd is in de kwaliteit van de hulpverlening maar ze toont me met afgrijzen de vragenlijst die haar voorganger gebruikte. “Ik kan me niet voorstellen dat ik een vrouw in nood al deze vragen zou stellen. Bovendien is ze geen expert, hoe kan ik van haar verwachten dat haar antwoorden aan dit niveau beantwoorden? Wat mij interesseert, is of de vrouw beter met haar situatie omkan na de counseling.” Ik stel voor om symbolen als instrument te gebruiken. Ik heb enkele voorwerpen in mijn tas en leg ze op tafel. “Kan je een symbool kiezen dat aantoont hoe je je voelt over het opgeloste probleem van de counselingomgeving dat jullie net besproken hebben?” Beide vrouwen vinden het prima te kiezen en hun keuze te staven. Ik vraag hen wat ze voelen bij het instrument. Ze voelen zich er goed bij omdat het hen inzicht verschaft in hun eigen gevoelens. De consulente zou heel graag met dit instrument werken in haar councelingwerk. Samen met haar baas besluiten we dat in het verslag dat ze moet schrijven naar aanleiding van een counselingsituatie ook ruimte voor feedback moet zijn met de volgende vermelding: gekozen symbool op het einde van de vergadering + reden waarom…dit zou feedback voor de counseling moeten zijn die tegelijkertijd toelaat dat de cliënte zicht krijgt op haar eigen gevoelens.

De consulente blijkt ook geïnteresseerd in iets anders. “Ik beveel mijn cliënten bepaalde organisaties aan, maar ik krijg geen feedback of deze instellingen geschikt zijn in de behandeling van hun probleem en of ze voldoende ondersteunend en vrouwvriendelijk zijn. Het zou nuttig zijn hier meer over te weten. Meestal hoor ik niets meer van die vrouwen, wat kan betekenen dat ze het goed doen maar dit kan ook het tegenovergestelde betekenen. Meer weten hierover, zou een verbetering betekenen voor mijn werk.” Dus proberen we een instrument uit te werken dat niet teveel moeite vraagt van de cliënte maar dat de consulente voorziet van de nodige informatie. Het wordt een portbetaalde postkaart met gesloten vragen, met enkele smiley's, en ruimte voor bijkomende opmerkingen. De consulente wil de eigenlijke vragen graag zelf opstellen en naar mij sturen met het oog op feedback. Op het einde van deze sessie blijkt dat iedereen blij is met het bereikte resultaat van deze counselingvergadering.

Ik vind dit een zeer goed voorbeeld van hoe je zelfevaluatie kan aanpassen aan elke werksituatie zonder de principes of het basisidee van je werk te schenden. Alleen creativiteit is nodig. Ik heb recent van onze ledenorganisatie gehoord dat ze begonnen zijn te werken met de instrumenten en dat ze erg tevreden zijn omdat hun cliënten er goed op reageren.

Kwasimodo is een Belgische non-profit organisatie, gesteund en gesubsidieerd door de Vlaamse Overheid, departement Cultuur. Kwasimodo wil kwaliteitsmanagement promoten en implementeren in organisaties in de sociale en culturele sector. Dergelijke organisaties omvatten informele groepen (bv. vrouwenorganisaties, organisaties voor het implementeren van diversiteit,…) en formele groepen (bv. basiseducatie,…). Het is in deze context dat Kwasimodo speciale, gebruiksvriendelijke instrumenten voor het implementeren van TQM (lees: Tailor-made quality management) heeft ontwikkeld.

1. Waarom wilden we nieuwe instrumenten ontwikkelen?

Voortdurende verbetering is het centrale thema van TQM. Evaluatie is om die reden essentieel voor het identificeren en plannen van verbeteringen. Als expertorganisatie in het vertegenwoordigen van TQM is Kwasimodo altijd actief betrokken bij het evalueren van opleiding- en counselingsessies die aan de cliëntenorganisaties worden verstrekt.

Nochtans heeft een kritische analyse aangetoond dat Kwasimodo geen recente evaluatiegegevens heeft gebruikt tijdens het ontwikkelen en het implementeren van de verbeteringen in de organisatie. Redenen hiervoor zijn:

• De uitvoerige evaluaties zijn niet correct of intensief ingevuld door de cliënten
• De antwoorden geven maar een gedeeltelijk zicht op de evaluatiekwesties
• Vele evaluatievragen bleken niet relevant of geheel gericht op het aanbod van Kwasimodo's diensten.

2. Wat wilde men met de evaluatie bereiken?

De trainers van Kwasimodo wilden informatie vergaren over de effectiviteit en de efficiëntie van de door hen aangeboden trainingsessies. Bovendien wilden de trainers ook evaluatiegegevens verkrijgen om het Kwasimodo management ervan te overtuigen dat zij hun trainingsessies voortdurend verbeterden.

Het is belangrijk voor de trainers van Kwasimodo om goede praktijken te implementeren en om over een objectief feedbackmechanisme te beschikken. In deze context is men het erover eens dat de evaluatievragen gericht moeten zijn op het aanbod van de dienstverlening (in dit geval training) en niet op andere zaken waarover de lesgevers of de organisatie Kwasimodo geen controle heeft. Deze evaluatie zou ook moeten beantwoorden aan de indicatoren en de prioriteiten van de cliënt en aan de verwachtingen van de deelnemers. Daarom moet de evaluatie vlot en eenvoudig gehouden worden en gegevens genereren die kunnen leiden tot verbetering.

3. Door wie werden de instrumenten ontwikkeld?

De evaluatiecriteria zijn gedefinieerd door het gespecialiseerde personeel van Kwasimodo op basis van de SEALLL-methode. Twee leden van de staf stelden een kladversie op van het nieuwe evaluatiesysteem. Dit werd geanalyseerd en bediscussieerd door alle personeelsleden van Kwasimodo alvorens het werd goedgekeurd.

4. Hoe werden de citeria onderhandeld?

5. De impact van Sealll

• De SEALLL-methode wordt gebruikt om de evaluatiecriteria en de cliënten te identificeren.
• De SEALLL-methodologie laat toe de vereiste informatie eenvoudiger te identificeren.
• Door acht te slaan op de verwachtingen en de vaardigheden van de cliënt, wordt de evaluatiefeedback transparant en gericht.
• De SEALLL-methode is procesgericht en vergemakkelijkt het creatief zijn bij het uittekenen van de evaluatiemodellen en -systemen.
• De evaluatie kan beschouwd worden als een leerproces voor Kwasimodo en voor de cliënt.

6. Tips en trucs

• Bedenk wat je echt wilt weten en wat je zeker zal gebruiken bij het verbeteren van je trainingschema.
• Wees eerlijk bij het lezen van de evaluatieresultaten. Het is zinloos de resultaten te veranderen of anders te interpreteren.
• Verleen feedback aan de deelnemers over de evaluatieresultaten en over hoe deze de toekomstige trainingsessies beïnvloeden.
• Evaluatie-instrumenten zijn niet definitief. Verander ze wanneer nodig.
• Tracht het evaluatieproces interessant en innovatief te houden voor zowel de cliënt als de trainers. Wees creatief.
• Evalueer de evaluatiemethode voortdurend zodat je er zeker van bent dat de methode steeds relevant en efficiënt is.

SEALLL producten zijn beschikbaar op de project website! Ga naar:

• Landcommanderij Alden Biesen, Bilzen, BE, coordinator:
  Guy Tilkin: guy.tilkin@alden-biesen.be
• PLATO, University of Leiden, NL:
  Jaap Van Lakerveld: laker@fsw.leidenuniv.nl
  Selma van der Haar: haarsvd@plato.leidenuniv.nl
• Soros International House, Vilnius, LT:
  Daiva Malinauskiene: daiva@sih.lt
• Kwasimodo, Brussels, BE:
  Anita Caals: anita.caals@kwasimodo.be
• Centre for Flexible Learning, Söderhamn SE:
  Tove Elvelid: tove.elvelid@soderhamn.se
• ISIS Institut für Soziale Infrastruktur, Frankfurt am Main, DE:
  Karl Mingot: mingot@isis-sozialforschung.de
• The Bauer-Messner EvaluierungsKEG, Graz, AT:
  Christa Bauer: christa.bauer@aon.at
  Angelica Petrovic: Angelika.Petrovic@inode.at
• Fundacja Centrum Edukacji Obywatelskiej, Warsaw, PL:
  Kasia Batko: kasiab@ceo.org.pl
  Iwona Kania: iwona.kania@ceo.org.pl
• Akdeniz University Center for Continuous Education, Antalya, TR:
  Gunsiray Košun: gunsiray@akdeniz.edu.tr