Search

De moderne militair moet zich kunnen handhaven in een dynamische en complexe (internationale) omgeving waarin veelal in coalitie-verband moet worden opgetreden (joint, interagency) en waarbij de teamsamenstelling niet vooraf vaststaat. De voorbereiding van de militair op het werken in dynamische teams als onderdeel van geïntegreerde eenheden is daardoor niet eenvoudig. Daarnaast is voor het trainen van teams meer nodig dan het opleiden van de individuele teamleden. Daarom dienen nieuwe leerinterventies te worden ontwikkeld waarvan de effectiviteit ook moet worden geëvalueerd. Er is daarbij vooral behoefte aan instrumenten waarmee continu, snel en ad hoc het momentane teamfunctioneren kan worden vastgesteld. ---- De doelstelling van dit project is daarom het ontwikkelen van methoden voor het bepalen van de leeropbrengst van leerinterventies en voor het evalueren van samengestelde dynamische teams in het bijzonder. Dit rapport levert als eerste een generiek evaluatieraamwerk voor het meten van de effectiviteit van leerinterventies. Dit raamwerk kan worden gebruikt voor het evalueren van leerinterventies en het meten van transfer of training en voor het doen van evaluatie- en effectonderzoek. Het raamwerk is niet alleen bedoeld voor het meten van interventie-effecten, maar vooral ook op het krijgen van inzicht in de onderliggende processen van die effecten. Daarnaast levert het evaluatieraamwerk informatie over constructen die gemeten kunnen worden en over niveaus waarop effecten kunnen worden gemeten, typen prestatiematen, methodieken, onderzoeks-designs, typen meetinstrumenten en kwaliteitscriteria. ---- Vervolgens wordt dieper ingegaan op methode-ontwikkeling voor het daadwerkelijk evalueren van dynamische teams. Daartoe wordt een gedeelte van het generieke evaluatieraamwerk voor teamtraining verder uitgewerkt. Op basis van literatuur-onderzoek, onder andere naar modellen voor team-functioneren, wordt hiervoor een prototype meetinstrument, getiteld TeamScan, ontwikkeld en beproefd. Dit meetinstrument is te gebruiken voor zowel het evalueren van het resultaat van team-trainingsinteventies als van het evalueren van teamfunctioneren on-the job. TeamScan is bedoeld als een soort “peilstok” waarmee de meest relevante aspecten van teamfunctioneren snel en herhaaldelijk kunnen worden gemeten. Door de relatief eenvoudige wijze waarop longitudinale, herhaalde metingen kunnen worden uitgevoerd, kunnen juist de dynamische aspecten van teams door de tijd heen goed in kaart worden gebracht. ---- Tot slot werd TeamScan als prototype d.m.v. een pilot beproefd. De resultaten gaven aan dat TeamScan een bruikbaar instrument is dat prima in staat lijkt om veranderingen in de teamsituatie waar te nemen. Daarnaast lijkt het instrument goed bruikbaar, niet alleen voor het groepsbeeld, maar ook voor individuele beelden, en discrepanties daartussen. ---- De kennis van dit rapport en het bijbehorende meetinstrument kan worden gebruikt voor het doen van een breed scala aan (militaire) effectstudies. Dat kan betrekking hebben op effecten van leerinterventies, maar ook onderzoek naar de ontwikkeling van teamfunctioneren of effecten van allerlei andere factoren die van invloed kunnen zijn op teameffectiviteit. Hierbij kan worden gedacht aan effecten van verandering van taken, teamsamenstelling, nieuwe (geavanceerde) opleidings-leermiddelen, omgevingsfactoren, structuur van de trainingsorganisatie, nieuwe inhoudelijke inrichting van trainingstrajecten en combinaties hiervan. Samenvatting 2 1 Inleiding 4 1.1 Aanleiding 4 1.2 Dynamische teams 4 2 Inleiding 6 2.1 Onderzoek naar de effectiviteit van training 6 2.2 Bestaande evaluatiemodellen 7 2.3 Generiek evaluatieraamwerk voor training 11 2.4 Indicatoren in het evaluatieraamwerk 13 3 Onderzoeksmethoden (design) 18 3.1 Experimenteel onderzoeksdesign 18 3.2 Operationaliseren van indicatoren 21 3.3 Meetinstrumenten 22 3.4 Keuze van meetinstrumenten 26 3.5 Realiseerbaarheid, bruikbaarheid, betrouwbaarheid en validiteit 26 4 Meten van de effectiviteit van dynamische teams 29 4.1 Inleiding dynamische teams 29 4.2 Effectiviteit van teamtraining en teamprestaties 29 4.3 Teamwork model 32 4.4 Meetinstrument 35 5 Pilot studie 39 5.1 Inleiding en vraagstelling 39 5.2 Teamtaak 39 5.3 Procedure 40 5.4 Resultaten 40 5.5 Voorlopige conclusies met betrekking tot het meetinstrument 43 6 Conclusies en toepassing 44 6.1 Conclusies 44 6.2 Toepassing 46 7 Referenties 48 Bijlage(n) A Tabel Correlaties

De moderne militair moet zich kunnen handhaven in een dynamische en complexe (internationale) omgeving waarin veelal in coalitie-verband moet worden opgetreden (joint, interagency) en waarbij de teamsamenstelling niet vooraf vaststaat. De voorbereiding van de militair op het werken in dynamische teams als onderdeel van geïntegreerde eenheden is daardoor niet eenvoudig. Daarnaast is voor het trainen van teams meer nodig dan het opleiden van de individuele teamleden. Daarom dienen nieuwe leerinterventies te worden ontwikkeld waarvan de effectiviteit ook moet worden geëvalueerd. Er is daarbij vooral behoefte aan instrumenten waarmee continu, snel en ad hoc het momentane teamfunctioneren kan worden vastgesteld. ---- De doelstelling van dit project is daarom het ontwikkelen van methoden voor het bepalen van de leeropbrengst van leerinterventies en voor het evalueren van samengestelde dynamische teams in het bijzonder. Dit rapport levert als eerste een generiek evaluatieraamwerk voor het meten van de effectiviteit van leerinterventies. Dit raamwerk kan worden gebruikt voor het evalueren van leerinterventies en het meten van transfer of training en voor het doen van evaluatie- en effectonderzoek. Het raamwerk is niet alleen bedoeld voor het meten van interventie-effecten, maar vooral ook op het krijgen van inzicht in de onderliggende processen van die effecten. Daarnaast levert het evaluatieraamwerk informatie over constructen die gemeten kunnen worden en over niveaus waarop effecten kunnen worden gemeten, typen prestatiematen, methodieken, onderzoeks-designs, typen meetinstrumenten en kwaliteitscriteria. ---- Vervolgens wordt dieper ingegaan op methode-ontwikkeling voor het daadwerkelijk evalueren van dynamische teams. Daartoe wordt een gedeelte van het generieke evaluatieraamwerk voor teamtraining verder uitgewerkt. Op basis van literatuur-onderzoek, onder andere naar modellen voor team-functioneren, wordt hiervoor een prototype meetinstrument, getiteld TeamScan, ontwikkeld en beproefd. Dit meetinstrument is te gebruiken voor zowel het evalueren van het resultaat van team-trainingsinteventies als van het evalueren van teamfunctioneren on-the job. TeamScan is bedoeld als een soort “peilstok” waarmee de meest relevante aspecten van teamfunctioneren snel en herhaaldelijk kunnen worden gemeten. Door de relatief eenvoudige wijze waarop longitudinale, herhaalde metingen kunnen worden uitgevoerd, kunnen juist de dynamische aspecten van teams door de tijd heen goed in kaart worden gebracht. ---- Tot slot werd TeamScan als prototype d.m.v. een pilot beproefd. De resultaten gaven aan dat TeamScan een bruikbaar instrument is dat prima in staat lijkt om veranderingen in de teamsituatie waar te nemen. Daarnaast lijkt het instrument goed bruikbaar, niet alleen voor het groepsbeeld, maar ook voor individuele beelden, en discrepanties daartussen. ---- De kennis van dit rapport en het bijbehorende meetinstrument kan worden gebruikt voor het doen van een breed scala aan (militaire) effectstudies. Dat kan betrekking hebben op effecten van leerinterventies, maar ook onderzoek naar de ontwikkeling van teamfunctioneren of effecten van allerlei andere factoren die van invloed kunnen zijn op teameffectiviteit. Hierbij kan worden gedacht aan effecten van verandering van taken, teamsamenstelling, nieuwe (geavanceerde) opleidings-leermiddelen, omgevingsfactoren, structuur van de trainingsorganisatie, nieuwe inhoudelijke inrichting van trainingstrajecten en combinaties hiervan.