V souvislosti s masivními investicemi do vzdělávacích technologií v mnoha vyspělých zemích narůstá potřeba ověřování efektivity takto vynaložených prostředků. Ve Spojených Státech jsou například státní příspěvky na vzdělávací projekty od roku 2003 podmiňovány prováděním průkazných ověřovacích výzkumů. Předepisuje i to, že tyto výzkumy mají být prováděny experimentálním porovnáváním výsledků náhodně vybraných škol, učitelů či skupin studentů zapojených do dotovaných programů a kontrolních skupin nezapojených. Přitom právě takový postup je považován za jedině možnou metodu, jak prokázat efektivitu inovativních výukových projektů. Jiné způsoby ověřování výukových výsledků jsou považovány v lepším případě za omezeně použitelné, mnohem spíše však přímo za nevhodné (viz [9]). To se samozřejmě týká též programů zavádějících vzdělávací technologie. Ty projekty, které nedisponují doporučeným způsobem evaluace, mají jen malou naději na získání finanční podpory z federálních fondů. Tato politika je z pohledu odborníků značně kontroverzní. Proto jsme v rámci zpracování zahraničních zkušeností během práce na výzkumném záměru UK v Praze, PedF „Vzdělávání pro život v informační společnosti“ situaci studovali poněkud blíže. Zde jsou podrobnosti.
Kritici stávající americké politiky se odvolávají na teorii vzdělávacího výzkumu (viz např. [7]), podle níž není možné předem fixně stanovit výzkumnou metodu dokud není definována otázka, na níž má výzkum odpovědět. V případě, že je otázka známa, je podle teorie třeba nejprve stanovit pracovní hypotézu (teorii) a podle ní pak lze teprve volit vhodnou metodu jejího ověření.
Přestože by se mohlo zdát, že rozpory mezi oběma skupinami jsou značné, není to tak úplně pravda. Všichni zúčastnění odborníci se shodují v tom, že metoda experimentálního výzkumu pracující s kontrolní skupinou patří k významným nástrojům ověřování vhodnosti inovativních vzdělávacích postupů. Konsenzus je i v tom, že by výsledky pedagogického výzkumu měly být mnohem exaktnější a tím pádem i přesvědčivější. Splnit tento úkol ale nebude snadné. Ukázat si to můžeme např. na následující vysoce aktuální obecné otázce, u níž je zkoumání jistě zcela nevyhnutelné:
1. Jsou výsledky studentů skutečně lepší mají-li k dispozici technologie a pracují-li formou problémově orientovaných úloh?
Nemá smysl zde opakovat, že právě problémově orientované výukové metody jsou základním kamenem konstruktivního pojetí, jež je v současné době jako inovativní doporučováno většinou odborníků. O tom, jak tato problematika souvisí se vzdělávacími technologiemi, je možno se dočíst v několika mých nedávných publikacích (např. [2], [3]). Byla též tématem různých mezinárodních výzkumů - třeba prestižního SITES M2 [5]. K nástrojům pomáhajícím zavádět problémově orientované postupy patří též nedávno zpřístupněná služba Učitelského spomocníka WebQuest.cz (viz [4]).
Stručně shrnuto převládá názor, že je třeba uskutečnit znatelný posun od tradičních postupů (instruktivní nebo transmisivní přístup) směrem k vlastnímu aktivnímu zapojení žáka do práce (konstruktivní přístup). Právě ona práce je kritériem, podle něhož lze spolehlivě rozlišit aktivity, programy, projekty, učitele, školy apod. kvalitní od těch méně kvalitních [8]. Dnes jsou proto za inovativní považovány především takové výukové aplikace, které zvyšují motivaci k práci, podněcují tvořivé myšlení a chápání souvislostí, vychovávají k týmové spolupráci atp. Podle této koncepce se vědomosti nepředávají od učitele k žákovi, ale konstruuje si je každý sám. To není možné bez ztotožnění studenta s daným úkolem, a tak bývají tyto metody často označovány též jako problémově orientované.
Vraťme se však k otázce, jak ověřit kvalitu inovativních výukových postupů souvisejících se zaváděním technologií. V tomto oboru již ve světě existuje skutečně značné množství různých výzkumů, studií, zpráv apod. Některé jsou zcela nezpochybnitelné. K takovým patří kvantitativní zjišťování vybavenosti škol počítači, připojením do internetu apod. – stačí na to dotazník a reprezentativní výběr respondentů. Poněkud obtížněji se ověřuje tvrzení učitelů nebo ředitelů, že používají pokrokové metody. Zde se již nelze spokojit s dotazníkem a k výzkumným metodám je nutno přidat pozorování. Poměrně zajímavé je to, že některé publikované zprávy ([1], [3]) naznačují, že existuje přímá souvislost mezi stavem technologického vybavení školy a úrovní akceptace konstruktivních postupů učiteli.
Vůbec nejtěžším úkolem, a proto možná dosud velmi zřídka realizovaným, je ověřování skutečného vlivu technologií a inovativních výukových postupů na studenty. Naprostá většina studií, které se pokoušejí odpovědět na podobné otázky, zatím nepřináší seriózní údaje. Jsou často postaveny na neověřených hypotézách převzatých od jiných autorů nebo v lepším případě na experimentálních datech získaných bez kontrolní skupiny, kde může při zpracování přání výzkumníka zvítězit nad realitou.
Doporučovaná výzkumná metoda, při níž se zkoumají výsledky náhodně vybrané experimentální skupiny a porovnávají se s výsledky skupiny kontrolní, je při vhodné implementaci údajně zcela nezpochybnitelná a jedině správná. Formou dvojího slepého pokusu, kde ani výzkumník neví, do které skupiny ten který účastník patří, se provádí např. ve zdravotnictví při ověřování léčebných postupů. Školství se ovšem od zdravotnictví liší.
Jak již bylo řečeno, zásadní význam pro volbu výzkumné metody má to, jak je položena výzkumná otázka. Čím jednoznačnější je, tím snadněji lze metodu experimentálního výzkumu s kontrolní skupinou implementovat. Námi položená otázka je přitom natolik obecná, že asi nebude možné ji ověřit jediným předepsaným experimentálním výzkumem. Podívejme se, jak se s požadavkem evaluace vypořádal jeden z typických současných amerických projektů. Ve své studii zároveň diskutující i politiku federálního ministerstva školství o ní podává zprávu Glenn M. Kleiman - ředitel EDC Center for Online Professional Education [6].
2. Evaluace projektu eMINTS
Projekt eMINTS (The Enhancing Missouri’s Instructional Networked Teaching Strategies - http://www.emints.org/) je projektem, na němž spolupracuje školský úřad pro základní a střední školy v Missouri s místní univerzitou. Jeho obsahem je pomoc učitelům žáků 3. a 4. tříd ZŠ s integrací technologií a problémových, na studenta a spolupráci orientovaných, mezipředmětových výukových metod s cílem zlepšit studijní výsledky žáků. Od počátku v roce 1997 se projekt stále rozšiřuje. V současnosti je do něj již zapojeno více než 16 000 žáků ze tříd po celém území státu Missouri. Projekt je zaměřen na učitele, a tak je poměrně běžné, že v jedné škole jsou jak třídy do něj zapojené tak nezapojené. Každá zúčastněná třída na počátku obdrží následující technické vybavení:
- jeden počítač s vysokorychlostním připojením do internetu pro každou dvojici žáků
- učitelský stolní počítač jako pracovní stanici
- učitelský přenosný počítač
- interaktivní tabuli s projektorem
- digitální fotoaparát, skener a tiskárny
- základní programové vybavení včetně MS Office a Inspiration (dětská verze programu na tvorbu myšlenkových map)
Součástí projektu eMINTS je intenzivní školení učitelů v rozsahu přesahujícím 250 hodin v období dvou let, jež je zaměřeno na osvojení inovativních výukových metod. K dispozici je stálá technická i metodická pomoc doplněná hospitacemi specialistů přímo ve výuce. Je zřejmé, že celý projekt je mnohem víc než pouhé vybavování škol technologiemi. Hlavním záměrem je podpořit změny výukových postupů v duchu současných konstruktivních vzdělávacích teorií. Vychází z předpokladu, že podstatnou podmínkou efektivního využití technologií je schopnost pedagogů nalézt a uplatnit jejich didaktickou hodnotu.
Projekt od počátku doprovází rozsáhlá evaluace výsledků (provádí ji Missouri's Office of Social and Economic Data Analysis). Všechny zprávy i výzkumná data jsou k dispozici na internetu. Detailní rozbor výzkumu by byl příliš rozsáhlý, a tak se zaměříme hlavně na zatím poslední zpracované výsledky. V nich se výzkum snažil odpovědět na tyto čtyři základní výzkumné otázky:
o Otázka 1: Zkvalitňuje projekt eMINTS výuku?
Nástrojem měření výsledků žáků, jež byl považován za směrodatný, byl test MAP (Missouri Assessment Program). Jedná se o povinný celostátní test ověřující kvalitu dosažení předepsaných výukových standardů u žáků ZŠ používající kromě standardních výběrových též otázky s tvořenou odpovědí a ověřování schopností řešení problémů. Ve třetím ročníku jsou testy orientovány na jazykové dovednosti a přírodní vědy, ve čtvrtém ročníku je to matematika a občanská výchova. To znamená, že při sledování obou těchto ročníků získaná data zahrnují vlastně téměř všechny důležité výukové oblasti.
Výzkum zpracoval výsledky více než 10000 žáků, z čehož bylo 30% do programu eMINTS zapojených a 70% nezapojených. Dá se tedy konstatovat, že se jednalo značně velký vzorek respondentů. Podobným počtem se může pochlubit jen velmi málo ověřovacích vzdělávacích výzkumů. Z celkových závěrů vyplývá, že prokazatelně lepších výsledků v obou letech dosáhli žáci 4. ročníků do programu zapojení (test z matematiky a OV). U 3. ročníků se sice v prvním roce jisté zlepšení též projevilo, ale ve druhém bylo statisticky nevýznamné. Z dat není možné jednoznačně zjistit, zda je rozdíl mezi 4. a 3. ročníkem způsoben odlišností testovaných předmětů, vlivem vyššího ročníku nebo jinými neznámými faktory.
o Otázka 2: Je vliv projektu eMINTS různý u různých skupin žáků?
Aby bylo možno odpovědět na tuto otázku, byly výsledky testu MAP sledovány zvlášť u žáků nějakým způsobem hendikepovaných (žáci se zvláštními potřebami s individuálním výukovým plánem, žáci docházející do nápravné výchovy, žáci z rodin s nízkým příjmem). Výsledek byl ne zcela přesvědčivý. Statisticky významné zlepšení výsledků bylo možno konstatovat jen u žáků z rodin s nízkým příjmem. U ostatních kategorií mělo zapojení žáků do programu eMINTS sice jistý pozorovatelný vliv na zlepšení, ale bylo statisticky nevýznamné.
o Otázka 3: Je možno nalézt nějaký vztah mezi zlepšením výsledků žáků uvnitř projektu eMINTS a změnou výukových postupů?
Aby bylo možno odpovědět na tuto otázku, museli výzkumníci získat informaci o tom, jak každý učitel implementoval požadavky na využití inovativních výukových metod, jež byly nedílnou součástí projektu. Ve školním roce 2000/2001 byla uskutečněna přímá pozorování výuky evaluačním týmem. Přitom byly výukové strategie rozděleny do kategorií označených jako orientované na učitele, orientované na studenta a hybridní. Při následném porovnání s výsledky testu MAP vyšlo najevo, že jednoznačně nejlepších výsledků dosáhli žáci, jejichž učitelé uplatňovali strategie projektu eMINTS orientované na studenta.
V roce 2001/2002 byl k podobným účelům využit dotazník vyplňovaný školiteli projektu hospitujícími ve výuce. Ten umožňoval posoudit, jak moc se učitelům daří plnit požadavky inovativního výukového modelu projektu. Výsledky žáků pak byly posouzeny v závislosti na tom, jak jednotliví učitelé tyto požadavky plnili. Závěry jsou jednoznačné. Výrazně lepších výsledků dosáhli žáci těch učitelů, kteří plně uplatňovali přístup doporučený projektem.
Na základě těchto zjištění považují výzkumníci za prokázané, že dodržování projektem doporučených výukových postupů vede k lepším studijním výsledkům žáků. Tento fakt je v naprostém souladu s principem zjištěným již i jinými výzkumy – samotné vybavení škol technologiemi ani dostupnost školení pro učitele nestačí. Jen skutečná změna výukových metod má vliv na zlepšení výsledků.
o Otázka 4: Má vedení školy vliv na výsledky projektu eMINTS?
Evaluace projektu eMINTS se zabývala též vztahem řízení školy k výsledkům. Jistě nikoho nepřekvapí, že realizace změn výukových metod byla úspěšnější v těch školách, které jsou vedeny na principu kolektivní zodpovědnosti, kde pedagogický sbor spolu s dětmi vytváří jedinou spolupracující komunitu. Žáci takových škol dosahovali též prokazatelně lepších výsledků.
3. Závěry
Hlavním závěrem výzkumu je nalezení zřejmého vlivu projektem doporučovaných výukových postupů na zlepšení výsledků, a to u všech sledovaných skupin žáků.
Máte možná dojem, že u takto rozsáhlého výzkum je tento výsledek nezpochybnitelný. Nikdo také nepochybuje o skutečnosti, že žáci, jejichž učitelé dokázali zvládnout konstruktivní na studenta orientované metody lépe, mají v testech lepší výsledky. Zastánci na začátku diskutované ministerské metodiky doporučující jedině náhodný výběr skupin však argumentují tím, že evaluace eMINTS, tak jak byla provedena, nevylučuje možnost chyby. Tvrdí, že je zde určitá pravděpodobnost, že se do projektu hlásí právě ti lepší učitelé, jejichž žáci by možná mohli mít lepší výsledky i při použití tradičních výukových metod. Zpochybňují způsob výběru žáků do tříd s programem eMINTS, který může způsobovat rozdíly ve schopnostech experimentální a kontrolní skupiny. Diskutují o tom, zda příčinou existence vhodného školního klimatu pro realizaci projektu je spíše vůle vedení nebo naopak, zda hlavním iniciátorem změn jsou samotní pokrokoví učitelé. Připustíme-li totiž, že podmínky realizace projektu v různých školách nebyly stejné díky vlivu vedení, musíme počítat opět s určitým zkreslením výsledků.
Druhá strana vzniklého sporu tvrdí, že přes neodvratitelnou možnost určitého zkreslení, jsou hlavní závěry evaluace správné. Výzkum byl založen na vhodně položených otázkách a k nim byly zvoleny přiměřené výzkumné metody. K některým zjištěním přitom bylo nutno použít i jiné nástroje, než porovnání experimentální a kontrolní skupiny. Výuka u obou skupin probíhala v normálních opakovatelných podmínkách a co do velikosti byly počty žáků naprosto reprezentativní. Odborníci obhajující takto prováděný výzkum navíc argumentují tím, že by v tomto případě byl náhodný výběr experimentální skupiny vlastně úplně nemožný. Nelze si představit, že by výsledky byly nezkreslené, kdyby se provedl náhodný výběr učitelů a k zapojení do projektu se nutili i ti, kteří inovativní metody odmítají. Stejně tak není v tomto případě možný náhodný výběr škol za účelem zkoumání vlivu vedení. Opravdu těžko si lze představit, že by bylo možno nutit ředitele k užití určitého stylu vedení jen kvůli experimentu. U takto komplexního vzdělávacího projektu je možné jen zkoumání současného stavu se všemi existujícími vlivy.
Politiky, kteří žádají rychlé a levné odpovědi, je nutno upozornit na riziko přílišného zjednodušení věci. Na výzkumy, které dělají okamžité závěry u podobně komplexních problémů, jako je implementace vzdělávacích technologií, je nutno pohlížet se značnou rezervou. Projekt eMINTS jasně ukazuje, že evaluace musí být v podobných případech založena na celé řadě dlouhodobých pozorování, dotazování, rozhovorech, na analýze přirozeným způsobem získaných dat, na postupném odhalování všech možných závislostí a souvislostí. Teprve pak je možno za určitých okolností použít metodu experimentu s náhodným výběrem skupin k ověření skutečného dopadu hypotetických předpokladů. V každém případě by měla tato metoda i přes svou důležitost zůstat i nadále jen jednou možností z mnohem obsáhlejšího arzenálu nástrojů, které má pedagogický výzkum k dispozici. Jak se zdá, k ověření vhodných postupů při zavádění moderních vzdělávacích technologií, bude nutno použít kombinaci více kvantitativních i kvalitativních výzkumných metod a nelze očekávat, že závěry budou rychlé a jednoznačné.
[3.] BRDIČKA, B. : Vliv technologií na inovaci výukových metod. Česká škola.cz, ISSN 1213-6018, Dostupný z <URL: http://www.ceskaskola.cz/ICTveskole/Ar.asp?ARI=101958&CAI=2129>.
[4.] BRDIČKA, B. : WebQuest.cz. Česká škola.cz, ISSN 1213-6018. Dostupný z <URL: http://www.ceskaskola.cz/ICTveskole/Ar.asp?ARI=101970&CAI=2129>.
[5.] BRDIČKA, B. : SITES M2: Jaké využití moderních technologií ve výuce je přínosné? Česká škola.cz, ISSN 1213-6018. Dostupný z <URL: http://www.ceskaskola.cz/ICTveskole/Ar.asp?ARI=101317&CAI=2131>.
„WebQuest je dnes celosvětově uznávanou na studenta orientovanou formou inovativního způsobu konstruktivního uplatnění vzdělávacích technologií ve výukovém procesu. Jedná se vlastně o učitelem připravenou aktivitu nebo lekci komplexně podporující samostatnou práci žáků, která ve všech fázích plně využívá technické prostředky - zvláště internet. Nástroj, který vám tímto dává k dispozici 
