pátek 19. března 1993

Zkoušení na počítači

Původně publikováno v Bulletinu informačních technologií ve škole, ÚIV, březen 1993
===================================================================
     Nepochybuji o tom, že již samotný název tohoto článku mnoho lidí odmítavě naladí. I já souhlasím s tím, že používání počítačů ke zkoušení je záležitost problematická a že naivní představy o nahrazení učitelů počítači jsou již jednoznačně a definitivně překonány. Přesto však si dovedu představit situaci, ve které by mohl sloužit výsledek počítačového testu jako určité vodítko při samostudiu, nebo jako určité kritérium pro celkové hodnocení zkoušeného. Tak by mohl přece jen učiteli alespoň trochu usnadnit práci. Je-li tomu skutečně tak, pak stojí za to, abychom se této problematice věnovali poněkud podrobněji.
     Jaké vlastnosti by takový testovací počítačový program vlastně měl mít? Požadavky jsou určeny především cíly, kterých chceme dosáhnout, s přihlédnutím k reálným možnostem autorských prostředků a autorů samotných. Výukový proces realizovaný pomocí počítače lze, podobně jako výuku klasickou, popsat jako cyklický proces, kde se neustále opakuje výklad, praktické ověření znalostí a na základě zpracování výsledku pak rozhodování o vhodném pokračování. V teorii se tomuto cyklu říká triáda (podnět-reakce-odezva) a to je základní prvek každého testovacího programu. Na té nejnižší úrovni si můžeme pod podnětem představit obsah obrazovky s určitým zadáním nebo otázkou. Důležitá je možnost využití grafiky a možnost náhodného výběru otázek. Reakcí je to, co udělá zkoušený (odpověď ale i pokus o proniknutí do systému). Vyhodnocování reakcí je nejdůležitějším kritériem pro posouzení kvality autorského systému. Odezvou je pak to, co po vyhodnocení reakce udělá počítač. Zvláštní význam z hlediska výuky mají bezprostřední odezvy na předem předpokládané (anticipované) reakce (např. typické nesprávné odpovědi).      Spojováním triád lze vytvářet celé výukové lekce, jejichž struktura může být i velice složitá (ne jen sekvence). Celá lekce mívá často opět strukturu podobnou triádě. Třeba i dosti složitý modul s výkladem může být vlastně podnětem, ověření dosažených znalostí lze realizovat testem a chybět by nemělo ani málokdy používané a z rozboru výsledků vycházející doporučení vhodného pokračování. Může to být třeba jen seznam kapitol z učebnice určených k prostudování, nebo návrat na příslušné místo ve výkladovém modulu. Existují i takové systémy, které si pamatují, co kdo dělal v minulé lekci (dlouhodobá kontrola studenta) a na základě toho rozhodnou, jak pokračovat. Například je možné se znovu vrátit k minule špatně zodpovězeným otázkám, apod. Pomocí takových systémů je teoreticky možné sestavovat z lekcí celé kurzy.
     Důležité je též to jakým způsobem a zda vůbec systém poskytuje kdykoli vhodnou (kontextově závislou) pomoc (help) těm, kdo si nevědí rady a zda umožňuje zařadit jiný (vnější) program.
     V moderních profesionálních výukových programech je kladen stále větší důraz na výkladovou funkci tj. na prezentaci látky pomocí hypertextů, grafiky, animace, zvuku nebo videa. Výukový efekt je v těchto tzv. multimediálních programech realizován často prostřednictvím simulace reálných dějů. Na počítači je možné vyvolat dokonce i situace v praxi buď obtížně, nebo vůbec nerealizovatelné. V souvislosti s tímto vývojem se předmětem zvýšeného zájmu teoretiků tohoto oboru v poslední době stává možný vliv odlišností reality simulované od té, kterou považujeme za skutečnou. I my bychom se měli nad těmito problémy zamýšlet (akční filmy, hrací automaty a některé počítačové hry, drogy ap.). Vliv použití informačních technologií ve výuce na formování osobnosti sice u nás zatím není veliký, ale rozhodně bychom měli být připraveni ho určitým způsobem korigovat a měl by být proto předmětem zájmu psychologů.
     Proč však zůstává ověřování dosažených znalostí pomocí počítače stále pouze okrajovou záležitostí? Důvodů je více. Kromě těch psychologických, souvisících s ne příliš přátelským chováním takovýchto programů, existují i důvody ryze praktické a technické. Ty se týkají hlavně vyhodnocování odpovědí.
     Nejjednodušším typem odpovědi je odpověď výběrová, a sice výběr jedné správné z více nabídnutých. Již od dob prvních osmibitových mikropočítačů využívaných ve školství, kdy si skoro každý uživatel myslel, že z něj bude programátor, existuje celá řada autorských minisystémů, které s tímto a pouze s tímto typem odpovědi pracují. Pokud navíc umějí grafiku a dokonce třeba i animaci, dá se s jejich pomocí úspěšně sestavit test typu "autoškola", kde se za každou správnou odpověď přidělí určitý počet bodů. Někdy by snad mohl být i takovýto test použitelný, ale rozhodně bychom se pouze s tímto typem spokojit neměli. Typů odpovědí, jejichž zpracování je již v těch nejvyspělejších systémech vyřešeno, je totiž daleko více.
     Je to poměrně snadno realizovatelná odpověď numerická, u níž je pro určitý typ úloh výhodné zavést dovolenou odchylku. Daleko větší komplikace přináší výběrová odpověď s více správnými možnostmi. Jen trochu složitější případ s požadavky na zvláštní odezvy na anticipované reakce totiž vede k nutnosti použití rozhodovacích tabulek. Neumím si představit normálního učitele, který by se dobrovolně do něčeho takového sám pustil. Přesto však tím nejnáročnějším typem odpovědi, a to jak pro tvůrce systému, tak i pro autory testů, je odpověď tvořená. Odpovědí může v tomto případě být libovolný text vložený z klávesnice, který je třeba důkladně analyzovat. Děje se tak většinou vyhledáváním třeba i více klíčových slov. Znění otázky je nutno zvlášť pečlivě rozmyslet protože analýza odpovědi musí postihnout kromě anticipovaných špatných odpovědí i úplně všechny správné. Troufám si tvrdit, že to napoprvé nedokáže ani ten nejzkušenější autor-pedagog. Testy tohoto typu je proto třeba před jejich nasazením důkladně ověřovat.
     Jestliže jste právě dospěli k závěru, že pouštět se do vlastní tvorby nějakého náročnějšího testu nemá bez větších zkušeností cenu, budu s vámi zcela souhlasit. A to jsem se dosud vůbec nezmínil o vyhodnocování výsledků a o jejich možném statistickém zpracování. Vyspělé systémy se totiž neomezují na přidělování bodů za správně zodpovězenou otázku, ale zaznamenávají vše, co si autor přeje (cestu, odpovědi, čas, aj.). Tato data lze prohlížet, lze je nezávisle zpracovávat jiným programem, a pokud je jich hodně, bude jistě zajímavá i jejich statistická analýza.
     Snad bychom teď už mohli odpovědět na otázku, jaké vlastnosti by testovací počítačový program měl mít. Tím nejdůležitějším kritériem posuzování jakéhokoli výukového programu je to jakým způsobem se autorům podařilo předat mu určitého pedagogického ducha. Čím více ho bude mít, tím vhodnější bude k samostatné práci studentů a učitel se bude moci více věnovat jiným potřebnějším činnostem. V každém případě je tvorba špičkových profesionálních testovacích programů značně náročná a drahá. V budoucnosti se vývoj soustředí na využívání multimédií a na aplikaci kombinovaného výzkumu v oblasti informatiky, umělé inteligence a v neposlední řadě též psychologie.
     Některé současné autorské systémy umožňují mnohé z toho, co zde bylo popsáno. Zájemci o tvorbu vlastních aplikací z řad učitelů, by se měli orientovat na takové systémy, které jim ponechají co největší volnost při zachování maximální jednoduchosti.
     V současnosti nacházejí počítačové testy praktické uplatnění především na universitách. Je to hlavně proto, že dokážou velice usnadnit práci při zkoušení velkého množství studentů, a že takto získané hodnocení je poměrně objektivní (nap_. přijímací řízení). Na centrálním universitním počítači se zakládají obrovské databáze s otázkami tříděnými podle obsahu a obtížnosti. Studenti pak prostřednictvím sítě dostávají náhodný výběr určitého počtu otázek pokud možno stejné celkové obtížnosti. Čím více je výsledků, tím směrodatnější je jejich statistické zpracování.
     Jak vypadá současná situace u nás doma? Na výzkum v tomto oboru nejsou peníze (ten, který byl, byl zrušen a výsledky jsou soukromým vlastnictvím), nejsou peníze ani na podrobné zmapování současného stavu (můj návrh na získání grantu MŠ byl opakovaně zamítnut) a vzhledem k velikosti našeho trhu a solventnosti našich škol nelze předpokládat ani příliš velký zájem soukromých firem. Přesto a možná právě proto si dovoluji nadšencům, kteří by chtěli doplnit svou výuku nějakým vlastoručně vyrobeným testem a které se mi nepodařilo předchozím textem odradit, předložit alespoň stručný přehled o možnostech, které v současnosti existují a které by mohly vést k uspokojivým výsledkům. Vzhledem k současné situaci (není čas, chybí finanční podpora) bohužel nejsem momentálně schopen zde předkládané informace důkladně ověřit, nejlépe praktickým použitím zde uvedených systémů.

     Nejprve bych se chtěl zmínit o dvou domácích a jednom slovenském autorském systému, které splňují téměř všechny výše popsané teoretické požadavky. Je to systém GENIE - ENCYKLOPEDIE, POLYWAY a AVIS. Všechny tři jsou systémy otevřenými (spolupráce s vnějšími programy), pracujícími v národním prostředí. Byly vyvíjeny na vysokých školách a především pro jejich potřeby, ale jsou využitelné i na školách základních a středních.

     Systém GENIE pochází z FJFI _VUT Praha. Je založen na principu převodu formálního zápisu struktury (jednoduchý metajazyk) do tvaru zdrojového kódu v jazyce Turbo Pascal. Základním prvkem struktury je zde tzv. snímek, na jehož místě může stát text, grafika, animace, otázka-odpověď, menu, modul s testem (Test5) nebo vnější program. Univerzální testovací modul Test5 je zvláštní program, který z databanky otázek vytvořené modulem PdBase generuje test. Umožňuje pracovat se všemi základními typy odpovědí, což je mnohem více, než umožňuje snímek typu otázka-odpověď zabudovaný uvnitř systému.
     Systém GENIE má jednu obrovskou výhodu. Díky tomu, že generuje zdrojový pascalský program, může každý legální vlastník překladače Turbo Pascalu vytvořit ze své aplikace EXE soubor a ten třeba i za úplatu rozšiřovat. Má však též dost zásadní nevýhody. Je to jednak určitá nesourodost jednotlivých modulů, které pocházejí z různé doby a od různých autorů, ale hlavně je to určité omezení, způsobené možnostmi zápisu struktury. Použít lze dvě základní konstrukce. Je to sekvence a výběr. Díky tomu, že je možno konstrukce do sebe nořit a že se lze na určitých místech vracet, může vzniknout i značně nepřehledný program.
     Tato skutečnost spolu s nutností sjednocení systému a zavedení multimediálních prvků vedla autory k rozhodnutí vyvinout paralelně zcela nový systém s daleko modernější koncepcí. Tak vznikl hypercardový systém ENCYKLOPEDIE, jehož základním prvkem je karta, která má podobné vlastnosti jako snímek u GENIE. Základní rozdíl je ale v tom, že u ENCYKLOPEDIE je, podobně jako u hypertextu, možno realizovat libovolnou strukturu lekce. Systém je realizován v uživatelsky komfortním národním prostředí připomínajícím Windows a je založen na principu překladu zdrojového textu scénáře zapsaného pomocí určitého autorského jazyka. Vyznačuje se velmi dobrou podporou práce s grafikou (nezávislost na typu karty, obtékání grafiky textem, možnost odkazů v grafice, animace) a možností dynamické modifikace struktury lekce v závislosti na dosažených výsledcích, čase nebo počtu průchodů určitým místem. Kromě GENIE (grafika, pomocné programy) spolupracuje na bázi možnosti určitého předávání dat též s připravovanou verzí 3.50 systému FAMULUS. Za určitou nevýhodu proti jiným hypercardovým systémům lze považovat nemožnost okamžitého zobrazení libovolné karty během tvorby. Systém se dodává ve dvou verzích. Vývojová verze je určená pro tvorbu aplikací a je vázána na jeden počítač. Prezentační verze umožňuje pouze prohlížení hotových aplikací vytvořených tou vývojovou verzí, se kterou byla prodána.
     Systém GENIE i ENCYKLOPEDIE dodává firma MP-SOFT s.r.o., pošt. schr. 37, Božetěchova 82, 612 00 Brno, tel: 05-3148613, fax: 05-750572. Zde jsou aktuální školské ceny:
           GENIE verze 3.34                           4600,- Kč
           ENCYKLOPEDIE vývojová verze                2900,- Kč
           ENCYKLOPEDIE prezentační verze
                pro jednu organizaci                  1400,- Kč
                pro komerční šíření aplikací          4200,- Kč
     Při nákupu většího množství instalací jsou poskytovány slevy. Větší zakázky vyřizuje též přímo FJFI _VUT, Břehová 7, 115 19 Praha 1.

     Autoři systému POLYWAY pocházejí převážn_ z dnes již zrušeného Výzkumného ústavu inženýrského studia při ČVUT. Vzhledem k tomu, že vedení ČVUT při rušení ústavu dalo jednoznačným způsobem najevo svůj nezájem o téměř již vyvinutý autorský systém, přenesli autoři těžiště své spolupráce na Karlovu universitu, kde se systém již začal prakticky využívat.
     Systém je realizován na bázi SW virtuálního pedagogického procesoru, specializovaného na výukový proces obdobně jako jsou jiné SW procesory specializovány na práci s texty nebo tabulkami. Jako u klasického Assembleru i zde je třeba zdrojový text obsahující příkazy, které na principu triády popisují výuku, přeložit pomocí překladače (PWASS). Výsledný kód je možno spouštět pomocí RUNTIME modulu (jádro systému). Největší přednosti systému tkví ve velice kvalitní analýze odpovědí (reakcí) a dokonale propracovaném systému záznamu výsledků, který může sloužit i k modifikaci chodu programu podle okamžité situace i podle výsledků dosažených dříve (prvky inteligence náročné na použití). Pracuje v národním prostředí s využitím grafiky a je schopen uvolnit téměř celou vnitřní paměť pro zavedení libovolného spolupracujícího vnějšího programu, a pokud to tento program umí, tak si s ním i předávat data. Celý systém se kromě překladače skládá z více prvků. K editaci zdrojového textu slouží specielně upravený QEditor (shareware), který kromě běžných funkcí obsahuje též funkce zajišťující pohodlnou interaktivní editaci obrázků a textů včetně jejich umístění na obrazovce. TG (testový generátor) je nadstavbou jazyka PWASS určenou pro pohodlné generování zdrojového textu bez nutnosti detailní znalosti všech příkazů jazyka. TG umožňuje sestavit test (lekci) s využitím textu i grafiky, se širokým sortimentem typů reakcí (výběrová, alternativní výběrová, numerická, textová, klíčové slovo) i s možností zvláštní odezvy a odlišného hodnocení každé reakce. Důkazem toho, že i POLYWAY se snaží jít s dobou, je jeho multimediální nadstavba, která spolupracuje se zvukovou kartou kompatibilní se Soundblastrem a s kartou na digitální zpracování obrazu firmy VIDEOLOGIC (video, optický disk, CD). Zvlášť je možno objednat DA převodník (350,- Kč), který s minimálními náklady umožní reprodukovat zvuky pořízené pomocí zvukové karty ve výuce. Síťové verze obsahují kromě jádra též programy pro interaktivní modifikaci výuky a pro řízení skupiny i jednotlivců. Základní přehled o školských cenách vypadá takto:
           TG (+ PWASS + jádro)                  1600,- Kč
           QE (+ PWASS + jádro)                  1400,- Kč
           TG + QE (+ PWASS + jádro)             2400,- Kč
           Polyway pro multimedia                4000,- Kč
           Síťová verse 5 pracovišť              2000,- Kč
           Síťová verse 10 pracovišť             3000,- Kč
           Síťová verse 15 pracovišť             4000,- Kč
     Bližší informace o možnostech dalších slev, o cenách jádra systému p_i nákupu většího množství kusů, o úpravách systému podle individuálních požadavků, o možnostech získání dalších pomocných programů nebo hotových aplikací a také o nabídce konzultací a vypracovávání programů na zakázku získáte u firmy POLYSOFT s.r.o., U Jankovky 783/6, 153 00 Praha 5 - Radotín, tel/fax: 594659.

     Autorský Výučbový Integrovaný Systém AVIS pochází ze Slovenské technické university v Bratislavě (dříve VUT). Je založen na principu interpretru programu (scénáře), jeho_ vkládání umožňuje s maximálním uživatelským komfortem, takže autor nemusí mít žádné znalosti z oblasti programování. Celý systém představuje určité integrované prostředí, kde jsou jednotliví uživatelé i autoři od sebe odděleni a kde je možná dlouhodobá kontrola a řízení práce. Je vhodný především pro vytváření velkých výukových celků (Computer Based Training - Počítačem řízené kursy). Za zvláště výhodné považuji především to, že díky vlastnostem interpretru je možné během tvorby okamžitě spustit právě tvořenou část programu. Poslední dodávaná verze (2.07) má již též zabudovanou podporu využití multimédií (video, zvuková karta, CD, snímání a importování grafiky, animace). Zaujala mne možnost tvorby vlastních fontů (matematické jsou k dispozici). AVIS dodává firma UNIT s.r.o. (Botanická 9, 841 04 Bratislava, tel: 07-720788, fax: 07-720774) ve čtyřech modifikacích. AVIS-PI je procesor pro individuální režim (bez ukládání dat a možnosti řízení a dlouhodobé kontroly). AVIS-PR je procesor pro individuální a řízený režim (AVIS-PI doplněný o prostředí, v němž lze pomocí uložených dat dlouhodobě řídit práci). AVIS-Q je procesor PR a autorský editor. Tuto modifikaci musí mít každý, kdo se chce zabývat tvorbou. Poslední je AVIS-N (Novell), což je vlastně síťová verze AVISu-PR. Vhodná je pro toho, kdo bude pomocí AVISu-N vytvořené aplikace spouštět v síti. Zde uvedené ceny za verzi 2.07 jsou z počátku ledna a platí pouze pro rezort školství a zdravotnictví:
           AVIS-PI                                    1480,- Kčs
           AVIS-PR                                    2750,- Kčs
           AVIS-Q                                     12180,- Kčs
           AVIS-N                                     27630,- Kčs
Pozor, majitelé předchozích verzí platí pouze 15% této ceny za UPGRADE.

     Mrzí mě, že pro vás nemohu porovnat tyto naše systémy s komerčně nejúspěšnějšími současnými světovými systémy používanými pro tvorbu výukových programů jako je AUTHORWARE PRO, LINKWAY LIVE, TOOLBOOK, WINDOWCRAFT, ICONAUTHOR, QUEST, QUESTION MARK (pro zájemce mám demo QMARKDEM.ZIP 436437), aj. Snad příště! Jak už je v poslední době mým zvykem, doplním však tento přehled alespoň shareware a public programy získanými prostřednictvím sítě INTERNET, které jsou u mne pro kohokoli k dispozici. Za názvem souboru je vždy uvedena jeho velikost, datum uvedené u EXE souboru po rozpakování, zda se jedná o Public nebo Shareware software a zda program umí pracovat s češtinou.

CAT0301  ZIP    81996 12‑18‑91 PUB Cs+
Autorský prostředek pro tvorbu testu pro matematiku. Pracuje pouze s numerickou odpovědí. Umí např. náhodné generování, odezvy na anticipované reakce a kontextový help. Za účelem utajení dat používá kódování pomocí UUCODE, které má antikomprimační efekt. Data jsou pro toho, kdo neví, jak je dekódovat sice nečitelná, ale jejich objem se zvětšuje. Program tohoto typu by měl obsahovat kalkulačku. Chybí grafika.
EXAMBA20 ZIP   123722 11‑20‑90  SH Cs-
Program sloužící k vedení databanky otázek a ke generování testů včetně klíče. Má možnost náhodného výběru otázek. To vše bohužel pouze na papír.
FRAMES   ZIP    65752 11‑26‑89  SH Cs+
Primitivní systém pro tvorbu testů s výběrovými odpověďmi s náznaky dlouhodobé kontroly díky možnosti uložení výsledku a po dalším spuštění návratu na místo přerušení. Je možný volný průchod i směrem zpět. Chybí grafika.
GRADES27 ZIP   138627  3-09-93  SH Cs+
Program určený pro studenty pro jejich vlastní evidenci prospěchu včetně statistiky dosažených výsledků.
GSH220   ZIP   391784 11-03-92  SH Cs-
Program slouží k evidenci prospěchu studentů a ke zpracovávání výsledků včetně statistiky. Obliba programů tohoto typu prudce stoupá tam, kde je počítač součástí vybavení každé třídy. Známky se pak mohou ukládat rovnou na počítači. Některé lepší programy (ne tento) dokonce dokážou studenty samy náhodně vyvolávat k ústnímu zkoušení.
PCCAI205 ZIP   240076  4‑24‑91  SH Cs+
Pěkný výukový autorský systém založený na principu interpretru autorského jazyka se všemi základními typy odpovědí včetně tvořené s vyhodnocováním pomocí vyhledávání klíčových slov. Dovoluje odlišné odezvy na všechny anticipované odpovědi i kontextově závislý help. Umožňuje pracovat se zvukem, s grafikou (PCX) a dokonce i jednoduchou animaci. Podporuje CGA a EGA. Doporučuji k vyzkoušení každému, kdo je trochu zběhlý v angličtině (lepší než např. Encyklopedie není).
TESTWRT2 ZIP    67785  9‑07‑88  SH Cs+
Generování tištěných testů a vedení databank otázek. Možný náhodný výběr i náhodné řazení otázek. Přes poněkud komplikované ovládání doporučuji k vyzkoušení.
TPRO2_01 ZIP    60644  1-04-93  SH Cs+
Velice hezky udělaný generátor tištěných testů. Narozdíl od předchozího však neumožňuje náhodný výběr ani náhodné řazení otázek a navíc je tato, spíše DEMO verze, omezena na max. 10 otázek.
VARGRA50 ZIP   667989  4‑20‑92  SH Cs+
Komplexní evidence známek studentů v rámci tříd včetně celkového hodnocení jednotlivců a statistického zpracování celé třídy s přehlednými grafickými výstupy. Neocenitelný pomocník pro učitele-majitele notebooků.


                                           Bořivoj Brdička
                                                UIV
                                           EARN:bobr@csearn
                                      INTERNET:bobr@earn.cvut.cs