Blog from September, 2011

Arviointia ja e-portfolioita

Arviointia ja e-portfolioita

Kompetenssien arvioiminen: uusia edumetrisiä polkuja korkeakoulutuksessa -symposiumissa esiteltiin vaihtoehtoisia tapoja opettajan suorittamalle arvioinnille ja pohdittiin, miten arviointi voi tukea oppimista. Katrin Struyven Brysselin yiopistosta Belgiasta esitteli tutkimuksen, jossa koulutus oli toteutettu kolmella eri arviointitavalla: yhdessä koulutuksessa oli luentopohjaisen opetus ja oppimistehtävien arviointi, toisessa case-pohjainen arviointi ja kolmannessa käytännön toteutuksen arviointi vertaisarviointina ja portfolioarviointina. Case-pohjainen arviointi oli tehty kahdella eri pedagogisella lähestymistavalla toteutetussa ryhmässä, tehtäväpohjaisessa opetuksessa ja ongelmaperustaisessa oppimisessa.

Tutkimus osoitti, että korkeimmat arvosanat ja parhaat mitattavat oppimistulokset saavutettiin oppimistehtävien arvioinnilla. Erot eri ääripäiden välillä kasvoivat ongelmaperustaisen oppimisen case-pohjaisessa arvioinnissa sekä vertaisarviointia ja portfolioarviointia hyödyntävissä toteutuksessa.

Osa opiskelijoista olisi halunnut suorittaa opinnot pienemmällä panostuksella ja he kokivat portfolioarvioinnin kovin työlääksi. Heillä oppimistulos jäi portfoliotyöskentelyssä heikommaksi kuin oppimistehtävien arviointia hyödyttävässä toteutuksessa. Erityisesti ongelmaperustainen oppiminen yhdistettynä portfolioarviointiin ja vertaisarviontiin tuotti suurta hajontaa.

On mahdollista, että osa pienemmällä panostuksella mukana olevista opiskelijoista on kopioinut vastauksia toisten opiskelijoiden oppimistehtävistä ja sen vuoksi saanut parempia arvosanoja oppimistehtäviin perustuvasta arvioinnista. Portfoliotyöskentelyssä tämä ei ole mahdollista, joten heikko osaaminen tulee herkemmin esiin. Silloin kun tehtävät ovat sen tyyppisiä, että niitä on mahdollista kopioida, tulisi oppimistehtäviin perustuvan arvioinnin lisäksi käyttää muitakin arviointitapoja.  

Portfolioarviointi kuitenkin paransi merkittävästi niiden opiskelijoiden oppimistulosta, jotka olivat valmiita panostamaan oppimiseen enemmän. Jos on mahdollista tarjota opiskelijoille useita toteutuksia samasta aiheesta, niin ne, jotka ovat motivoituneimpia ja haluavat panostaa oppimiseen, kannattaa ohjata portfoliota hyödyntävälle toteutukselle, sillä nämä opiskelijat hyötyvät eniten portfoliotyöskentelystä.

Lisbeth Baarmanin aiheena oli hollantilaisten ammattikorkeakoulujen siirtyminen kompetenssipohjaisten opetussuunnitelmien myötä kompetenssipohjaiseen arviointiin. Tämä aiheuttaa muutoksia arviointimenetelmissä ja luo tarpeen arvioinnin laatukriteereiden perustamiselle ja arvioinnin laadunarvioinnille.

Baarman oli huolestunut hollantilaisten ammattikorkeakoulujen pyrkimyksestä käyttää itsearviointia myös ulkoisen laadunarvioinnin pohjana, ja esitti kysymyksen, johtaako itsearviointi heikkojen ja vahvojen laatuaspektien identifiointiin, saako sillä aikaan konkreettisia eroja. Arvioinnin laadunarvioinnin kehittämiseksi itsearviointina oli luotu 12-kohtainen itsearviointikehikko. Kohderyhmälle järjestettiin kaksi tapaamista, joista ensimmäisessä esiteltiin itsearviointikehikko ja laatukriteerit sekä ohjelma, jolla sitä käytetään. Tapaamisten välissä osallistujat vastasivat web-pohjaiseen kyselyyn. Toisessa tapaamisessa esiteltiin tulokset power point-esityksenä, käytiin tuloksista ryhmäkeskustelu ja tämän jälkeen laadittiin laaturaportti. Arviointikehikon kohdat olivat: authenticity, fitness for purpose, reproducibility of decisions, transparency, acceptability, comparability, fairness, development of self-regulated learning, meaningfullness, cognitive complexity.

Alda Pereira esitteli arviointikulttuurin ulottuvuuksia ja niiden kytkeytymistä laadunkehittämiseen. E-oppimisen kehittymisen vaikutuksesta kaikki muukin oppimiskulttuuri on muuttunut kollaboratiivisemmaksi ja opiskelijakeskeisemmäksi. E-oppimisen mukana on tullut e-arviointi. Perera määritteli e-arvioinniksi automatisoidun arvioinin lisäksi myös kaiken muunkin arvioinnin, mikä tapahtuu verkkoympäristössä. Koska arvioija määrittää ennen arviointia asteikot ja kriteerit, arviointipolku etenee arvioijalta opiskelijalle ja takaisin arvioijalle. E-arvioinnin mallissa arviointikehikon kohtia olivat: authenticity, transparency, consistency, practicability. Kysymyksiä olivat, mitä e-arviointi voi antaa arviointikulttuurille ja miten e-arviointia voi käyttää sisäisen laadunkehittämisen ja ulkoisen laadunvarmistuksen tukena.

E-portfolio Metropoliassa

Oppiminen sulautuvassa ympäristössä - kasvokkain sosiaalisen median ja Maharan kanssa oli oman esitykseni otsikkona. Kyseessä oli Metropolia Ammattikorkeakoulun Kulttuuri ja Luova ala -klusterissa toteutettu e-portfoliotykälun pilotointi, jonka tuloksia esittelin. Arvioinin soalta tulokset ovat olleet saman suuntaisia kuin muuallakin: e-portfolio on armoton työkalu, joka tuo hyvin esiin korkeatasoisen osaamisen mutta ei salli lusmuilua. Tämän lisäksi Mahara kuitenkin tarjoaa muutakin: verkostoitumista opiskelijoiden ja työelämän välillä, tukea elinikäiseen oppimiseen sekä aiemmin hankitun osaamisen tunnustamiseen ja tunnistamiseen.

E-portfolioarvionti mahdollistaa edumetrisen arvioinnin (opiskelijoiden välisen arvioinnin) lisäksi myös psykometrisen arvioinnin (opiskelijan oman henkilökohtaisen kehittymisen arvioinnin). Tämän vuoksi portfolion käyttö tukee ammatillista kasvua ja kehittymistä ja siinä on opiskelijoiden lisäksi potentiaalia myös henkilöstön kehittämisen työkaluksi yhtä lailla. Maharan käyttöä onkin tarkoitus laajentaa Metropoliassa ja opetuskäyttön helpottamiseksi suunnitteilla on Mahran integroiminen Moodleen.

 
 
Kuvassa Metropolian Maharan etusivu kirjautumisen jälkeen.

2 Comments  · 
Enemmän ohjausta!

Muistiinpanoja EARLI2011-konferenssista 31.8.2011

Wikin käyttö tarvitsee ohjausta
Tatjana S. Hilbert Mainzin yliopistosta esitteli tutkimusta, jonka tarkoituksena oli selvittää, miten opiskelijat voisivat hyötyä wikin käytöstä muistiinpanojen ja oppimispäiväkirjan tekemisessä. Tutkimus osoitti, että opiskelijat eivät käytä hyödykseen kaikkia wikin antamia mahdollisuuksia, joten ohjauksellisista tukea annettiin eri tavoin.

Tulokset osoittivat, että minimistandardit pituudelle, viittauksille ja linkityksille tosiin wikikirjoituksiin pitää ohjeistaa, jotta saadaan hyviä oppimistuloksia. Lisäksi, jotta standardit ymmärretään oikein, opettajien pitää keskustella wikiartikkelien kirjoittamisesta opiskelijoiden kanssa etukäteen. Hilbert oli käyttänyt tutkimuksessa Moodlen Wiki-työkalua.

Tämän tutkimuksen pohjalta kehitetään ohjeita, jotka tukevat wikiartikkelien kirjoittamista. Tulevissa tutimuksissa tarkastellaan eri ohjausmenetelmien vaikuttavuutta ja kasvokkaisen ohjauksen roolia korkeatasoisten wikiartikkelin tuottamisessa ja oppimistuloksissa.

Kuvassa Exeterin yliopiston opiskelijoiden ohjaustilat Guidance and councelling.

Kokeneet ja kokemattomat e-tutorit Euroopassa: eroja online-kollaboraation ohjaamisessa

Birgitta Kopp Münchenin Ludwig-Maximilian --yliopistosta esitteli tutkimusta, jossa selvitettiin miten kokeneiden ja kokeneiden e-tutorien tapa ohjata online-keskusteluja poikkesi toisistaan.

Tutkimuksessa erotettiin kahdenlaisia tukimuotoja: sellaisia, jotka tarjosivat erityisiä kognitiivisia rakenteita oppimisympäristössä ja sellaisia, jotka tuottivat suoraa palautetta tai ohjeita. Suoraa palautetta tai ohjeita tuottava tuki sisälsi usein kirjoitettuja viestejä, jotka olivat sävyltään normaalia puhekieltä muodollisempia, olivat usein tarkoitettu useammalle vastaanottajalle ja vaativat vastaanottajaa tekemään jotain tai muuttamaan käytäntöjään.

Erityisiä rakenteita tuottavat viestit tuottivat parempia oppimistuloksia kuin suorat ohjeet tai palautteet.

Kokeneet e-tutorit olivat herkempiä ryhmän jäsenten työskentelyssä ilmeneville ongelmille, huomasivat usein sellaisiakin ongelmia, joita kokemattomat e-tutorit eivät huomanneet, ja tarttuivat niihin. Kokeneet e-tutorit myös ohjasivat enemmän ja tekivät enemmän työtä. Tämä tuotti enemmän tuloksia.