ARVIOINTISUUNNITELMA WORD-DOKUMENTTINA
- Kesäkuun arvioinnin anti (06/2009)
- Ohjausryhmän arvioinnin anti ja excel-liite taustamateriaaliksi (01/2010)
- Digitarinan kehitystiimin arvioinnin anti ja excel-liite taustamateriaaliksi (01/2010)
Hakemuksesta:
(5.1) Hanke vastaa tarpeeseen kehittää osaamista uusille ja kasvaville osallistuvan tuotannon aloille, joita erityisesti edustavat yhteisöllisen, ns. sosiaalisen median tuotanto sekä kulttuurilaitosten yleisötyö.
Hanke myös vastaa tarpeeseen verkostoitua yli oman ammattikentän kokoamalla media-, kulttuuri-, kirjasto-, opetus-, sosiaali- ja terveysalan ammattilaiset monialaiseksi verkostoksi, joka eri alojen osaamista hyödyntäen kehittää ja juurruttaa osallistuvan median toiminta- ja tuotantomalleja, sekä ammattikorkeakoulujen tarpeeseen integroida uusia menetelmiä ja työkaluja eri alojen koulutukseen ja työelämäyhteistyöhön.
(7.4) Tärkeä projektin vaikutusten mittari on kehitettävien työkalujen ja menetelmien juurtuminen pysyviksi välineiksi hankekumppaneiden ja kohderyhmien organisaatioiden toimissa, erityisesti ammattikorkeakoulujen opetuksessa.
(10.3) Kukin projektin kumppaneista osallistuu projektin toimien arviointiin. Arviointimateriaalin keruun menetelminä käytetään mm. opintojaksopalautteita, haastatteluita, pienryhmäkeskusteluja, Significant Story-menetelmää, sekä muita laadullisen arvioinnin menetelmiä. Hankkeen puitteissa odotetaan syntyvän 4-6 opinnäytetyötä, jotka osaltaan tuottavat aineistoa projektin toimien ja niiden vaikutusten arviointiin.
Ulkopuolinen seurantakomitea koostuu työnantajien ja kohderyhmien edustajista, jotka kokoontuvat arvioimaan projektia kausittain.
Metropolian kulttuurialan ja sosiaalialan yliopettajat vastaavat arvioinnin menetelmien kehittämisestä ja aineiston analysoinnista. Projektin aikana on tarkoitus kehittää arvioinnin välineitä ja menetelmiä alojen työelämän ja koulutuksen käyttöön.
Metropolian kulttuurialan EU-hankkeiden projektipäälliköt ja -vastaavat muodostavat ryhmän, joka kokoontuu kuukausittain raportoimaan hankkeen taloushallinnosta talouspäällikölle sekä arvioimaan hankkeiden hallinnoinnin, tiedotuksen, arvioinnin ja toimien edistymistä ja täten levittää emo-organisaatiossa kehitettyjä hyviä hankehallinnoinnin käytänteitä. Tavoitteena on kehittää kulttuurialojen T&K-hankkeiden käyttöön toimivia arvioinnin työkaluja.
*******************************************************************
Tällä hetkellä eli alkuvaiheessa olisi hyvä arvioida miten projekti käynnistyi, miten mikäkin osa onnistui eri tahojen osalta (rahoittaja, Metropolia, osatoteuttajat, kohderyhmä( ?)) ja miten pysyttiin aikataulussa. Lopussa projektissa yleisesti voi arvioida ainakin tiedottamista, miten se onnistui.
Kolme kohtaa, jotka digitarinan kohdalla ovat ne tärkeimmät pointit ja seurattavat asiat pidemmällä(kin) tähtäimellä:
1. Digitarina-menetelmän "levinneisyys", eli miten otettu käyttöön missäkin paikassa (kvantitatiivinen tutkimus, myös seuranta ajassa, nykyhetki vs. vuoden kuluttua)
2. Sisältää kaksi kohtaa:
- Kouluttajien koulutus (kvanti/kvali; kokivatko menetelmän hyödylliseksi ja aikovatko käyttää työssään, myös aikaperspektiivi, onko menetelmä käytössä asiakkaiden kanssa myöhemmin. Kerääminen; palautekeskustelu ryhmässä ja kyselylomake koulutuksen lopussa, kuinka moni ottaa menetelmän käyttöön, mitä sillä tekee työpaikallaan; seuranta, mahdollisesti yksittäisiä haastatteluja)
- Välillisen kohderyhmän (vanhukset, oppilaat, maahanmuuttajat, kirjaston asiakkaat ym. ym.) hyöty; saavatko menetelmän käytöstä jotain hyötyä/iloa. (Kvalitatiivinen tutkimus, haastatteluja/kyselylomakkeita satunnaisotannalla.)
3. Käyttö ammattikorkeakoulujen opetuksessa, miten pilotointi ja integrointi onnistui (kvanti/kvali; kuinka monta kurssia, opintopistettä ja osallistujaa, montako opinnäytetyötä ja harjoittelupaikkaa hyötyi oppilaiden avulla menetelmästä, myös aikaperspektiivi, onko kurssi tarjolla myöhemminkin vai hiipuiko into. Opettajien ja oppilaiden haastattelut miltä kurssi ja menetelmä tuntui)
Uusia ehdotuksia:
- ohjaajan päiväkirja; havainnot kurssin kulusta ja reaktioista tuoreeltaan.
- Enemmän aikaa palautekeskusteluun työpajan lopussa ja katselun lomassa, jotkut valmiit kysymykset pitäisi miettiä jotka esittää kaikille lopuksi. Tämän kohdan voisi myös videoida niin kommentit jäisivät talteen. Aivan lopuksi varattava selkeä aika (esim. 20min) palautelomakkeen täyttöön, kiire pois karsii vastausten analyyttisyyttä ja pituutta. Jos digitarinasta lopputyöntekijöitä (siis opiskelijoita) löytyy, he voisivat tulla johonkin työpajaan tekemään haastatteluja osallistujista, tulisi myös laajempi näkemys aiheesta heille ja meille(minulle) siitä olisi hyötyä myös.
Käsistyökalun kohdalla tärkeimmät arvioitavat asiat lienee:
1. Työkalun toimivuus (kvalitatiivinen tutkimus, käyttäjien eli nuorten ohjatut (pienryhmä)keskustelut, tekijöiden (Emma, Eeva, Sonja) arviointi työkalusta ja sen luomisprosessista, koulutuksissa ja pitkin matkaa voi palautetta kerätä myös nuorilta itseltään)
2. Prosessin kiinnostavuus/toimivuus (kvanti/kvali, kuinka moni nuorista keskeytti, osallistumisaktiivisuus, laatu-osuutta voi kysyä samoissa ryhmäkeskusteluissa kuin yllämainittu)
3. Lopputulos (valmistuiko käsikirjoitus ja millainen esitys siitä tuli, liittyy myös kohtaan 1)
4. Käyttöönotto muualla (pääasiassa kvanti, kuinka moni taho omaksuu tai on kiinnostunut omaksumaan työkalun käytön muualla, laadullista tutkimustakin voi tehdä jos aikaa riittää siellä loppuvaiheessa)
[ARVIOINTISUUNNITELMA|medios:Arviointisuunnitelma]