MEDIOS - ARVIOINTISUUNNITELMA
Projektissa toteutetaan arviointia neljässä eri tasossa:
- Jokaisessa osaprojektissa erikseen (3)
- Operatiiviselle työryhmälle / ohjausryhmälle, joka arvioi projektia kokonaisuudessaan
Operatiivisen työryhmän (ja muiden Metropolian Kulttuurialan projektien) arvioinnista vastaavat Anna-Maria Vilkuna ja Robert Arpo. He suunnittelevat yhdessä projektipäällikön kanssa kysymysten aiheet. Tarkoitus on toteuttaa kaksi kertaa vuodessa työryhmän haastattelu, jonka pohjana käytetään kysymyslomaketta (liitteenä). Lomakkeessa huonoimmat ja parhaimmat arviot saaneet kohdat käydään läpi yhteisesti ja pohditaan ratkaisuja niihin seikkoihin, jotka tuntuivat olevan suurimpia ongelmakohtia. Myös muita asioita on mahdollista nostaa esille ryhmähaastattelun aikana. Arpo ja Vilkuna litteroivat haastattelun ja lähettävät työryhmälle.
Ohjausryhmän arviointi toteutetaan ainakin kerran (tammikuussa 2010), mahdollisesti myös projektin viimeisessä ohjausryhmän kokouksessa uudestaan. Arvinointia ei kannata tehdä aiemmin, sillä ohjausryhmän osallistuessa suhteellisen vähän projektin toimintaan ei heillä ole välttämättä aivan projektin alkuvaiheessa vielä sanottavaa sen toimivuudesta. Projektin kolmannen ohjausryhmän kokouksen jälkeen suoritettavassa arviointipalaverissa saadaan jo luotettavampia tuloksia. Arviointi suoritetaan samalla tavoin kuin operatiivisen työryhmän arviointi: jäsenille lähetetään etukäteen sähköpostitse kyselylomake, jonka vastausten pohjalta tehdään ryhmähaastattelu ja mahdollisesti SWOT-analyysi selkeimmin esille nousevista kohdista.
Jokainen osaprojekti vastaa myös omasta arvioinnista ja voi esittää toiveita Arpolle ja Vilkunalle, mikäli tarvitsee ulkopuolista apua arvioinnin toteuttamiseen.
Digitarina-osaprojektissa on alusta alkaen kerätty kirjallisia palautteita työpajoihin osallistuneilta kohderyhmän jäseniltä. Palautelomaketta muokataan tarpeen mukaan, jotta palautteesta saataisiin mahdollisimman kattavaa. Näitä lomakkeita käytetään työpajojen arvioinnin välineinä; digitarinan koulutustoimintaa kehitetään palautteen pohjalta. Myös digitarinan kehitystiimi, joka koostuu pääasiassa kohderyhmän edustajista, ryhmähaastatellaan Arpon ja Vilkunan toimesta. Arviointitapaaminen suoritetaan ainakin kerran projektin aikana (tammikuussa 2010), luultavasti myös toisen kerran projektin loppuvaiheessa.
Tärkeimmät arvioivat asiat osaprojektissa:
1. Miten laajalle menetelmä on levinnyt, missä otettu käyttöön
2. Millaista palautetta työpajoista tulee, onko koettu hyödylliseksi ja aikooko käyttää työssään
3. Kohderyhmien edustajien näkemykset, onko hyödyllistä heille ja kokevatko menetelmän helpoksi ottaa käyttöön organisaatiossaan
Käsikirjoitus-osaprojektissa tullaan arviointia suorittamaan käsikirjoitttamiseen osallistuneiden nuorien kanssa; heidän kokemuksiaan sekä prosessista että teknisestä työkalusta. Arviointimenetelmänä toimii varmaankin ryhmä- tai yksilöhaastattelut, myös kyselylomake mahdollinen. Arvioitavat asiat voivat olla mm. seuraavat:
1. Työkalun toimivuus (pilotoijille eli TIO-opiskelijoidelle suunnattu kysely, loppukäyttäjien eli nuorten (pienryhmä)haastattelut, tekijöiden (Emma, Eeva, Sonja) arviointi työkalusta ja sen luomisprosessista, koulutuksissa ja pitkin matkaa voi palautetta kerätä myös nuorilta itseltään)
2. Prosessin kiinnostavuus/toimivuus (kuinka moni nuorista keskeytti, osallistumisaktiivisuus, laatu-osuutta voi kysyä samoissa haastatteluissa kuin yllämainittu)
3. Lopputulos (valmistuiko käsikirjoitus ja millainen esitys siitä tuli, liittyy myös kohtaan 1)
4. Käyttöönotto muualla (kuinka moni taho omaksuu työkalun käytön)
FLOSS Manuals-osaprojektin tärkeimmät arvioitavat kohdat liittyvät työkalujen käyttöönottoon (open source-ohjelmien levinneisyys, suomennettujen käyttöoppaiden käyttö ja ymmärrettävyys), koulutuksen/työpajojen hyödyllisyyteen ja toimintaan mukaan tulevien vapaaehtoisten määrään (kuinka monta vapaaehtoista kääntäjää oppaille löytyy). "Tärkein" kokoava arviointi kohdistuu itse suomenkieliseen sivustoon; kuinka hyödylliseksi se koetaan ja löytääkö se oman käyttäjäkunnan.