MEDIOS - ARVIOINTISUUNNITELMA
Projektissa toteutetaan arviointia neljässä eri tasossa:
- Jokaisessa osaprojektissa erikseen (3)
- Operatiiviselle työryhmälle / ohjausryhmälle, joka arvioi projektia kokonaisuudessaan
Operatiivisen työryhmän (ja muiden Metropolian Kulttuurialan projektien) arvioinnista vastaavat Anna-Maria Vilkuna ja Robert Arpo. He suunnittelevat yhdessä projektipäällikön kanssa kysymysten aiheet. Tarkoitus on toteuttaa kaksi kertaa vuodessa työryhmän haastattelu, jonka pohjana käytetään kysymyslomaketta (liitteenä). Lomakkeessa huonoimmat ja parhaimmat arviot saaneet kohdat käydään läpi yhteisesti ja pohditaan ratkaisuja niihin seikkoihin, jotka tuntuivat olevan suurimpia ongelmakohtia. Myös muita asioita on mahdollista nostaa esille ryhmähaastattelun aikana. Arpo ja Vilkuna litteroivat haastattelun ja lähettävät työryhmälle.
Ohjausryhmän arviointi toteutetaan ainakin kerran (tammikuussa 2010), mahdollisesti myös projektin viimeisessä ohjausryhmän kokouksessa uudestaan. Arvinointia ei kannata tehdä aiemmin, sillä ohjausryhmän osallistuessa suhteellisen vähän projektin toimintaan ei heillä ole välttämättä aivan projektin alkuvaiheessa vielä sanottavaa sen toimivuudesta. Projektin kolmannen ohjausryhmän kokouksen jälkeen suoritettavassa arviointipalaverissa saadaan jo luotettavampia tuloksia. Arviointi suoritetaan samalla tavoin kuin operatiivisen työryhmän arviointi: jäsenille lähetetään etukäteen sähköpostitse kyselylomake, jonka vastausten pohjalta tehdään ryhmähaastattelu ja mahdollisesti SWOT-analyysi selkeimmin esille nousevista kohdista.
Jokainen osaprojekti vastaa myös omasta arvioinnista ja voi esittää toiveita Arpolle ja Vilkunalle, mikäli tarvitsee ulkopuolista apua arvioinnin toteuttamiseen.
Digitarina-osaprojektissa on alusta alkaen kerätty kirjallisia palautteita työpajoihin osallistuneilta kohderyhmän jäseniltä. Palautelomaketta muokataan tarpeen mukaan, jotta palautteesta saataisiin mahdollisimman kattavaa. Näitä lomakkeita käytetään työpajojen arvioinnin välineinä; digitarinan koulutustoimintaa kehitetään palautteen pohjalta. Myös digitarinan kehitystiimi, joka koostuu pääasiassa kohderyhmän edustajista, ryhmähaastatellaan Arpon ja Vilkunan toimesta. Arviointitapaaminen suoritetaan ainakin kerran projektin aikana (tammikuussa 2010), luultavasti myös toisen kerran projektin loppuvaiheessa.
Tärkeimmät arvioivat asiat osaprojektissa:
1. Miten laajalle menetelmä on levinnyt, missä otettu käyttöön
2. Millaista palautetta työpajoista tulee, onko koettu hyödylliseksi ja aikooko käyttää työssään
3. Kohderyhmien edustajien näkemykset, onko hyödyllistä heille ja kokevatko menetelmän helpoksi ottaa käyttöön organisaatiossaan
Käsikirjoitus-osaprojektissa tullaan arviointia suorittamaan käsikirjoitttamiseen osallistuneiden nuorien kanssa; heidän kokemuksiaan sekä prosessista että teknisestä työkalusta. Arviointimenetelmänä toimii kyselylomake sekä ryhmäkeskustelut, jota videoidaan. Mahdollisuuksien mukaan järjestetään yksilö- ja ryhmähaastatteluita.
Arvioitavat asiat ovat mm. seuraavat:
1. Työkalun toimivuus ja käytettävyys (pilotoijille eli TIO-opiskelijoidelle suunnattu käyttäjätestaus sekä heidän antamansa palaute työkalusta, loppukäyttäjien eli nuorten ohjatut ryhmäkeskustelut ja kyselylomake, Tekijöiden (Emma, Eeva, Sonja) arviointi työkalusta ja sen luomisprosessista, Koulutuksissa ja pitkin matkaa kerätään palautetta nuorilta mm. työkalussa olevan palaute-osion avulla.
2. Prosessin kiinnostavuus/toimivuus (kuinka moni nuorista keskeytti, osallistumisaktiivisuus, laatu-osuutta voi kysyä samoissa ryhmäkeskusteluissa ja kyselylomakkeissa kuin yllämainittu)
3. Lopputulos: valmistuiko käsikirjoitus ja millainen esitys muodostui -> kuinka uusi kirjoitusmenetelmä vaikutti lopputulokseen? (Liittyy myös kohtaan 1)
4. Käyttöönotto ja työkalun herättämä kiinnostus tapahtumissa ja koulutuksissa, Saadut yhteydenoto ja kyselyt (kuinka moni taho omaksuu / on kiinnostunut omaksumaan työkalun käytön)
FLOSS Manuals-osaprojektin tärkeimmät arvioitavat kohdat liittyvät työkalujen käyttöönottoon (open source-ohjelmien levinneisyys, suomennettujen käyttöoppaiden käyttö ja ymmärrettävyys), koulutuksen/työpajojen hyödyllisyyteen ja toimintaan mukaan tulevien vapaaehtoisten määrään (kuinka monta vapaaehtoista kääntäjää oppaille löytyy). "Tärkein" kokoava arviointi kohdistuu itse suomenkieliseen sivustoon; kuinka hyödylliseksi se koetaan ja löytääkö se oman käyttäjäkunnan.