Vaikuttavuustutkimuksen määrittelyä /LUV 4.3.2014
Mitä varten Vyyhti tutkii vaikuttavuutta?
Vaikuttavuustutkimuksen tarkoitus on
· selvittää Vyyhdin toimintojen, kuten koulutusten tai tapahtumien vaikutuksia osallistujiin ja heidän verkostoihinsa, Vyyhti-toimijoihin, muihin osatoteuttajiin ja heidän verkostoihinsa sekä osatoteuttajien organisaatioihin;
· eritellä eroja ja niiden syitä toteutuneiden ja suunniteltujen tavoitteiden välillä;
· nostaa esiin osatoteuttajien löytämiä ongelmakohtia tulevia hankeverkostoja varten;
· artikuloida projektisuunnitelmassa mainittua ” yrittäjyysosaamista, jossa korostuu mm. ymmärrys uudenlaisesta ihmisten ja yhteisöjen välisestä vuorovaikutuksesta” (Vyyhti projektisuunnitelma, 5).
Vyyhdin vaikuttavuustutkimus tähtää tulevaan toimintaan: Vyyhti-hankkeessa luotujen uusien käytänteiden tuoman muutoksen vakiinnuttamiseen ja valtavirtaistamiseen, mutta myös epäonnistumisista, hankaluuksista ja virheistä oppimiseen. Vaikuttavuustutkimus on Vyyhti-hankkeen kehittämistyön ydintä. Se toteutetaan hankkeen koulutusten päätyttyä osana hankkeen sisäistä oppimisprosessia.
Minkälaista vaikuttavuutta voidaan tutkia?
Vaikuttavuus nähdään tavoitteiden ja toteutusten tuloksena, monimutkaisena prosessina, jota tarkastellaan vaikutusten arvoketjuna (impact value cahin, ks. Rajahonka 13):
Tarpeet > tavoitteet > resurssit > osatoteutukset > tuotokset > tulokset > vaikutukset > vaikuttavuus
Vaikuttavuuden tutkimisen lähtökohtana on toiminnalle ja osatoteutuksille asetetut tavoitteet. Yhteiskunnan taso rajataan tässä tutkimuksessa pois.
Vaikuttavuutta syntyy myös muun kuin Vyyhti-hankkeen toiminnan tuloksena, sillä vaikuttavuutta muokkaavat monet asiat. Osallistujien toiminnan muutoksiin saattaa Rajahongan (2013) mukaan vaikuttaa mm.
- asiat, jotka olisivat tapahtuneet joka tapauksessa kuten sosiaalisen median käytön yleistyminen
- muiden toimijoiden vaikutus, kuten muu mahdollinen koulutus
- koulutuksen vaikutuksen ajallinen heikkeneminen kertauksen ja uuden innoituksen puuttumisen takia
- mahdollisten toimintatapojen muutosten syrjäyttämä aiempi positiivinen toiminta
Tässä tutkimuksessa ei pyritä erittelemään näitä vaikuttavuuden muuttujia muilta osin kuin mihin haastatteluaineistossa viitataan (esim. Jussi Mankin haastattelu 27.1.2014).
Vaikuttavuutta tarkastellaan Vaikutusta tutkitaan kohderyhmien ja osatoteuttajien kannalta:
· osallistuneiden henkilöiden kokemusten kannalta (projektisuunnitelmassa mainitut kohderyhmät opiskelijat, yrittäjät ja kaupunginosatoimijat)
· heidän verkostojensa muuttumisen kannalta
· osatoteuttajien ja heidän organisaatioidensa asettamien tavoitteiden kannalta
Vaikuttavuutta tarkastellaan myös hankkeen eri toimintojen kannalta :
- koulutukset
- verkostoitumistapahtumat
- Vyyhti-pelit
- Verkkoviestintä
- Hankekulttuuri ja toimintatavat
Vaikuttavuustutkimuksen työkaluja
...
| Ilmeneekö työkalulla: | Palaute toiminnasta | Mitä hankkeessa oppittiin? | Projektin tavoitteiden toteutuminen | Vaikutukset osallistujien toimintaan | Laajemmat vaikutukset |
|---|---|---|---|---|---|
| Palautekyselyt | x | x | - | - | - |
| Siirtovaikutuskysely | x | x | riippuu kysymyksistä | x | - |
| Verkkodiagnostiikka | x | x | x | saako näitä tulkittua? | ? |
| Haastatteluaineistot | x | x | x | x | x |
| Case-kuvaukset | x | x | x | x | x |
| Arviointityöpajat | x | x | x | x | x |
| Ydin/periferia-analyysi | - | - | x | x | ? |
| Muuta? | |||||
Hankkeen elinkaari:
Eri työkalut liittyvät hankkeen elinkaaren eri vaiheisiin.
Palautekysely
Palautekyselyt on toteutettu välittömästi koulutustilaisuuksien jälkeen. Niillä tavoitetaan osallistujien välittömiä tunnelmia ja vaikutelmia.
Lue lisää vaikuttavuuden tutkimisesta hankkeissa:
Vaikuttavasirkus
Kolmas lähde
Tenhula, T. 2007. Valtakunnallisesti Vaikuttavaa koulutusta. Selvitys valtakunnallisen TieVie - virtuaaliyliopistohankkeen vaikuttavuudesta. Suomen virtuaaliyliopiston julkaisuja 2/07. http://tievie.oulu.fi/julkaisut/Tenhula_T_2007_Valtakunnallisesti_vaikuttavaa_koulutusta.pdf
Mitä tietoa tarvitaan?
Tutkimus perustuu seuraaviin aineistoihin:
· Vyyhti-hankkeen oma dokumentaatio Vyyhti.metropolia.fi ja https://wiki.metropolia.fi/display/vyyhti/Vyyhti.
· Kyselyt tilaisuuksiin osallistuneille
o Kerätyt palautekyselyt
o Kerätyt siirtovaikutuskyselyt
· Osatoteuttajien haastattelut tammi-helmikuussa 2014
· Mahdolliset haastattelut ja arviointityöpajat helmi-maaliskuussa 2014.
Osateuttajien haastattelut
· HUB Helsinki /Jussi Mankki 27.1.2014
· Helka / Päivi Savolainen, Pirjo Tulikukka 3.2.2014
· Alumnit ja hankkeen 1. projektipäällikkö Milla Laasonen 5.2.2014
· Metropolian toiminnot / hankeet Anna-Maria Vilkuna 11.2.2014
· Vyyhdin toimijat Susanna Snellmann ja sanna Ristimäki (Vyyhti-pelin vaikuttavuus) 23.2.2014
...
Alustava keinojen / toteutusten teemoittelu
1. Vyyhti-hankkeessa vaikuttavuutta voidaan kartoittaa osatoteutuksien kautta, sillä hankkeessa ei ole verkkosivuston lisäksi kaikille osatoteutuksille yhteisiä toimintoja.
Hankkeessa käytety keinot ryhmitellään tutkimuksessa alustavasti seuraaviin teemoihin:
· Koulutukset
· Fasilitointi (Vyyhti-peli tämän osana)
· Viestintä
· Kohtaamiset, verkostoitumistilaisuudet
Hankkeen tilaisuuksista kerätyt siirtovaikutuskyselyt liittyvät seuraaviin tilaisuuksiin (kuvankaappaus Vyyhti-kotisivuilta koulutukset -valikosta http://vyyhti.metropolia.fi/koulutukset/)
Tutkimuksen tuottavat
· Leena Unkari-Virtanen, Vyyhti-hankkeeseen palkatta vaikuttavuustutkija
· Leena Björkqvist, arviointitutkimuksen asiantuntija
· Valo, graafinen toteutus
· Vyyhti-hankkeen toimijat Jussi Linkola, Susanna Snelmann Snellman ja Sanna RistimäkiRistaniemi
Tutkimuksen julkaiseminen
Tutkimus julkaistaan verkkosivuna 16.4.2014.
Ks. dokumentti vaikuttavuustutkimuksen kokonaisuus.
Huomioitavaa
Vaikuttavuutta syntyy myös muun kuin Vyyhti-hankkeen toiminnan tuloksena, sillä vaikuttavuutta muokkaavat monet asiat. Osallistujien toiminnan muutoksiin saattaa Rajahongan mukaan vaikuttaa mm.
· asiat, jotka olisivat tapahtuneet joka tapauksessa kuten sosiaalisen median käytön yleistyminen
· muiden toimijoiden vaikutus, kuten muu mahdollinen koulutus
· koulutuksen vaikutuksen ajallinen heikkeneminen kertauksen ja uuden innoituksen puuttumisen takia
· mahdollisten toimintatapojen muutosten syrjäyttämä aiempi positiivinen toiminta
Tutkimuksessa ei pyritä erittelemään näitä vaikuttavuuden muuttujia muilta osin kuin mihin haastatteluaineistossa viitataan (esim. Jussi Mankin haastattelu 27.1.2014).
V
L