Vaikuttavuustutkimuksen määrittelyä /LUV 4.3.2014
Mitä varten Vyyhti tutkii vaikuttavuutta?
Vaikuttavuustutkimuksen tarkoitus on
· selvittää Vyyhdin toimintojen, kuten koulutusten tai tapahtumien vaikutuksia osallistujiin ja heidän verkostoihinsa, Vyyhti-toimijoihin, muihin osatoteuttajiin ja heidän verkostoihinsa sekä osatoteuttajien organisaatioihin;
· eritellä eroja ja niiden syitä toteutuneiden ja suunniteltujen tavoitteiden välillä;
· nostaa esiin osatoteuttajien löytämiä ongelmakohtia tulevia hankeverkostoja varten;
Vyyhdin vaikuttavuustutkimus tähtää tulevaan toimintaan: Vyyhti-hankkeessa luotujen uusien käytänteiden tuoman muutoksen vakiinnuttamiseen ja valtavirtaistamiseen, mutta myös epäonnistumisista, hankaluuksista ja virheistä oppimiseen. Vaikuttavuustutkimus on Vyyhti-hankkeen kehittämistyön ydintä. Se toteutetaan hankkeen koulutusten päätyttyä osana hankkeen sisäistä oppimisprosessia.
Minkälaista vaikuttavuutta voidaan tutkia?
Vaikuttavuus nähdään tavoitteiden ja toteutusten tuloksena, monimutkaisena prosessina, jota tarkastellaan vaikutusten arvoketjuna (impact value cahin, ks. Rajahonka 13):
Tarpeet > tavoitteet > resurssit > osatoteutukset > tuotokset > tulokset > vaikutukset > vaikuttavuus
Vaikuttavuuden tutkimisen lähtökohtana on toiminnalle ja osatoteutuksille asetetut tavoitteet. Yhteiskunnan taso rajataan tässä tutkimuksessa pois.
Vaikutusta tutkitaan kohderyhmien ja osatoteuttajien kannalta:
· osallistuneiden henkilöiden kokemusten kannalta (projektisuunnitelmassa mainitut kohderyhmät)
· heidän verkostojensa muuttumisen kannalta
· osatoteuttajien ja heidän organisaatioidensa asettamien tavoitteiden kannalta
Vaikuttavuustutkimuksen työkaluja
(luonnos, vaatii selityksiä)
| Ilmeneekö työkalulla: | Palaute toiminnasta | Mitä | Projektin tavoitteiden toteutuminen | Vaikutukset osallistujien toimintaan | Laajemmat vaikutukset |
|---|---|---|---|---|---|
| Palautekyselyt | x | x | - | - | - |
| Siirtovaikutuskysely | x | x | riippuu kysymyksistä | x | - |
| Verkkodiagnostiikka | x | x | x | saako näitä tulkittua? | ? |
| Haastatteluaineistot | x | x | x | x | x |
| Case-kuvaukset | x | x | x | x | x |
| Arviointityöpajat | x | x | x | x | x |
| Ydin/periferia-analyysi | - | - | x | x | ? |
| Muuta? | |||||
Hankkeen elinkaari:
Eri työkalut liittyvät hankkeen elinkaaren eri vaiheisiin.
Palautekysely
Palautekyselyt tavoittavat
Mitä tietoa tarvitaan?
Tutkimus perustuu seuraaviin aineistoihin:
· Vyyhti-hankkeen oma dokumentaatio Vyyhti.metropolia.fi ja https://wiki.metropolia.fi/display/vyyhti/Vyyhti.
· Kyselyt tilaisuuksiin osallistuneille
o Kerätyt palautekyselyt
o Kerätyt siirtovaikutuskyselyt
· Osatoteuttajien haastattelut tammi-helmikuussa 2014
· Mahdolliset haastattelut ja arviointityöpajat helmi-maaliskuussa 2014.
Osateuttajien haastattelut
· HUB Helsinki /Jussi Mankki 27.1.2014
· Helka / Päivi Savolainen, Pirjo Tulikukka 3.2.2014
· Alumnit ja hankkeen 1. projektipäällikkö Milla Laasonen 5.2.2014
· Metropolian toiminnot / hankeet Anna-Maria Vilkuna 11.2.2014
· Vyyhdin toimijat Susanna Snellmann ja sanna Ristimäki (Vyyhti-pelin vaikuttavuus) 23.2.2014
Siirtovaikutuskysely
Tutkimus oli alunperin keskeiseksi Vyyhti-hankkeen toiminnoksi, tosin siirtovaikutustutkimuksen nimellä. Projektisuunnitelmassa mainitun siirtovaikutustutkimuksen tarkoitus oli kartoittaa ja selvittää hankkeessa toteutettujen toimenpiteiden, koulutusten ja verkostoitumisen vaikutusta osallistujiin heti koulutuksen tai tapahtuman jälkeen ja uudelleen, 6-12 kk kuluttua koulutuksesta tai tapahtumasta. Suunnitelmassa siirtovaikutustutkimus määriteltiin HUB Helsingin tehtäväksi.
Projektin kuluessa HUB Helsingin rooli kuitenkin muuttui, samoin käsitys tutkimuksesta. Siirtovaikutustutkimus muuttui vaikuttavuustutkimukseksi. Hubin ja Vyyhdin aloittaman siirtovaikutuskyselyn tulokset ovat vaikuttavuustutkimuksessa yksi aineistokorpus haastatteluiden lisäksi.
Alustava keinojen / toteutusten teemoittelu
1. Vyyhti-hankkeessa vaikuttavuutta voidaan kartoittaa osatoteutuksien kautta, sillä hankkeessa ei ole verkkosivuston lisäksi kaikille osatoteutuksille yhteisiä toimintoja.
Hankkeessa käytety keinot ryhmitellään tutkimuksessa alustavasti seuraaviin teemoihin:
· Koulutukset
· Fasilitointi (Vyyhti-peli tämän osana)
· Viestintä
· Kohtaamiset, verkostoitumistilaisuudet
Hankkeen tilaisuuksista kerätyt siirtovaikutuskyselyt liittyvät seuraaviin tilaisuuksiin (kuvankaappaus Vyyhti-kotisivuilta koulutukset -valikosta http://vyyhti.metropolia.fi/koulutukset/)
Tutkimuksen tuottavat
· Leena Unkari-Virtanen, Vyyhti-hankkeeseen palkatta vaikuttavuustutkija
· Leena Björkqvist, arviointitutkimuksen asiantuntija
· Valo, graafinen toteutus
· Vyyhti-hankkeen toimijat Jussi Linkola, Susanna Snelmann ja Sanna Ristimäki
Tutkimuksen julkaiseminen
Tutkimus julkaistaan verkkosivuna 16.4.2014.
Ks. dokumentti vaikuttavuustutkimuksen kokonaisuus.
Huomioitavaa
Vaikuttavuutta syntyy myös muun kuin Vyyhti-hankkeen toiminnan tuloksena, sillä vaikuttavuutta muokkaavat monet asiat. Osallistujien toiminnan muutoksiin saattaa Rajahongan mukaan vaikuttaa mm.
· asiat, jotka olisivat tapahtuneet joka tapauksessa kuten sosiaalisen median käytön yleistyminen
· muiden toimijoiden vaikutus, kuten muu mahdollinen koulutus
· koulutuksen vaikutuksen ajallinen heikkeneminen kertauksen ja uuden innoituksen puuttumisen takia
· mahdollisten toimintatapojen muutosten syrjäyttämä aiempi positiivinen toiminta
Tutkimuksessa ei pyritä erittelemään näitä vaikuttavuuden muuttujia muilta osin kuin mihin haastatteluaineistossa viitataan (esim. Jussi Mankin haastattelu 27.1.2014).