...
Vyyhti hankkeen arviointikäytännöistä erottuu kolme eri tasoa:
Rahoittajan seuranta ja emo-organisaation vuosittainen kyselylomake ja keskustelu koettiin irrallisena arjesta mutta tärkeänä. Ei niinkään toiminnan kehittämisen kannalta, vaan sillä, että joku ulkopuolinen taho näki ja hyväksyi toiminnan. Rahoittajan lopputarkistus oli ollut jännittävä tilaisuus, johon valmistauduttiin huolella. Tulos oli suuri helpotus, aivan kuin ”olisi päässyt läpi lopputentistä”. Rajoittaja edusti myös jotain suurta tuntematonta, jonka vaatimuksilla perusteltiin monia joskus vaikeasti käsitettäviä dokumentaatiovaatimuksia.
...
Tärkein kehittämiseen vaikuttanut arviointi oli projektihenkilökunnan jatkuva reflektointi ja itsearviointi. Parannuksia pyrittiin tekemään esimerkiksi koulutuksissa, joissa saman sisältöiset koulutukset toistuivat. Kehittäminen meni suoraan käytäntöön. Toiminnan hyödynsaajien eli Vyyhdin seminaareihin, koulutuksiin ja muihin tilaisuuksiin osallistuneiden palaute otettiin mukaan tähän jatkuvaan oman kehittämistyön parantamisprosessiin. Tukena tälle jatkuvalle itsearvioinnille oli ohjausryhmän puheenjohtajan selkeät vaatimukset raportoida eri kohderyhmien hyödyt projektissa. Ohjausryhmän sitoutuminen vaihteli ja hiipui projektin loppumista kohden. Ohjausryhmällä oli aluksi vähän sama seurantarooli kuin rahoittajalla, mutta mielenkiinto säilyi loppuun asti vain puheenjohtajalla. Monissa projekteissa puheenjohtaja edustaa emo-organisaatiota, mutta tässä ohjausryhmässä ei ollut emo-organisaation jäseniä ollenkaan (pitääkö paikkansa? En löytänyt ryhmän kokoonpanoa).
Kenellä pitäisi olla vastuu hankearvioinnista?
Vyyhtiläiset vastasivat oman hankekokemuksensa perusteella näin:
näin ei ollut.
Vyyhti hankkeen työnjako osatoteuttajien kesken muuttui kun yhden osatoteuttajan henkilökunnassa tapahtui muutoksia. Koska kyse ei ollut arkiseen toimintaa vaikuttava tehtävä, asiaa ei selvitetty ajallaan ja se vain "liukui" päätöteuttajille. Hankkeen henkilösidonnaisuus oli tässä hankkeessa ehkä tavallista voimakkaampi, koska kyse oli kolmannen sektorin toimijoista, joissa oli mukana vapaaehtoisia. Vyyhti hankkeen projektipäälliköstä oli luonnollista, että vapaaehtoispohjalta tehdyssä työssä pitää olla kyse omasta erityisaluesta ja mielenkiinnon kohteesta. Tämä herättää tietenkin kysymyksen siitä mitkä tehtävät voidaan jättää henkilökohtaisen mielenkiinnon varaan ja mitkä tehtävät on varmistettava palkatun työvoiman turvin.
Hankkeessa tehtiin jatkuvaa arviointia, mutta selkeästi henkilöihin kohdistuvat ongelmat muodostuvat asioiksi, joita muuten hyvän työilmapiirin vallitessa, mieluummin välttelee. Tästä nouseekin kysymys jatkuvan itsearvioinnin heikkouksista. Kohderyhmän palautteen pohjalta tehdyt muutokset aiheuttavat harvoin konfliktitilanteita, sillä kyse on osallistujien kokemus ja mielipide. Hanketoiminnan puutteet, kuten osatoteuttajan tehtävienjakoon liittyvät asiat voivat tuntua niin kiperiltä, että niitä ei oleta esille konfliktin pelossa. Miten siis jatkuva oman hanketoiminnan arviointi pitäisi tehdä?
Tässä Vyyhdin henkilökunnan resepti:
- Projektipäällikkö vastaa jatkuvasta hankearvionnista.
- Projektipäällikkö suunnittelisi ja toisi arviointiasian
- Projektipäällikön vastuulla.
- Projektipäällikkö toisi asian ryhmälle. Yhtä tärkeä kuin, että meillä on viikkopalaveri.
- Mahdotonta yrittää kesken kaiken sopia uusia toimintamalleja.
- Olisi ollut hyvä jos joku ulkopuolinen olisi tullut vetämään Joku ulkopuolinen vetämää arviointikeskustelun.
- Esimies mukana hankkeen itsearvionnissa. Voisi olla pohja esimiehen kanssa käytyyn kehityskeskusteluun.
Yllä luettellut kehittämistoimenpiteet toimivat pitkälle vastauksina heikkouksiin, joita on tunnistettu Euroopan sosiaalirahaston tiedotuksen yhteistyöryhmän (KTM, OPM, SM, STM,TM) tilaamassa valtakunnallisessa itsearviontiseminaarissa. Mika Kuoppalan (s. 52) mukaan Hankearvioinnin toimeenpanovaiheen tavallisia sudenkuoppia ovat:
- Seurantajärjestelmiä ei luoda, eikä dokumentointia suunnitella
- Konkretisoimaton toimintasuunnitelma
- Huono dokumentointi
- Henkilöstön vaihtuminen
- Sokeus omaa toimintaa kohtaan
- Arvioinnin resurssointi
Vyyhti hankkeen dokumentoitia ei missään nimessä voi sanoa huonoksi, mutta arviointitiedon kohdalla materiaali on vaikeasti löydettävissä. Missään ei ole polkua, jota seuraamalla saisi käsityksen siitä kuinka hankkeen monia arviointitasoja on käytetty toiminnan kehittämiseen. Arvioinnin suunnittelu ja vastuuttaminen olisivat selkeyttänyt prosessia. Näin jälkikäteen on helppo ajatella, että emo-organisaatio voisi antaa suuntaviivat ja myös seurata jatkuvan hankearvioinnin etenemistä. Ehkä Vyyhdin henkilökunnan viimeinen kommentti esimiehen läsnäolosta arviointikeskusteluissa, voisi olla hyvä tapa olla läsnä hanketyöntekijöiden toiminnan arjessa.
Yhteenvetona voi todeta, että yllä kuvailtu kolme arvionnin tasoa pitäisi saada nivottua yhdeksi arviointiprosessiksi. Ensimmäinen askel olisi arviointitoimenpiteiden tekeminen näkyväksi hankkeen toimintasuunnitelmaan ja tuominen näkyväksi hankkeen kaikkille osapuolille. Rahoittajan seurantaa varten kerättävä määrällinen materiaali sekä toimenpiteiden aikana kerätty palaute pitäisi analysoida yhteisesti niin hankkeen henkilökunnan kuin ohjausryhmänkin toimesta. Mieluummin vähän arviontitiedon keruuta, mutta hyvin suunniteltua ja analysoitua.
Kirjallisuutta:
Paul Silfverberg, Paul. Ideasta projektiksi, projektinvetäjän käsikirja. Työministeriö
Kuoppala, Mika. Itsearvioinnin toteutus projektin eri vaiheissa. Julkaisussa: Mäkinen, Anna-Kaisa Mäkisen ja Petri Uusikylän Uusikylä, Petri. (ei vuosilukua) Tiedosta – arvioi – paranna: itsearviointi ESR-projektien kehittämisen välineenä
Virtanen, Petri ja Petri Virtasen Arviointi – Arviointityön luonne, tuottaminen ja hyödyntäminen.
...