Onko projektiarvioinnilla väliä? Arvioinnin vaikutus Vyyhti hankkeen työskentelyyn ja tuloksiin

Tässä artikkelissa tarkastelen arvioinnin vaikutuksia projektityön tuloksiin ja työprosessin laatuun yhden hankkeen kokemusten kautta. Taustalla on oma kokemus useista luovan alan hankkeista, joissa olen toiminut projektitutkijana, kouluttajana ja ohjausryhmän jäsenenä. Erityisesti kouluttajan rooli on antanut mahdollisuuden tarkastella hankkeita vähän etäältä ja tarkkailla niitä projektitavoitteiden ja arjen käytännön ristipaineessa.

Vyyhti-hanke edustaa luovan alan hanketta ja tavoitteenani on selvittää kuinka erilaiset seuranta- ja arviontitoimenpiteet ovat vaikuttaneet hankkeen toimintaansa. Vastauksia käytetään projektiarviointikäytäntöjen kehittämiseen Metropolian Ammattikorkeakoulussa

Vyyhti-hankkeessa olen toiminut kouluttajana ja koska työhuoneemme sijaitsevat lähekkäin olen päässyt näkemään vyyhtiläisten arkea myös kahvikupin ääressä. Vyyhti-hankkeen henkilökunta on hitsautunut vahvasti yhteen ja heille kehittävä työnote on itsestäänselvyys. Sitä voisi kutsua myös paljon puhutuksia jatkuvan arvioinnin prosessiksi, joka mainitaan kaikessa projektikirjallisuudessa. Koska kyse on hankkeesta, jonka yksi keskeinen tuote on valittu EU-hankkeiden yhdeksi menestystarinaksi Etelä-Suomen alueella, uskallan pysähtyä tarkastelemaan heidän toimintaansa arvioinnin vaikutusten näkökulmasta ( http://etela-suomenesr.fi/fi/hankkeet/menestystarinat/)

Vyyhti hankkeen kolme arvionnin tasoa

Selvittääkseni Vyyhti-hankkeen henkilökunnan ajatuksia arvioinnista tein kyselyn, jossa aiheina olivat palautetiedon kerääminen, dokumentointi ja niiden vaikutukset toiminnan kehittämiseen. Toisena alueena oli hankkeeseen kohdistuva seuranta ja arviointi rahoittajan ja hankkeen hallinnoijan puolelta. Kolmantena osana oli näiden kahden osan kehittäminen eli mitä hanketyöntekijät ovat oppineet oman työn arvioinnista ja kehittämisestä.

Vyyhti hankkeen arviointikäytännöistä erottuu kolme eri tasoa:

Rahoittajan seuranta ja emo-organisaation vuosittainen kyselylomake ja keskustelu koettiin irrallisena arjesta mutta tärkeänä. Ei niinkään toiminnan kehittämisen kannalta, vaan sillä, että joku ulkopuolinen taho näki ja hyväksyi toiminnan. Rahoittajan lopputarkistus oli ollut jännittävä tilaisuus, johon valmistauduttiin huolella. Tulos oli suuri helpotus, aivan kuin ”olisi päässyt läpi lopputentistä”. Rajoittaja edusti myös jotain suurta tuntematonta, jonka vaatimuksilla perusteltiin monia joskus vaikeasti käsitettäviä dokumentaatiovaatimuksia.

Emo-organisaation vuosittainen kyselylomake koettiin osittain raskaaksi ja tuloksena tulleet keskiarvot olivat vaikeasti tulkittavissa. Kyselylomakkeiden pohjalta pidetyt keskustelut olivat hyviä, vaikka niissä ei ollutkaan aikaa pureutua mahdollisiin ongelmiin. Yhtenä konkreettisena viestintätekona perustettiin viikottainen blogi, jonka avulla arkinen aherrus tuli avoimesti esille.

Tärkein kehittämiseen vaikuttanut arviointi oli projektihenkilökunnan jatkuva reflektointi ja itsearviointi. Parannuksia pyrittiin tekemään esimerkiksi koulutuksissa, joissa saman sisältöiset koulutukset toistuivat. Kehittäminen meni suoraan käytäntöön. Toiminnan hyödynsaajien eli Vyyhdin seminaareihin, koulutuksiin ja muihin tilaisuuksiin osallistuneiden palaute otettiin mukaan tähän jatkuvaan oman kehittämistyön parantamisprosessiin. Tukena tälle jatkuvalle itsearvioinnille oli ohjausryhmän puheenjohtajan selkeät vaatimukset raportoida eri kohderyhmien hyödyt projektissa. Ohjausryhmän sitoutuminen vaihteli ja hiipui projektin loppumista kohden. Ohjausryhmällä oli aluksi vähän sama seurantarooli kuin rahoittajalla, mutta mielenkiinto säilyi loppuun asti vain puheenjohtajalla. Monissa projekteissa puheenjohtaja edustaa emo-organisaatiota, mutta tässä ohjausryhmässä näin ei ollut. 

Vyyhti hankkeen työnjako osatoteuttajien kesken muuttui kun yhden osatoteuttajan henkilökunnassa tapahtui muutoksia. Koska kyse ei ollut arkiseen toimintaa vaikuttava tehtävä, asiaa ei selvitetty ajallaan ja se vain "liukui" päätöteuttajille. Hankkeen henkilösidonnaisuus oli tässä hankkeessa ehkä tavallista voimakkaampi, koska kyse oli kolmannen sektorin toimijoista, joissa oli mukana vapaaehtoisia. Vyyhti hankkeen projektipäälliköstä oli luonnollista, että vapaaehtoispohjalta tehdyssä työssä pitää olla kyse omasta erityisaluesta ja mielenkiinnon kohteesta. Tämä herättää tietenkin kysymyksen siitä mitkä tehtävät voidaan jättää henkilökohtaisen mielenkiinnon varaan ja mitkä tehtävät on varmistettava palkatun työvoiman turvin. 

Hankkeessa tehtiin jatkuvaa arviointia, mutta selkeästi henkilöihin kohdistuvat ongelmat muodostuvat asioiksi, joita muuten hyvän työilmapiirin vallitessa, mieluummin välttelee. Tästä nouseekin kysymys jatkuvan itsearvioinnin heikkouksista. Kohderyhmän palautteen pohjalta tehdyt muutokset aiheuttavat harvoin konfliktitilanteita, sillä kyse on osallistujien kokemus ja mielipide. Hanketoiminnan puutteet, kuten osatoteuttajan tehtävienjakoon liittyvät asiat voivat tuntua niin kiperiltä, että niitä ei oleta esille konfliktin pelossa. Miten siis jatkuva oman hanketoiminnan arviointi pitäisi tehdä?

Tässä Vyyhdin henkilökunnan resepti:   

• Projektipäällikkö vastaa jatkuvasta hankearvionnista.
• Projektipäällikkö suunnittelisi ja toisi arviointiasian ryhmälle. Yhtä tärkeä kuin, että meillä on viikkopalaveri.
• Mahdotonta yrittää kesken kaiken sopia uusia toimintamalleja.
• Joku ulkopuolinen vetämää arviointikeskustelun.
• Esimies mukana hankkeen itsearvionnissa. Voisi olla pohja esimiehen kanssa käytyyn kehityskeskusteluun.

Yllä luettellut kehittämistoimenpiteet toimivat pitkälle vastauksina heikkouksiin, joita on tunnistettu Euroopan sosiaalirahaston tiedotuksen yhteistyöryhmän (KTM, OPM, SM, STM,TM) tilaamassa valtakunnallisessa itsearviontiseminaarissa. Mika Kuoppalan (s. 52) mukaan Hankearvioinnin toimeenpanovaiheen tavallisia sudenkuoppia ovat: 

Vyyhti hankkeen dokumentoitia ei missään nimessä voi sanoa huonoksi, mutta arviointitiedon kohdalla materiaali on vaikeasti löydettävissä. Missään ei ole polkua, jota seuraamalla saisi käsityksen siitä kuinka hankkeen monia arviointitasoja on käytetty toiminnan kehittämiseen. Arvioinnin suunnittelu ja vastuuttaminen olisivat selkeyttänyt prosessia. Näin jälkikäteen on helppo ajatella, että emo-organisaatio voisi antaa suuntaviivat ja myös seurata jatkuvan hankearvioinnin etenemistä. Ehkä Vyyhdin henkilökunnan viimeinen kommentti esimiehen läsnäolosta arviointikeskusteluissa, voisi olla hyvä tapa olla läsnä hanketyöntekijöiden toiminnan arjessa. 

Yhteenvetona voi todeta, että yllä kuvailtu kolme arvionnin tasoa pitäisi saada nivottua yhdeksi arviointiprosessiksi. Ensimmäinen askel olisi arviointitoimenpiteiden tekeminen näkyväksi hankkeen toimintasuunnitelmaan ja tuominen näkyväksi hankkeen kaikkille osapuolille. Rahoittajan seurantaa varten kerättävä määrällinen materiaali sekä toimenpiteiden aikana kerätty palaute pitäisi analysoida yhteisesti niin hankkeen henkilökunnan kuin ohjausryhmänkin toimesta. Mieluummin vähän arviontitiedon keruuta, mutta hyvin suunniteltua ja analysoitua. 

Kirjallisuutta:

Silfverberg, Paul. Ideasta projektiksi, projektinvetäjän käsikirja. Työministeriö

Kuoppala, Mika. Itsearvioinnin toteutus projektin eri vaiheissa. Julkaisussa:  Mäkinen, Anna-Kaisa ja Uusikylä, Petri. (ei vuosilukua) Tiedosta – arvioi – paranna: itsearviointi  ESR-projektien kehittämisen välineenä 

Virtanen, Petri Arviointi – Arviointityön luonne, tuottaminen ja hyödyntäminen.