Tässä artikkelissa tarkastelen arvioinnin vaikutuksia projektityön tuloksiin ja työprosessin laatuun yhden hankkeen kokemusten kautta. Taustalla on oma kokemus useista luovan alan hankkeista, joissa olen toiminut projektitutkijana, kouluttajana ja ohjausryhmän jäsenenä. Erityisesti kouluttajan rooli on antanut mahdollisuuden tarkastella hankkeita vähän etäältä ja tarkkailla niitä projektitavoitteiden ja arjen käytännön ristipaineessa.
Vyyhti-hanke edustaa luovan alan hanketta ja tavoitteenani on selvittää kuinka erilaiset seuranta- ja arviontitoimenpiteet ovat vaikuttaneet hankkeen toimintaansa. Vastauksia käytetään projektiarviointikäytäntöjen kehittämiseen Metropolian Ammattikorkeakoulussa
Vyyhti-hankkeessa olen toiminut kouluttajana ja koska työhuoneemme sijaitsevat lähekkäin olen päässyt näkemään vyyhtiläisten arkea myös kahvikupin ääressä. Vyyhti-hankkeen henkilökunta on hitsautunut vahvasti yhteen ja heille kehittävä työnote on itsestäänselvyys. Sitä voisi kutsua myös paljon puhutuksia jatkuvan arvioinnin prosessiksi, joka mainitaan kaikessa projektikirjallisuudessa. Koska kyse on hankkeesta, jonka yksi keskeinen tuote on valittu EU-hankkeiden yhdeksi menestystarinaksi Etelä-Suomen alueella, uskallan pysähtyä tarkastelemaan heidän toimintaansa arvioinnin vaikutusten näkökulmasta ( http://etela-suomenesr.fi/fi/hankkeet/menestystarinat/)
Vyyhti hankkeen kolme arvionnin tasoa
Selvittääkseni Vyyhti-hankkeen henkilökunnan ajatuksia arvioinnista tein kyselyn, jossa aiheina olivat palautetiedon kerääminen, dokumentointi ja niiden vaikutukset toiminnan kehittämiseen. Toisena alueena oli hankkeeseen kohdistuva seuranta ja arviointi rahoittajan ja hankkeen hallinnoijan puolelta. Kolmantena osana oli näiden kahden osan kehittäminen eli mitä hanketyöntekijät ovat oppineet oman työn arvioinnista ja kehittämisestä.
Vyyhti hankkeen arviointikäytännöistä erottuu kolme eri tasoa:
Rahoittajan seuranta ja emo-organisaation vuosittainen kyselylomake ja keskustelu koettiin irrallisena arjesta mutta tärkeänä. Ei niinkään toiminnan kehittämisen kannalta, vaan sillä, että joku ulkopuolinen taho näki ja hyväksyi toiminnan. Rahoittajan lopputarkistus oli ollut jännittävä tilaisuus, johon valmistauduttiin huolella. Tulos oli suuri helpotus, aivan kuin ”olisi päässyt läpi lopputentistä”. Rajoittaja edusti myös jotain suurta tuntematonta, jonka vaatimuksilla perusteltiin monia joskus vaikeasti käsitettäviä dokumentaatiovaatimuksia.
Emo-organisaation vuosittainen kyselylomake koettiin osittain raskaaksi ja tuloksena tulleet keskiarvot olivat vaikeasti tulkittavissa. Kyselylomakkeiden pohjalta pidetyt keskustelut olivat hyviä, vaikka niissä ei ollutkaan aikaa pureutua mahdollisiin ongelmiin. Yhtenä konkreettisena viestintätekona perustettiin viikottainen blogi, jonka avulla arkinen aherrus tuli avoimesti esille.
Tärkein kehittämiseen vaikuttanut arviointi oli projektihenkilökunnan jatkuva reflektointi ja itsearviointi. Parannuksia pyrittiin tekemään esimerkiksi koulutuksissa, joissa saman sisältöiset koulutukset toistuivat. Kehittäminen meni suoraan käytäntöön. Toiminnan hyödynsaajien eli Vyyhdin seminaareihin, koulutuksiin ja muihin tilaisuuksiin osallistuneiden palaute otettiin mukaan tähän jatkuvaan oman kehittämistyön parantamisprosessiin. Tukena tälle jatkuvalle itsearvioinnille oli ohjausryhmän puheenjohtajan selkeät vaatimukset raportoida eri kohderyhmien hyödyt projektissa. Ohjausryhmän sitoutuminen vaihteli ja hiipui projektin loppumista kohden. Ohjausryhmällä oli aluksi vähän sama seurantarooli kuin rahoittajalla, mutta mielenkiinto säilyi loppuun asti vain puheenjohtajalla. Monissa projekteissa puheenjohtaja edustaa emo-organisaatiota, mutta tässä ohjausryhmässä ei ollut emo-organisaation jäseniä ollenkaan (pitääkö paikkansa? En löytänyt ryhmän kokoonpanoa).
Kenellä pitäisi olla vastuu hankearvioinnista?
Vyyhtiläiset vastasivat oman hankekokemuksensa perusteella näin:
- Projektipäällikön vastuulla.
- Projektipäällikkö toisi asian ryhmälle. Yhtä tärkeä kuin, että meillä on viikkopalaveri.
- Mahdotonta yrittää kesken kaiken sopia uusia toimintamalleja.
- Olisi ollut hyvä jos joku ulkopuolinen olisi tullut vetämään arviointikeskustelun.
- Esimies mukana hankkeen itsearvionnissa. Voisi olla pohja esimiehen kanssa käytyyn kehityskeskusteluun.
Paul Silfverberg, Paul. Ideasta projektiksi, projektinvetäjän käsikirja. Työministeriö
Anna-Kaisa Mäkisen ja Petri Uusikylän Tiedosta – arvioi – paranna: itsearviointi ESR-projektien kehittämisen välineenä ja Petri Virtasen Arviointi – Arviointityön luonne, tuottaminen ja hyödyntäminen.