Arvioinnin taustaa ja teoriaa

”Yksinkertaisimmillaan arviointi pyrkii tunnistamaan hyviä ja kiinnostavia käytäntöjä, ja niiden
perust e   el la  muovaamaan tulevaisuuden toimintapolitiikkaa ja käytäntöjä. On tärkeää huomata,  
että sekä  omista  epäonnistumisista että suurimmista onnistumisistakin oppiminen voi merkittävällä tavalla auttaa ymmärtämään, mikä toimii ja mikä ei.”
(A Little Book of Evaluation, 2001, s. 7. Suomennos kirjoittajan)

Arviointi on toimintaa, jossa jotakin toimintoa seurataan ja arvotetaan tiettyjen kriteerien avulla. ”Kiinnostavien käytäntöjen” etsiminen ja tunnistaminen kuvaavat lainauksessa sitä, että arvioijan tietämys, arvostukset ja asenteet vaikuttavat arvioinnin taustalla.

Arvioinnin taustalla on runsaasti erilaisia tekijöitä: teoriaa, suuntautumisvaihtoehtoja, eettisiä pelisääntöjä, menetelmiä, tekniikkaa ja niin edelleen. OK:n koulutuksen arviointimateriaalin ensimmäisessä osassa esitellään joitain näistä järjestöjen tarpeet huomioiden.

	Miksi arvioida
Arviointi            eettisenä toimintana		Mitä on laatu
Arvioinnin politiikkaa		Arvioinnin perusteita
Arviointitiedon kerääminen ja käyttö		Arvioinnin ulottuvuuksia
	Koulutusta ja oppimista arvioimassa

Miksi arvioida?

Arviointitoiminta on lisääntynyt viime vuosina monissa järjestöissä. Esimerkiksi hankerahoitus tulee
monesta paikasta ja rahoittajilla voi olla erilaisia vaatimuksia arvioinnin suhteen. Järjestön kannattaa kuitenkin tehdä arviointia myös itselleen ja itseään varten, koska tieto sen jäsenten tarpeista ja toiminnan tuloksista luo pohjaa aidolle kehittämistyölle. Lisäksi järjestö tekee itsensä myös ulkomaailmalle näkyväksi arvioinnin avulla.

On tärkeää myös korostaa arvioinnin demokraattista merkitystä sekä avoimuutta. Monet järjestöt pyrkivät toiminnassaan vaikuttamaan viranomaisiin: jos ne vaativat demokratiaa ja näkyvyyttä ulkomaailman toimijoilta, niiden omankin toiminnan tulee kestää päivänvaloa. Myös jäsenten osallisuus on tärkeää.

Mitä on laatu?

Laatu voidaan yksinkertaistaen määritellä toiminnan kyvyksi vastata odotuksiin ja toiveisiin. Laatu on myös kykyä tietää, mitkä nämä odotukset ovat, ja kykyä oppia toiminnasta sekä käyttää opittua toiminnan kehittämiseen. Laatukriteeri on ennalta asetettu kuvaus tai taso sille, millaisia nämä toiveet ovat.

Kriteerit johdetaan yleensä toiminnan tavoitteista. Tavoitteiden tulee olla realistisia, mutta
myös siinä mielessä haastavia, että niiden toteutuminen ei ole itsestään selvää ilman oikein suunnattua toimintaa. Periaatteessa viisaus siitä, milloin koulutus tukee järjestön toimintaa tarpeeksi hyvin, asuu järjestössä itsessään. Järjestössä toiminnan laatu näkyy sisäisesti esimerkiksi jäsenpysyvyyden ja -viihtyvyyden korkeana tasona tai kampanjatavoitteiden saavuttamisena.

Arvioinnin perusteita

Arviointi on inhimillistä toimintaa, jonka tarkoituksena on määrittää arvioitavan asian laatu. Arvioinnin avulla voidaan osoittaa tilintekovastuullisuus, kehittää organisaation toimintaa tai yksinkertaisesti kerätä ja levittää tietoa. Arvioinnilla tulee olla jokin tarkoitus, sitä ei tule tehdä vain sen itsensä takia. Tarkoituksesta ja kohteesta muotoutuu niin kutsuttu tiedon intressi jonka pohjalta arviointia tehdään

Arvioinnin kohteita on monia. Voidaan esimerkiksi pohtia tavoitteiden mielekkyyttä, toiminnan tuloksia, vaikutuksia ja tehokkuutta. Vaikuttavuus on sen sijaan järjestötoiminnassa usein vaikea käsite, jota on myös äärettömän vaikeaa arvioida.

Arvioinnin ulottuvuuksia

Koska arvioinnille on hyvin erilaisia tarpeita ja käyttötarkoituksia, arviointia on myös montaa eri tyyppiä. esimerkiksi ajallisesti arviointia tehdään ennen toimintaa, sen aikana, sen lopussa tai jälkikäteen. On tärkeää myös pohtia, kuka kulloinkin arviointia tekee. Järjestöissä käytetään hyväksi sekä itsearviointia ja sisäistä arviointia että erityisesti suurten hankkeiden yhteydessä ulkoistakin arviointia. Hankkeiden ja muiden prosessien arviointi yhdistää usein nämä ulottuvuudet.

Arvioinnin kohteiden osallistuminen arviointiprosessiin on noussut koko ajan tärkeämmäksi
kysymykseksi. Monet ulkoiset arvioijat toimivat nykyään ennemmin konsultteina, kuin että he vain saapuisivat paikalle toteamaan jonkin asian arvon. Osallistava näkökulma arviointiin sen eri alalajeineen on myös vallannut alaa.

Koulutusta ja oppimista arvioimassa

Koulutus ja oppiminen ovat monessa järjestössä tärkeitä toimintakyvyn ylläpitäjiä. Niinpä niitäkin tulee arvioida. Arviointi tukee oppimista, sitouttaa oppijan omien tavoitteidensa saavuttamiseen ja auttaa häntä tiedostamaan omat oppimistarpeensa. Kouluttaja taas voi tukea ja ohjata oppijaa paremmin soveltuvan arviointitiedon varassa. Myös koulutussuunnittelua voidaan helpottaa arvioinnin avulla. Järjestö voi koulutuksen arvioinnin kautta tulla tietoiseksi omista voimavaroistaan.

Järjestöissä ollaan vapaaehtoisesti, mikä tulee ottaa vapaaehtoistoimijoiden oppimisen arvioinnissa erityisesti huomioon. Johdonmukaisuus, kannustavuus ja hienovaraisuus ovat järjestökouluttajalle tärkeitä ominaisuuksia. Järjestökoulutus sitouttaa vapaaehtoiset järjestöönsä, jolloin arvioinnin on hyvä tukea tätä tärkeää periaatetta.

Arviointitiedon kerääminen ja käyttö

Arviointia varten kerätään erilaista tietoa, joka keruuvaiheen jälkeen analysoidaan ja raportoidaan. Tietoa tulkitaan jo keruuvaiheesta lähtien, mutta lopullisen tulkintansa tieto saa, kun sen pohjalta ryhdytään toimenpiteisiin. Arvioinnin tarkoituksen tulee olla selvillä jo ennen tiedonkeruuta, koska silloin voidaan määritellä, millaista tietoa oikeasti kulloinkin tarvitaan.

Arvioinnissa käytettävä tieto on joko määrällistä tai laadullista. Määrällistä tietoa saadaan esim. kyselyiden ja seurannan avulla, kun taas laadullisen tiedon keräämisessä ovat mm. haastattelut omiaan. Aineiston analyysiin tarvitaan jonkin verran metodista osaamista. Yleensä suositellaan, että arviointiraportti ei nojaisi vain yhden tyyppiseen tietoon, vaan että esimerkiksi määrällinen ja laadullinen tieto tukisivat toisiaan.

Järjestötoiminnan arvioinnille on oltava aito tarve ja se tulosten tulee johtaa toimenpiteisiin. Lisäksi raportoinnissa tulee kiinnittää huomiota sen yleisöön ja sovittaa esitys sen mukaan. Arviointitietoa tulee osata hyödyntää kaikenkokoisissa järjestöissä, kussakin toiminnan laajuuden mukaan.

Arvioinnin politiikkaa

Arviointi on arvoihin ja arvostuksiin sidottua toimintaa. Se, miten ja kenen ehdoilla arviointia toteutetaan, on luonteeltaan hyvinkin poliittista. Politiikalla ei tässä yhteydessä tarkoiteta pelkästään puoluepolitiikkaa, vaan myös järjestön sisällä toimii oma poliittinen maailmansa. Se rakentuu toiminnan periaatteista ja käytännöistä (eli toimintapolitiikasta), valtasuhteista jne.

Kun järjestössä toteutetaan arviointia, on tärkeää pitää huoli siitä, ettei arvioinnista tule vallankäytön välinettä. Tässä auttaa avoimuus: kun arvioinnin periaatteet on selvitetty osallisille, prosessit ovat läpinäkyviä ja mahdollisimman monen ääni kuuluu siinä jollain tasolla. Joskus järjestön tulee myös miettiä ulkopuolisen arvioijan käyttämistä, jos sillä on esimerkiksi
valtasuhteiden takia joitain ”sokeita pisteitä”, joita se ei itse kykene arvioimaan.

Laajemman Järjestöarvioinnin ilmansuuntia -arvioinnin taustaa ja teoriaa -aineiston voit ladata tästä pdf-muodossa.