Kuten monilla muillakin palveluntuottajilla, myös Avosylin Oy:n palveluntuottajilla Perhehoitokumppanit Suomessa Oy:lla ja Neljä Astetta Oy:lla vaikuttavuuden mittaamisen paine on saanut aikaan monitahoista pohdintaa. Lisäksi resursseja on suunnattu relevanttien ja validien mittaamisen tapojen aktiivista hakemiseen ja kehittämiseen.
Olemme omaksuneet tietoa, käytäntöjä ja kokemuksia. Olemme käyneet koulutuksissa ja työryhmissä sekä arvioineet erilaisten toimintakykymittareiden ja elämänlaatumittareiden soveltuvuutta toimialallemme. Mikään tarjolla ollut ei ole kuitenkaan riittävästi tavoittanut mittaamiselle ja vaikuttavuuden osoittamiselle asettamiamme kriteereitä ja mikä tärkeintä, tavoittanut sitä, mikä on juuri meidän kaltaisessa palvelussa olevien asiakkaiden kuntoutumisen ja edistymisen kannalta oleellista.
Ensimmäinen Avosylin Oy:n sisäinen esitys palveluidemme vaikuttavuuden arvioinnin kriteereistä on vuodelta 2018. Tässä esityksessä tuli kiteytetyksi ne johtotähdet, joita kohti olemme viime vuosina pyrkineet mittaamisen tapoja kehittäessämme.
Tavoitteita kohti
Olemme hahmottaneet, että pystyäksemme saavuttamaan jotain sellaista kuin palveluidemme vaikuttavuuden arviointi, meidän tulee pyrkiä alla mainittuja asioita kohti:
ASIAKASKOHTAISEN TIEDON KERÄÄMINEN
Palvelu- ja palveluntuottajakohtainen vaikuttavuuden osoittaminen perustuu sille, että mittaustulokset on kerrytetty asiakas/asiakasprosessikohtaisista mittaamisista, joko kaikkien palvelussa olleiden asiakkaiden osalta tai satunnaisen tilastollisesti edustavan asiakasotoksen osalta. Toisin sanoen: meidän tulee pystyä mittaamaan mitä asiakasprosesseissamme tapahtuu ja sitä, onnistummeko asiakaskohtaisessa muutostyössämme.
ALKU-LOPPU-> MUUTOS
Saadaksemme esille palvelumme aikaan saaman muutoksen asiakkaan tilanteessa, meidän on tehtävä alkumittaus palvelun alkaessa tai parhaassa tapauksessa välittömästi ennen palvelun alkua sekä loppumittaus. Muutos eri arviointipisteiden (alku ja loppumittauksen sekä mahdollisten väliarviointien) välillä kertoo saavutetuista vaikutuksista asiakkaan elämässä.
TAVOITTEET JA KEINOT
Jotta pystyisimme havaitsemaan, arvioimaan ja näyttämään mahdollisimman hyvin sitä, että muutos johtuu työskentelystämme (eikä esimerkiksi muista muutoksista asiakkaan elämäntilanteessa), on alkumittauspisteessä nimettävä asiakaskohtaisen työskentelymme tavoitteet ja niihin pääsemisen keinot. Mittaus keskitetään asiakaskohtaisten tavoitteiden saavuttamiseen, joita kohti aktiivisesti pyrimme työskentelymme keinoin.
RELEVANTTIUS
Mitattavien asioiden on oltava relevantteja asiakkaalle. Tämän vuoksi emme voi ennalta määritellä joukkoa mahdollisia tavoitteita, joita systemaattisesti seuraisimme ja mittaisimme jokaisen palvelumme piirissä olevan asiakkaan osalta. Koska asiakastyön tavoitteet ovat yksilöllisiä, on aiheellista kysyä, mikä on oleellista lapsen/nuoren/perheen kohdalla juuri tällä asiakastyön periodilla ja mitä kohti pyrimme? Tämän myötä asetamme asiakaskohtaisesti seurattavat, arvioitavat ja mitattavat tavoitteet. Mahdolliset isot ylätavoitteet on jäsenneltävä tarpeeksi pieniksi ja konkreettisiksi alatavoitteiksi, jotka ovat helpommin nähtävissä ja arvioitavissa arjen työskentelyn tasolla.
HAVAINNOT
Arviointitilanteessa on pyrittävä nostamaan muutoksista esille havaintoja – ei mielipiteitä! On tuotava esille faktoja ja havaintoja, jotka kertovat asiakkaan tilanteesta (alkutilanteesta, lopputilanteesta tai väliarviosta) ja niiden välisestä muutoksesta.
YHTEINEN ARVIOINTI
Kohti objektiivisuutta päästään, kun vältetään arviointien subjektiivisuutta. Arvioinnit ovat sitä luotettavampia, mitä monitahoisempia ne ovat. Arviointiin on osallistettava asiakasta, asiakkaan asiakastyöstä vastaavia ammattilaisia sekä palvelun järjestämisvastuussa olevia, palvelun tilanneita ammattilaisia. On myös tilanteita, joissa palvelusta ja tavoitteista riippuen mahdollisia muitakin verkostoon kuuluvia on mielekästä ja mahdollista osallistaa arviointiin, kuten esim. lapsi/nuori, sijaisvanhempi, biologinen vanhempi, terapeutti, opettaja, taho joka kyseisen asian arvioinnin kannalta on oleellinen, jne.
Sujuvaksi osaksi käytäntöjä
Olemme vahvasti kokeneet, että vaikuttavuuden arviointi ei voi olla muusta muutostyöskentelystämme irrallinen saareke, vaan sen täytyy olla järkevä osa peruspalveluamme. Koemme tiedon käsittelyn kannalta haasteelliseksi mahdollisuuden, että monitahoarviointi tapahtuisi asiakkaan verkostoissa toimivien lähettämillä arviointilomakkeilla, joiden sisältö pitäisi lopulta pystyä joko perustyössämme tai hallinnossa tallentamaan yhtenäiseksi tietokannaksi. Kokemuksemme mukaan verkostojen ammattilaisilla on myös niukasti aikaa ja mahdollisuuksia erilaisten palautteiden kirjalliseen antamiseen, joten mahdollisimman kattavan ja monitahoisen arvioinnin toteuttaminen tällaisella toimintamallilla sisältäisi paljon epäluotettavuutta.
Edellisistä johtuen pyrimme vaikuttavuuden arvioinnin mallissamme alusta alkaen siihen, että asiakaskohtaisen vaikuttavuuden mittaristo ts. seurantajärjestelmä, tulee tehdä osaksi asiakastietojärjestelmäämme, minne muutenkin dokumentoimme asiakastietomme. Lisäksi koemme vahvasti, mm. asiakkaan osallistamisen ja työskentelymme läpinäkyvyyden vuoksi, että seurannan tulee olla oleellinen osa asiakkaan kanssa työskentelyä.
Edellisten seikkojen johdosta, olemme pyrkineet luomaan vaikuttavuuden arvioinnin malleja, joissa seuraamme aktiivisesti asiakastyömme tavoitteiden saavuttamista (edellä mainitut periaatteet mahdollisimman pitkälle huomioiden) ja pyrimme järjestämään arviointipisteet monitahoisiksi.
Sisäisissä vaikuttavuuden arvioinnin ohjeissamme neuvomme työntekijöitämme nivomaan yhteisen arvioinnin pisteen asiakasneuvottelutilanteisiin, joissa on läsnä asiakastyön tavoitteiden kannalta oleellisimmat ammattilaiset ja ihmiset, joiden arviointi on relevanttia ja tärkeää saada. Monitahoisen arvioinnin on mahdollista toteutua luontevalla ja läpinäkyvällä tavalla osana asiakastyötä näissä tilanteissa.
Koska asiakasneuvottelut ovat palvelun tilanneen tahon järjestämiä ja puheenjohdolla tapahtuvia, voi asiakasprosessistamme vastaavalla työntekijällä kuitenkin olla rajalliset mahdollisuudet toivoa neuvottelutilanteesta löytyvän tilaa ja aikaa yhteiselle asiakastyön tavoitteiden arvioinnille. Kannustaisimme kuitenkin palveluitamme tilaavia tahoja luomaan kanssamme tällaista yhteistä käytäntöä, joka on kaikkien osapuolten kannalta mielekästä, läpinäkyvää ja arvioinnin objektiivisuutta sekä moninäkökulmaisuutta tavoittavaa. Loppujen lopuksi on kaikkien yhteisessä intressissä saada mahdollisimman luotettavasti esille ja näkyville se, onko palvelumme saanut asiakasprosesseissa ja asiakkaiden elämässä aikaan myönteisiä ja tavoiteltuja muutoksia. Tämä lopulta on kaiken asiakastyön yksiselitteinen päämäärä.
Ideaalimallin tavoittelun haasteista
Olemme pystyneet luomaan Perhehoitokumppaneille arviointimallin, joka tavoittaa mahdollisimman pitkälle edellä mainittuja vaikuttavuuden arvioinnin kriteereitä. Meillä on ollut samankaltainen malli myös Neljä Astetta palveluille, mutta jouduimme vuoden 2020 alussa toteamaan, että se ei toiminut käytännön tasolla tavoittelemallamme tavalla. Olemme vuonna 2021 päivittämässä mallia toimivammaksi ja paremmin asiakastyöhömme nivoutuvaksi.
Olemme kehitystyömme aikana joutuneet toteamaan, että emme ole ainoa toimijataho, joka on hakenut aktiivisesti yritysten ja välillä erehdystenkin kautta parasta mahdollista vaikuttavuuden arvioinnin tapaa omalle palvelulleen. Merkittävä näyttö vaikuttavuuden arvioinnin haasteellisuudesta tulee jo siitä, että valtakunnallisesti ei ole kyetty yrityksistä ja tahotilasta huolimatta kehittämään relevantteja ja toimivia muutostyön ydintä tavoittavia mittaamisen tapoja sosiaalipalveluihin ja lastensuojeluun. Nostamme hattua kaikille toimijatahoille, jotka kukin tahoillaan on painiskellut näiden samojen haasteiden kanssa ja laittaneet aikaansa ja energiaansa ongelman ratkaisuun.
Kehitysprosessimme myötä olemme oppineet myös sen, että relevanttien ja optimaalisten mittaamisten tapojen uupuessa hyvä kakkosvaihtoehto on kerätä monitahoista tietoa palveluiden onnistuneisuudesta. Kohti luotettavuutta on mahdollista päästä, mikäli useat erilaiset mittaamisen ja arvioinnin tavat tuottavat eheää samansuuntaista tietoa palvelusta. Perhehoitokumppaneiden ja Neljä Asteen palveluissa olemme päätyneet keräämään tästä nimenomaisesta syystä monitahoista tietoa. Olemme pystyneet vakuuttumaan palveluidemme onnistuneisuudesta useiden erilaisten mittareiden antaessa samansuuntaista tietoa.
Asiakaskokemus ponnahduslautana myönteisille vaikutuksille
Olemme kehitysprosessimme aikana käyneet lukuisia sisäisiä keskusteluita siitä, voimmeko todeta palveluidemme olevan vaikuttavia, mikäli asiakaskokemus on myönteinen. Koska suuri osa palveluprosesseistamme tapahtuu lähtötilanteissa, joissa on ristiriitaisia näkemyksiä palveluiden ja muutoksen tarpeesta ja osa asiakkaista voi kokea joutuneensa pakotetusti tai puolipakotetusti palveluidemme piiriin, on pelkkä asiakaskokemus huono mittari kertomaan jotain palvelun onnistumisesta. Lähtökohtaisesti ristiriitaisissa tilanteissa, kuten esimerkiksi kodin ulkopuolisessa sijoituksessa, sijoitus pois kotoa voi olla lapselle onnistuminen ja vanhemmalle epäonnistuminen.
Asiakaskokemus ei muutenkaan tavoita niitä kriteereitä, joita vaikuttavuuden arvioinnille minimissään on laitettava. Tokikaan sosiaalipalvelutuotannon piirissä ei ole mahdollista eikä mielekästä tehdä akateemisen tutkimuksen kriteerit täyttävää palveluiden ja asiakastyön vaikuttavuuden arviointia. Jotta pystyisimme vilpittömästi kertomaan tekevämme vaikuttavuuden arviointia palveluissamme, tulee meillä olla selkeä näkemys siitä, mitkä suuntaa antavasti ovat vaikuttavuuden osoittamisen kriteereitä ja miten ne parhaimmalla mahdollisella tavalla on palveluissamme tavoitettavissa.
On näyttöä siitä, että palvelun vaikuttavuus ja myönteisten muutosten saavuttaminen asiakkaan elämässä edellyttää, että asiakkaan kokemus palvelusta on ollut myönteinen. Tämä on peruste, jonka vuoksi tuomme vaikuttavuusraportissamme esille lukuisten asiakaskokemusta mittaavien kyselyjemme tulokset. Kyselyjen tulosten perusteella asiakastyytyväisyys palveluihimme on johdonmukaisesti hyvää tai kiitettävää. Nämä tulokset omalta osaltaan selittävät sitä, miksi ja miten olemme pystyneet palveluillamme saamaan aikaan tavoiteltuja ja vaikuttavia muutoksia asiakkaidemme elämässä.
Harriet Rabb
Sosiaalipalvelujen laatupäällikkö
Avosylin Oy