Vaikuttavuus on tärkeää - mutta miten se pitäisi ottaa huomioon julkisissa hankinnoissa?

Tietojärjestelmän vaikuttavuuden mittareiden ja tavoitteiden määrittäminen on tärkeää. Niitä ei kuitenkaan pitäisi sisällyttää sellaisinaan tarjouspyyntöön vaatimuksiksi, koska vaikuttavuuden todentaminen on mahdollista vasta käytön aikana, ehkä paljonkin kehitystyön päättymisen jälkeen. Sen sijaan haluttu vaikuttavuus olisi määritettävä tarjouspyyntöön sellaisilla alemman tason vaatimuksilla, (1) joiden saavuttaminen voidaan todentaa heti kehitystyön päättyessä ja (2) joiden saavuttaminen tarkoittaa riittävän luotettavasti, että saavutetaan myös haluttu vaikuttavuus. 

Olin mukana 13.10.2022 Hankinta-yhdistyksen aamukahveilla, jonka aiheena oli Kustannusvaikuttavuuden laskenta osana hankintaprosessia. 

Aihe on sikäli kiinnostava, että itse olen korostanut käytettävyyden vaikuttavuuden määrittämisen tärkeyttä (esimerkiksi tässä Sytyke-lehden artikkelissa). Tarkoittaa sitä, että ensin pitäisi määrittää haluttu käytettävyyden vaikuttavuus, ja vasta sen jälkeen käytettävyysvaatimukset.  

Aamukahvien esimerkki: toimittajan palkitseminen vaikuttavuuden saavuttamiseksi

Aamukahvien keskustelussa kerrottiin esimerkki julkisen hallinnon tietojärjestelmähankinnasta, jossa vaikuttavuus oli otettu huomioon näin:

• Toimittajaa palkittiin sen mukaan, kuinka paljon palvelu houkuttelisi käyttäjiä. Siis mitä enemmän käyttäjiä palvelulla, sitä enemmän palkitaan toimittajaa. Muistaakseni tavoite oli 60.000 käyttäjää. 
• Tässä ei siis suoraan vaikuttavuutta mitattu rahassa, mutta vaikuttavuudesta kyse on joka tapauksessa.

Oletan, että tämä palkitsemismalli oli osana tarjouspyyntöä; tosin tästä ei ollut puhetta tilaisuudessa.

Toimittajan palkitseminen vaikuttavuusmittarilla - miksi voi olla ongelma?

Edellä mainitussa lähestymistavassa on yksi periaatteellinen ongelma. Vaikuttavuuden käyttäminen tavoitteena tai palkitsemisperusteena (tarjouspyynnössä) on ongelma sitä kautta, että vaikuttavuuden saavuttamista ei voi todentaa kehitystyön päättyessä: 

• Vaikuttavuushan tulee esiin vasta ajan myötä, kuten edellä mainitussa esimerkissä käyttäjien lukumäärä. 
• Käytännössä tarkoittaa sitä, että haluttu vaikuttavuuden saavuttaminen jää arvoitukseksi siinä vaiheessa, kun kehitystyö on päättynyt. 

Jos käy niin, että esimerkin järjestelmä ei houkuttele käyttäjiä, niin tilaajalta säästyy toimittajan bonusrahat. Mutta mitä tilaaja tekee järjestelmällä, jota käyttäjät eivät käytä?

Jos ottaa konkreettisemman esimerkin, niin moni varmaan muistaa muutaman vuoden takaisen yrityksen käyttää äänestyskonetta kunnallisvaaleissa. Sehän päättyi epäonnistumiseen, kun jotkut äänestäjät jättivät epähuomiossa äänestysprosessin kesken (kyseessä siis selkeä käytettävyysongelma...).

Kuvitellaan, että yllämainittua vaikuttavuusajattelua olisi käytetty äänestyskoneen kehittämisessä. Siis että looginen toimittajan palkitsemisen mittari olisi se, että vaalit onnistuvat äänestyskoneella. Mutta silloin ollaan jo auttamattomasti myöhässä, koska äänestyskoneen *pitää* toimia vaaleissa. Ei oikein voi ajatella niin, että toimittajan palkitsemismekanismi on se, että vaalit onnistuvat äänestyskoneella, ja samalla ottaa riski, että vaalit eivät onnistukaan. (On muuten esimerkki vaikuttavuudesta, jonka mittaaminen rahassa on vaikeaa). 

Miten sitten ottaa vaikuttavuus huomioon hankinnoissa?

Tavoitteellista pitäisi olla, että haluttu vaikuttavuus voitaisiin mitata - riittävän luotettavasti - heti kehitystyön päättyessä. 

Miten tämä voidaan tehdä? 

Ihan niin kuin yllä, aluksi hankkijan pitää määrittää vaikuttavuusmittarit- ja tavoitteet. Määritetään esimerkiksi, kuinka paljon käyttäjiä halutaan kehitettävälle järjestelmälle. Tai että äänestyskoneen on oltava sellainen, että vaalit onnistuvat. 

Sitten perusratkaisu vaatimusten määrittämiselle tarjouspyyntöön on, että määritetään sellaiset alemman tason vaatimukset, että

1. vaatimusten saavuttaminen voidaan todentaa kehitystyön päättyessä
2. vaatimusten saavuttaminen tarkoittaa riittävän luotettavasti sitä, että myös haluttu vaikuttavuus saavutetaan

Kummatkin edellämainitut esimerkit (tietojärjestelmä, äänestyskone) ovat sellaisia, joissa haluttu vaikuttavuus (paljon käyttäjiä, onnistuneet vaalit) riippuu suoraan järjestelmän käytettävyydestä. 

Alemman tason vaatimuksia olisivat silloin käytettävyysvaatimukset. Käytettävyysvaatimukset (valituilla käytettävyysmittareilla) pitää siis määrittää sellaisiksi, että niiden saavuttaminen tarkoittaa riittävän luotettavasti sitä, että kehitetyllä järjestelmällä saavutetaan haluttu vaikuttavuus järjestelmän käytön aikana. Käytännössä käytettävyysvaatimuksilla tarkoitetaan käyttäjien suoriutumiseen perustuvia vaatimuksia, niin kuin olen useassa kirjoituksessa todennut (esimerkiksi tässä). 

Hankkijan on tehtävä sisäisesti käytettävyysvaatimusten analyysi- ja määrittämistyö ennen hankintaa. Tarjouspyyntöön määritettäisiin sitten käytettävyysvaatimukset (eikä vaikuttavuusmittarit). Kyseiset käytettävyysvaatimukset olisivat sitten osa järjestelmän hyväksymiskriteereitä kehitystyön päättyessä. Ja jos käytettävyysvaatimukset on määritetty oikein, niin järjestelmällä pitäisi tulla saavuttamaan myös haluttu vaikuttavuus.