maanantai 25. toukokuuta 2020

Apotin kaksi virhettä: Vastine saamiini palautteesiin

Apotin kehityksessä oli ollut mukana käyttäjiä, käytettävyysammattilaisia, oli määritetty käytettävyysvaatimuksia sekä oli tehty käytettävyysvertailuja ja -arviointeja. Apotin - kuten minkään muunkaan järjestelmän - käytettävyyden onnistumisen arviointiin tämän tasoiset tiedot eivät kuitenkaan riitä. Onnistumisen arviointiin tarvitaan tarkempaa tietoa käytetyistä käytettävyysmittareista, tavoitetasoista, ja siitä, miten nämä oli johdettu. Rakenteinen kirjaaminen on toimiva lähtökohta. 

Sain aika paljon palautetta edellisestä Apotti-kirjoituksestani. Erityisesti sain kommentteja LinkedInissä. Sain myös suoraa palautetta Apotilta.

Edellinen kirjoitukseni perustui niihin tietoihin, joita Helsingin sanomien artikkelissa kerrottiin. Nyt sain enemmän tietoa siitä, mitä Apotissa tehtiin käytettävyyden eteen: mukana oli ollut käyttäjiä, käytettävyysammattilaisia, oli määritetty käytettävyysvaatimuksia, oli tehty käytettävyysvertailuja ja -arviointeja.

Tällaiset toimenpiteet ovat tärkeitä, mutta itsessään "eivät takaa mitään". On lukuisia esimerkkejä, että kehitystyössä on tehty käytettävyystoimenpiteitä - jopa massivisesti - ja silti lopputulos epäonnistui käytettävyydeltään. Yksi aiempi esimerkki on HSL:n matkakortinlukija, josta tein moniosaisen analyysin.

Aukaisen seuraavassa tarkemmin näitä kohtia (saamani palautteet kirjoitettu kursiivilla).

1. Rakenteisuus
Aloitetaan positiivisella asialla: 

”Suurin muutos on ollut siirtyminen rakenteiseen kirjaamiseen sekä toimintaa ohjaavaan järjestelmään. Niin oudolta kuin saattaa kuulostaakin, tähän saakka kaikki potilastietojärjestelmät ovat itse käyttäjän tekstin osalta olleet muistikirjoja, ja nyt rakenteisuutta lisäämällä päästään tilanteeseen, jossa koko potilasdata voi olla käytettävissä hoidon laadun seurantaan ja parantamiseen".

Rakenteisuus kuulostaan erinomaisen hyvältä!

Olen kuullut negatiivista palautetta joistakin aiemmista rakenteisista järjestelmistä. Itse olen ollut sitä mieltä, että kyse ei ole ollut siitä, että itse rakententeisuus olisi ollut ongelma, vaan siitä, että se oli toteutettu huonosti (”epäkäytettävästi”).

Jos Apotti on onnistunut rakentamaan käytettävyydeltään hyvän rakenteisuuden, niin hienoa! 

2. "Käytettävyydeltään paras"
”Käytettävyydeltään epic oli selkeästi paras tarjolla olleista”.

Jotta voidaan arvioida sen väitteen paikkaansa pitävyyttä, että epic oli ”käytettävyydeltään paras”, niin pitäisi tietää
  1. mitkä olivat käytetyt käytettävyysmittarit 
  2. miten nämä mittarit olivat määritetyt 
Mittarien pitää siis olla validit (mitataan oikeita asioita) ja riittävän kattavat (että mittauksissa ei jää huomioimatta oleellisia osa-alueita järjestelmästä). 

Ydinkysymys on: mitä olivat mittarit, ja miten ne oli johdettu?

3. Arvioinnin tekijät 

"Arvioinnin tekijät olivat käyttäjät ja ennen kaikkea käytettävyyden arvioinnin ammattilaiset”. 

Tässä ei sanota, miten käytettävyyttä arvioitiin. Voi kuitenkin todeta, että yleensä ottaen ei ole validi tapa, että käyttäjät arvioivat käytettävyyttä. 

Se on toki validia, että käyttäjät antavat palautetta omasta käyttökokemuksestaan. Mutta palautteen antaminen käyttäjäkokemuksesta on (ihan) eri asia kuin käytettävyyden arviointi.

Olen nähnyt paljon tapauksia, jossa käytettävyyden arvioinnista on käytetty epävalideja mittareita. Esimerkiksi arvioijat ovat  pisteyttäneet käytettävyyttä järjestelmän läpikäyntien tai demojen pohjalta. Näin ei pitäisi tehdä.

Myöskään se ei takaa mitään, että mukana oli käytettävyyden ammattilaisia. On esimerkiksi enemmän kuin tavallista, että käytettävyysammattilaisten näkemyksiä jätetään huomioimatta. Hyvänä esimerkkinä Nokia: epäonnistui käytettävyydessä vaikka yrityksessä oli mitä pätevimpiä ammattilaisia.

Myöskin käytettävyysammattilaisten tuotosten laadussa on vaihtelua. Tätä on tutkittu ns. CUE-tutkimuksissa, joista kirjoitin täällä.  

4. Käytettävyysvaatimukset

”Käytettävyydelle oli vaatimukset, ja ne jotka eivät läpäisseet, eivät päässeet kilpailutuksessa jatkoon".

Jotta käytettävyysvaatimusten validiteettia voisi arvioida, tässä pitäisi tietää, mitä nämä vaatimukset konkreettisesti olivat. Tarkemmin, pitäisi tietää:
  • Käytetytyt mittarit, ja miten ne on johdettu (kuten kohdassa 2) 
  • Ja sen lisäksi pitäisi tietää tavoitetasot, ts. mitkä olivat hyväksymisrajat kullekin mittarille, ja edelleen pitäisi tietää, millä tavalla tavoitetasot oli johdettu.
Omasta kokemuksestani voin todeta, että validien käytettävyysvaatimusten määrittäminen on erityisen haastavaa. Ei siis riitä, että määrittää mittarit ja tavoitetasot. Lisäksi nämä kumpikin pitäisi olla myös johdettu uskottavalla tavalla liiketoiminnan tavoitteista.

Ydinkysymys jatkuu: Mitä olivat mittarit, tavoitetasot ja niiden perusteet?

5. Parhaan valikoituminen
"Valikoitui se, joka oli käytettävyydeltään paras".

Kaksi näkökulmaa tähän: 
  • Ei voida tietää valikoituiko käytettävyydeltään paras, ellei tiedä mittareita ja niiden validitettia (ks. edelliset kohdat)
  • Jos käytettävyys on pisteytettävä kriteeri julkisessa hankinnassa, niin käytettävyydeltään paras ei välttämättä ollenkaan tule valituksi (vaan valituksi tulee se, joka saa korkeimmat yhteispisteet kaikista pisteytettävistä kriteereistä) 
Jos Apotti-kilpailutuksen tosiaan voitti käytettävyydeltään paras, niin voi sanoa, että kilpailutuksessa oli "onnea" käytettävyyden suhteen. Kun periaatteessa olisi voinut käydä niin, että käytettävyydeltään huonoin olisi voittanut. 

6. Järjestelmän rakentamisesta
"Itse järjestelmän rakennuksessa käyttäjät rakensivat lääke- ja hoitotieteellisen sisällön". 

Tämäkin on sanottu sen verran yleisellä tasolla, että vaikea ottaa suoraan kantaa. Mutta yleisesti ottaen, käyttäjien ei pitäisi rakentaa mitään. Maailma on täynnä esimerkkejä, miten tämä tietää epäonnistumista. 

Sen sijaan kehittäjien pitäisi rakentaa, ja sen perustaksi kehittäjien tulisi hankkia riittävän syvä osaaminen käyttäjien maailmasta. Kuten totean edellisessä kirjoituksessani, sellaisen ymmärryksen hankkiminen ei ole ollenkaan kohtuuton tehtävä. (Itse olen kirjoittanut aiheesta enemmän Kohdemaailma-analyysi -kirjassa).

Kyse ei ole vain suunnittelun laadusta, vaan myös etiikasta. Jos käyttäjät rakentavat jotain, silloin he luonnollisesti myös ovat vastuussa suunnitteluratkaisuista. Jos suunnitteluratkaisu ei toimi, niin syyttävä sormi osoittaa luonnollisesti noita käyttäjiä. Ja järjestelmäkehityksessä ei koskaan pitäisi vastuuttaa käyttäjiä. 

Miten käyttäjät ottaa mukaan tietojärjestelmäkehitykseen, ja miten ei, olen kirjoittanut eduskunnan tulevaisuusvalikunnan julkaisussa Silmät auki IT-etiikkaan

1 kommentti:

  1. Olen huomannut etta mita kauemmin tyoskentelen kaytettavyyden alalla, sita enemman olen samaa mielta Timon kanssa. Timo on puhunut pitkaan roolituksesta: kayttajilla on oma roolinsa prosessissa ja se on olla oman elamansa ja tyonsa asiantuntija. Jos kayttajilta odotetaan paatosentekoa ja vastuuta, mennaan ihan metsaan - eika se edes ole kayttajalahtoista suunnittelua.

    VastaaPoista