keskiviikko 18. toukokuuta 2011

Käytettävyysasiantuntijan pisteytys

Eräässä tarjouspyynnössä pisteytetään käytettävyysasiantuntijan ominaisuuksia alla olevan mukaan:


Tässä kriteereinä ovat siis koulutustausta, projektikokemus ja toimialatuntemus. Tällaiset kriteerit ovat helppo pisteyttää (kuinka monessa projektissa ollut mukana) - eli ne on todennettavia. 

Mutta missä määrin tällainen pisteytys on validi; toisin sanoen miten nämä kriteerit oikeasti mittaavat käytettävyysasiantuntijan osaamista? 
  • Se, että on ylempi korkeakoulututkinto, ei tarkoita, että olisi käytettävyysosaamista. Toki korkeampi koulutustaso luultavasti tukee analyyttistä jäsennyskykyä, mikä on ensiarvoisen tärkeää käytettävyystyössä
  • Työkokemus (tyyliin kuinka monessa projektissa toiminut käytettävyysasiantuntijana/ ollut mukana): Luonnollisesti antaa kuvan siitä, miten paljon on asian kanssa ollut tekemisissä, ja sitä kautta relevantti näkökulma. Mutta ongelma on, että ei kerro mitään tekemisen laadusta. Voi olla, että ongelmalliset tottumukset ovat vain kumuloituneet.  
  • Toimialatuntemus: Tämä tietenkin antaa valmiuksia ymmärtämään toimialaa. Mutta toimialan oppiminen (mitä se tarkoittaa käyttäjien näkökulmasta) ei itse asiassa ole välttämättä iso ponnistus. Oma kokemukseni on, että ulkopuolelta uuteen toimialaan tulleena voi joskus tosi nopeastikin  auttaa käyttäjiä jäsentämään heidän omaa työtään. 

Käytettävyysasiantuntijan osaamisen arviointi validisti ei tosiaankaan ole yksinkertaista: 
  • Yksi syy on se, että alalla ei ole mitään yleisesti sovittuja osaamis- tai pätevyysvaatimuksia. Eri opinahjojen koulutukset eivät ole yhteismitallisia. Jopa samaa aihealueen kurssit voivat opettaa asioita eri tavalla. (Itsekin olen joutunut opettamaan käytettävyystestauksen ihan perusasioita periaatteessa alan koulutuksen saaneille henkilöille). 
  • Toinen syy on se, että käytettävyystyö on hirveän pitkälle älytyötä. Se ei ole mekaanista, vaan perustuloksetkin vaativat analyyttista otetta ja pohdintaa. Sen vuoksi kokemuskaan ei ole välttämättä hyvä indikaattori. (ks. Ralf Molichin tutkimukset: http://kaytettavyysnavigoija.blogspot.com/2011/04/mika-mahtaa-olla-kaytettavyystestien.html)
Ehdotus: Itselläni tulee ratkaisuksi mieleen aito koetilaisuus, jossa osaamista testataan jopa tenttimäisesti ja jäsennyskykyä analyyttisillä tehtävillä tai suunnittelutehtävillä. (toki kokemus ym. voivat olla mukana osakriteereinä). 

Tällaisia en ole missään nähnyt. Eikä itsellänikään ole tällaisesta kokemusta hankintakontekstissa, eikä sitä kautta empiriaa idean toimivuudesta. Voi onko tällainen edes periaattessakaan (esim. lain puitteissa) mahdollista?

Olisiko joitakin ajatuksia tähän liittyen? 

8 kommenttia:

  1. Blogin hallinnoija on poistanut tämän kommentin.

    VastaaPoista
  2. Käytettävyysasiantuntijan kokemuksen käyttämisessä projektin tuotoksen käytettävyyden kriteerinä on samoja ongelmia kuin projektiorganisaation prosessien osalta. Kumpikaan ei takaa suoraan tuotoksen käytettävyyttä.

    Toisaalta käytettävyysasiantuntija ei yksin vaikuta käytettävyyteen, ei edes siinä tapauksessa, että omaisi erinomaisen ammattiosaamisen ja pitkän kokemuksen. Projektin tuotos on aina yhteistyön tulos. Ja yhteistyöhön osallistuu myös työntilaaja - muodossa tai toisessa, enemmän tai vähemmän.

    Koe- tai tenttitilanteen järjestäminen puolestaan vaikuttaa liioitellulta tarjouksia arvioitaessa. Se on työlästä, kallista ja kuka sitten on pätevä suunnittelemaan koetehtävät tai arvioimaan tulokset?

    Käytettävyys on pitkälti kontekstisidonnaista. Siihen vaikuttaa keskeisesti käyttäjäkunnan omainsuudet, heidän (työ)tehtäviensä luonne, tehtävien suorittamisen ympäristö ym. seikat. Käytettävyyden varmistamiseki ne olisi tunnetta mahdollisimman hyvin. Valitettavasti vain näitä seikkoja ei tyypillisesti tarjouspyynnöissä kuvata. Tarjouspyynnöt eivät myöskään välttämättä sisällä työtä, jossa toimittaja (heidän käytettävyysasiantuntijansa) selvittäisi nämä seikat. Toimittajan oletetaan pystyvän tuottamaan käyttettävän ratkaisun yleisluontoisia toivomuslistoja sisältävän tarjouspyynnön pohjalta. Niinpä käytettävyys voikin jäädä sattuman kaupaksi siitäkin huolimatta, että toimittajalla on asiantuntevat tekijät projektissaan.

    VastaaPoista
  3. Koetilaisuus-ajatuksessa kulminoituu se, miten käytettävyysasiat (kuten mikä tahansa) pitää mitoittaa projektien prioriteetteihin ja mielellään hallita suhteellisen konsistenteilla tavoilla.

    Jos käytettävyysasiantuntijat testattaisiin, eikö niin pitäisi tehdä konseptisuunnittelijoille, arkkitehdeille, koodaajille, projektipäälliköille ja toimittajan toimitusjohtajalle (jolla voi olla suurin vaikutus järjestelmän onnistumiseen). Siinä on heti muutaman kuukauden ja henkilötyökuukauden lisätyö.

    Mutta tilaajalla ei ole mitään valmiuksia sellaiseen testaamiseen, joten tarvittaisiin leegio konsultteja. Ja mitenkäs niiden hyvyys todistetaan...

    Eli tarvitaan muita osoituksia kyvykkyydestä, ja kyllä niiden pitäisi olla mieluummin organisatorisia kyvykkyyksiä (minä uskon edelleen naivisti organisaatioiden mahdollisuuksiin) kuin henkilökohtaisia.

    Mutta ei tämä ole iso ongelma -- hassuja poikkeuksia säännöistä ei kannata ottaa liian vakavasti.

    (Onneksi kukaan ei ole ehdottanut käytettävyyspuolelle osaamisen todistamiseksi sellaisia kolmen päivän pränttäämiseen perustuvia sertifikaatteja, joita tulee eri osaamisalueille kuin sieniä sateella.)

    t. Matti

    VastaaPoista
  4. Minua on kerran työhaastattelussa pyydetty suunnittelemaan käytettävyydeltään hyvä käyttöliittymä johonkin epämääräiseen tarpeeseen. Taustatietoja en saanut eikä ollut mitään, mihin tarttua. Sain kylläkin paikan, kun kerroin, ettei suunnittelutyö ole kiireessä hutkimista ilman mitään taustatietoja kontekstista tai käyttäjistä.

    Pointtina siis, että testien laatijoiden pitäisi olla vähintäänkin kokeneita käytettävyysalan ihmisiä, jotta testeistä saataisiin edes jollain tasolla järkeviä. Kuinka moni käytettävyysasiantuntija on samanaikaisesti ammattimainen testisuunnittelija sekä hr-asiantuntija?

    VastaaPoista
  5. Matti kirjoitti: "Eli tarvitaan muita osoituksia kyvykkyydestä, ja kyllä niiden pitäisi olla mieluummin organisatorisia kyvykkyyksiä (minä uskon edelleen naivisti organisaatioiden mahdollisuuksiin) kuin henkilökohtaisia."

    Olen samaa mieltä. Jos (käytettävyys)kyvykkyyttä jollakin tapaa arvioidaan, sen tulisi tapahtua organisaatiotasolla. Mutta kuten Timo on todennut, tähän kyvykkyyteen ei päästä noudattamalla jotakin suunniteltua kyvykkyysmallia, eikä sitä pystytä luotettavasti mittaamaan tavanomaisilla kyvykkyysmittareilla.

    Organisaatiotason kyvykkyys (=osaaminen) on tulosta kollektiivisesta oppimisesta ja sitä on tutkittu niin psykologiassa kuin sen lähitieteissäkin varsin paljon. Niinpä validimmat menetelmät arvioida organisaation kyvykkyyttä voisivat löytyä tältä tutkimusalueelta.

    Matti kirjoitti myös:"(Onneksi kukaan ei ole ehdottanut käytettävyyspuolelle osaamisen todistamiseksi sellaisia kolmen päivän pränttäämiseen perustuvia sertifikaatteja, joita tulee eri osaamisalueille kuin sieniä sateella.)"

    Valitettavasti taitaa olla vain ajan kysymys, että ne tulevat myös käytettävyyteen.

    VastaaPoista
  6. MIelenkiintoisia kommentteja.

    Peballe: Tunnen jossain määrin tuota Sitran projektia (olin pienellä panoksella mukana sen valmistelussa). Hyvällä tiimillä on tietenkin hyvät edellytykset luoda hyvä lopputulos. Mutta kuitenkin hankkija kantaa viime kädessä riskin siitä, että jos jokin meneekin pieleen (ellei sitten käytettävyttä ole vaadittu kunnon mittarein). Sen vuoksi hankkijalla on mielestäni oltava välttämättä merkittävä sisällöllinen rooli tällaisissa projekteissa.

    Matille ja Marialle: Minä edelleen tohdin olla vähän eri mieltä "organisatoorisesta käytettävyyden kyvykkyydestä". Itse väittelin aiheesta. Ja olen sitä mieltä, että "organisatoorinen kyvykkyys" kyllä antaa edellyksiä mutta ei takaa mitään lopputuloksen laadusta. Huonossa tapauksessa se tietää ainoastaan lisäkustannuksia asiakkaalle

    Yksilöt ja heidän osaamisensa takaa käytettävyyden laadun; organisatoorinen kyvykkyys heidän työlleen raameja.

    Itse vain jatkuvasti törmään sellaisiin "käytettävyysmokiin", joiden ainoa selittävä tekijä mielestäni on se, että kyseiset suunnittelijat eivät tunne käytettävyysalan perusasioita. Ja kyllä alan osattaviin asioihin liittyy myös jonkinlainen "pänttääminen".

    Käytettävyyteen liittyen on toki mietitty ja kehitelty osaamisen määrittelyjä (UPAn BoK -projekti). Mutta eipä ole vielä päästy yksimielisyyteen siitä, mikä olisi tuon BoKin sisältö (ja projekti taitaa olla vähän jäissä)

    VastaaPoista
  7. Meillä vastaavia lomakkeita on käytetty kilpailutuksessa, jossa toimittajien osaamista on arvioitu. Prosessi tahtoo olla jo muutenkin aika raskas, eikä aitoon koetilaisuuteen ole käytännössä minkäänlaisia mahdollisuuksia, varsinkin kun käytettävyysosaamisen arviointi on vain yksi pieni osa-alue.

    Aiemmin osaamisarvioinnissa ei otettu kantaa käytettävyysosaamiseen mitenkään. Olen saanut ajettua sinne kohdan "Käytettävyysosaaminen", jonka suurin ansiona on varmaan jonkinlaisen käytettävyystietoisuuden levittäminen sekä omalle väelle, että toimittajille.

    Kysymykset ovat tarkempia kuin esimerkissäsi, esim. "Olen tehnyt käytettävyyden arviontisuunnitelman", ja vastauksissa on neljä tasoa kokemuksen mukaan.

    Tiedostan mainitsemasi ongelmat, joita tähän pisteytykseen liittyy, mutta resurssit ovat rajalliset ja kompromisseja on tehtävä.

    VastaaPoista
  8. Jos käyttöliittymän laatu jää hankkijan vastuulle - niinkuin tämän päivän käytännöillä jää - niin silloin kyse on siitä, miten hankkija helpoimmalla varmistaa käytettävyyden. Hankkijan roolin joka tapauksessa tulee olla aktiivinen.

    Ja oma kokemukseni on se, että jos toimittajan käyttöliittymäsuunnittelusta vastaavalla ei ole aitoa käytettävyysosaamista, niin hankalaksi helposti menee. Ja ehkä vielä sitä hankalammaksi, mitä enemmän kokemusta mutta ei osaamista. Olen tosiaan tavannut "kokemusvuosia on, ei osaamista" -kombinaatioita. (mielestäni asia johtuu siitä, että käytettävyyskoulutus on niin ohutta ja valinnaista monessa opinahjossa).

    Toinen, osittain edelliseen liittyvä näkökulma liittyy sitten asenteeseen. Toimittaja voi nähdä hyvänä sen, että hankkijalla on aktiivinen ote, ja olla kiitollinen saamastaan ohjauksesta. Tai sitten toimittaja voi olla puolustava omille näkemyksilleen (kun heillä on "kokemusta"). Tulee kaikenlaisia perusteita, miksi pitää tehdä heidän tavallaan; ja jos hankkija haluaa erilaisia ratkaisuja, niin sitten "muutoshallintaan ja lisätilauksia".

    VastaaPoista