"6.5 Evaluating the design"

Poimintoja aktiviteetin kuvauksesta:
"Even at the earliest stages in the project, design concepts should be evaluated to obtain a better understanding of the user needs. ... However, evaluation by users ... is not always practical or cost effective at every stage of a project. ... design solutions should also be evaluated in other ways - for example using task modelling and simulations. These methods are still centred on how the user will experience the system even though the users themselves might not participate directly. User-centred evaluation can be used to

a) collect new information about user needs;
b) provide feedback on strengths and weaknesses of the design solution from the users’ perspective (in order to improve the design);
c) assess whether user requirements have been achieved (which can include assessing conformity to international, national, local, corporate or statutory standards);
d) establish baselines or make comparisons between designs.
....
There is a variety of user-centred evaluation methods which can be used to evaluate designs.
....
To obtain valid results, the evaluation should be carried out by experienced practitioners, and should use appropriate methods.
...
Two widely used approaches to user-centred evaluation are:
- user based testing;
- expert evaluation using usability and accessibility guidelines or requirements.

When prototypes are used, they should be used to collect user feedback while carrying out tasks, rather than just being demonstrations to show users a preview of the design. The information gathered is used to drive the design.... Later in development, user testing can be used to assess whether usability objectives including measurable usability performance and satisfaction criteria have been met in the intended context or contexts of use.

Expert evaluation can be valuable and cost effective and can also complement user testing. It can be used to eliminate major issues before user testing (and hence make the user testing more cost- effective).... Expert evaluation can be supported by checklists, lists of user requirements, general usability guidance, industry best practices, usability heuristics, guidelines or standards. However, the effectiveness of the expert evaluation always depends on the skills, experience and knowledge of the experts.

Expert evaluation is simpler and quicker to carry out than user testing and can, in principle, take account of a wider range of users and tasks than user-based evaluation... Experts do not always find the same problems that would be found in user based testing. Expert evaluation tends to emphasize obvious problems and might not scale well for complex or novel interfaces. The greater the difference between the knowledge and experience of the experts and the real users, the less reliable are the results. When appropriate, expert evaluation can be carried out with domain experts working alongside the usability expert."

-------------------
Evaluointi on perinteisintä käytettävyysasiaa, eikä tässä tule mitään erityistä yllättävää esiin. Muutama huomio kuitenkin:
- Korostetaan aivan oikein käytettävyystestien rajallisuutta menetelmänä. Käyttäjätestit eivät useinkaan ole kustannustehokas tapa tehdä evaluointia
- Korostetaan asiantuntijuuden roolia käytettävyysarvioinneissa. Tämä tietenkin pitää paikkaansa. Mutta on syytä ottaa muistaa, että "käytettävyysasiantuntijuus" ei ole selkeästi määritetty asia. Esimerkiksi Molich & al tutkimukset (2006) osoittavat, että ammattimaiset käytettävyysasiantuntijat voivat tuottaa hyvinkin erilaisia tuloksia. (tämä siis pätee myös käytettävyystesteihin, ei ainoastaan asiantuntija-arviointeihin).
- Tuodaan myös esiin aivan oikein asiantuntija-arvioinneista, että "the greater the difference between the knowledge and experience of the experts and the real users, the less reliable are the results". On oikeasti varottava pintapuolisia asiantuntija-arviointeja!

--------
Yhteenveto

• Tuo esiin tiiviisti käytettävyysarvioinnin pääpiirteet
• Voisi enemmän korostaa käytettävyysarviointeihin liittyviä laaturiskejä
• Tuodaan esiin kautta linjan ammattimaisuuden tarpeellisuutta ja käyttäjätuntemuksen hyödyllisyyttä
• Samaan aktiviteettiin sisällytetty sekä laadullinen ("provide feedback on strengths and weaknesses of the design solution") että todentava ("assess whether user requirements have been achieved") evaluointi. Itse näkisin nämä kaksi luonteeltaan sen verran erilaisina, että erottaisin ne omiksi aktiviteeteikseen