One Shoe logo

Creative & Digital Agency

Wel of niet naar gebruikers luisteren? Klantonderzoek voor digitale producten

Als UX-er heb ik met verschillende partijen gewerkt aan nieuwe digitale producten. Ik zie steeds twee standpunten: de ene zegt dat je niets kan ontwikkelen zonder input van de eindgebruikers, de ander vindt dat hij/zij zelf het beste weet wat de gebruiker nodig heeft. Ze kunnen niet beiden gelijk hebben, maar hoe zit het dan? In deze blog leg ik uit wanneer je wel én juist niet naar gebruikers moet luisteren bij de ontwikkeling van je digitale product.

Daryna Kruty | 03 sep 2020

Klantonderzoek voor digitale producten

Er zijn twee bekende uitspraken die ik meestal hoor als argument tegen gebruikersonderzoek:

  • “If I had asked people what they wanted, they would have said faster horses.”
    — toegeschreven aan Henry Ford
  • “It's really hard to design products by focus groups. A lot of times, people don't know what they want until you show it to them.”
    — Steve Jobs (in werkelijkheid bedoelde hij niet dat je niet naar gebruikers moet luisteren. Meer hierover verder in het artikel)

De voorstanders van gebruikersonderzoek en het testen van de (digitale) producten met de gebruikers zeggen juist het tegenovergestelde:

  • “People ignore design that ignores people.”
    — Frank Chimero, digital product en brand designer
  • “Falling in love with a problem happens through observing it happen in a relevant context, where the problem is occurring to people in your target audience.”
    — Tomer Sharon, Head of User Research & Metrics bij Goldman Sachs 
  • “Want your users to fall in love with your designs? Fall in love with your users.”
    - Dana Chisnell, Founder-Partner at National Conference on Citizenship

Wie heeft er nu gelijk? Welke argumenten zijn er voor en tegen? En wat moet jíj doen? 

Henry Ford en Steve Jobs luisterden naar niemand en het is ze gelukt, toch...?

Innovatie is geen gemakkelijke reis. Als productontwikkelaar moet je inzicht hebben in, en begrijpen wat jouw gebruikers nodig hebben. Dat kan komen uit onderzoek, observaties, simpelweg gokken of eigen gevoel.

Het is inderdaad mogelijk dat iemand sterke intuïtie heeft of een heel goed begrip heeft van wat bepaalde doelgroepen willen zonder met ze te spreken. Dit is echter uniek en komt niet vaak voor. Dit soort uitzonderingen trekken de aandacht, waardoor het lijkt dat producten ontwikkelen zonder gebruikers überhaupt wat te vragen toch succesvol kan zijn.

Maar als je alleen die ene kwaliteit kopieert (niet naar de gebruiker luisteren; elke dag dezelfde trui dragen; om 4 uur opstaan) zonder goed inzicht te hebben in de behoeften van de gebruiker, wordt het product niet per se succesvol.

Het is Henry Ford gelukt om succesvolle auto’s op de markt te zetten, maar het niet volgen wat zijn klanten en de markt wilde heeft later ook tot verlies van de market share van Ford geleid. Apple kwam met de eerste iPhone toen alle mobiele telefoons hetzelfde deden en je niet meer op features kon winnen. Voor hen was het cruciaal om de ‘sameness trap’ waardoor alle producten op de markt op elkaar lijken te vermijden. Dat is gelukt door wel gebruikersonderzoek te doen (maar geen marktonderzoek), en en door world-class designers te hebben. 

Met een klantvraag ‘Meer CD’s in de player kunnen stoppen’ ontwikkel je nooit een iPod. Maar het is ook niet de rol van de gebruiker om precies te weten hoe hun problemen opgelost kunnen worden.

Deze quote van Steve Jobs illustreert het punt:

“It’s not the customer’s job to know what they want.”

Dit betekent niet dat jij als productontwikkelaar ‘het’ beter weet. Dit betekent dat mensen binnen de kaders denken van wat ze weten en wat ze dagelijks zien. Het is aan jou als productontwikkelaar om die behoeften te vertalen naar nieuwe concepten.

Alan Cooper, ‘the father of Interaction Design’, licht het (vrij vertaald) op deze manier toe:

Wanneer kinderen om je heen springen en om snoep vragen, besef je dat ze moeten eten en geef je ze een boterham. Als een gebroken arm minder pijn doet in een specifieke houding, ga je als arts die arm niet in die positie vast tapen, maar behandelen. Het is aan jou als designer en productontwikkelaar om de wensen van de gebruikers te begrijpen en te vertalen naar oplossingen. Het is niet aan de eindgebruikers om de innovatieve oplossingen te bedenken voor hun vraag.

Waarom je níet naar gebruikers zou moeten luisteren:

➔ Mensen kunnen eigen gedrag slecht voorspellen

In oktober 2018 heb ik me ingeschreven voor een sportschool bij mij in de buurt. Na een paar weken had ik al een redelijke indruk van wie daar allemaal rondliepen en vaak kwamen sporten, hoe druk het in de zaal werd en wanneer ik dus zelf het best kon gaan sporten. Maar in januari herkende ik plotseling de lessen niet meer. De zaal zat helemaal vol en ik moest in de rij wachten tot ik aan de beurt was, zelfs tijdens de ochtendlessen. Toen ik het er met een trainer over had, vertelde die me dat dit elke januari gebeurt en dat het over een paar weken weer normaal zou zijn. Veel mensen haken dan weer af. Hoe komt dat? 

Wij, mensen, zijn heel slecht in het voorspellen van ons eigen toekomstige gedrag. We zijn daar ook te optimistisch over. Er zijn verschillende biases (vooroordelen en denkfouten) die iedereen maakt bij het voorspellen van de rol van eigen emoties op beslissingen in de toekomst. Deze fouten maken we allemaal, en het is heel moeilijk daar bewust mee om te gaan. Dus als gedrag van de gebruikers niet overeenkomt met wat ze aangegeven hebben te willen doen, betekent het niet dat ze liegen, alleen dat ze slecht zijn in het voorspellen van eigen gedrag.

Dit is echter geen reden om niet naar de gebruikers te luisteren! Je moet je niet (alleen) richten op wat mensen zeggen dat ze gaan doen. Je moet ook hun gedrag gaan observeren of meten. Observatie geeft je feiten en meer zekerheid dan de door gebruikers uitgesproken intenties en attitudes.

Hoe krijg je dan wel goede en betrouwbare inzichten?

Stel dat je wil weten of er in de markt genoeg vraag is naar een app die je bouwt. De vraag ‘Zou je deze app gebruiken?’ zou hoogstwaarschijnlijk het sociaal-wenselijke ‘Ja, waarom niet?’ opleveren.

Maar wat je kan doen om een vollediger beeld te krijgen is het volgende:

  • Advertentiecampagne opzetten die gericht is op specifieke doelgroepen of zoektermen. Daarna meten hoeveel mensen doorklikken.
  • Een basis website bouwen die de Unique Selling Points van het product uitlegt. Als je doorklikt op ‘Aanmelden’/’Bestellen’ toon dan een pagina die verteld dat dit product nog niet bestaat, maar dat de sitebezoeker zich op de wachtlijst kan zetten/melding ontvangen. Daarna meten hoeveel mensen zich inschrijven.
  • Kijken naar de vergelijkbare apps en hoeveel downloads er zijn, welke ratings ze krijgen en waarom.
  • Zet een conciërge test op en meet hoeveel mensen na afloop bereid zijn om te betalen.
  • Kijk hoeveel mensen aan een crowdfundingcampagne doneren.
  • Vraag enige commitment of investering van de klant om het product te gebruiken. Het kan uitgedrukt zijn in geld (bijvoorbeeld een financiële bijdrage zoals crowdfunding of aanbetaling), in reputatie (bijvoorbeeld door te delen met hun netwerk) of in tijd (door in te schrijven voor een evenement of aan te melden als een beta-tester). Wanneer je om commitment en niet om mening vraagt, krijg je sneller een eerlijke reactie.

Al deze methodes hebben een overeenkomst: je kijkt naar het daadwerkelijke gedrag, en niet naar wat mensen zeggen dat ze gaan doen.

Als je naar gedrag kijkt, ‘luister’ je wel naar de gebruiker, ook al vraag je niet direct ‘wil je dit?’. Het ‘luisteren naar de gebruiker’ gaat niet zozeer over het letterlijk vragen ‘wat wil je’. Het gaat wel over het valideren of ontkrachten van jouw aannames, en dat kan op verschillende manieren.

Waarom je níet naar gebruikers zou moeten luisteren:

➔ Mensen kunnen hun gedrag en redenering niet goed uitleggen

Op basis van zijn onderzoek stelt Harvard professor Gerald Zaltman dat 95% van de beslissingen van de consument gemaakt wordt op basis van emoties waarvan de consument zich niet bewust is. Daarnaast spelen verschillende vooroordelen en denkfouten in de redenatie ook een rol, denk aan priming, framing, hindsight bias, consistency bias, egocentric bias… Het is een lang lijstje!

Als iemand je vraagt ‘Waarom heb je deze shampoo gekocht’ ga je achteraf redeneren wat je overwegingen zijn geweest. Dit heet ‘rationalisering’. Een bizar voorbeeld van rationalisering (in de vorm van Choice Blindness) kan je zien in het experiment door Michael Stevens. In dit experiment rationaliseren deelnemers keuzes die ze zelf niet hebben gemaakt, om de reden dat ze verteld worden dat ze deze wel hebben gemaakt.

Hoe krijg je dan wel goede en betrouwbare inzichten?

Ook al is het moeilijk, het is wel mogelijk inzicht te krijgen in “waarom mensen doen wat ze doen”. Er zijn meerdere manieren:

  • Kijk naar het (meetbare) gedrag dat gerelateerd is aan wat je wil weten. Zoek naar patronen en correlaties. Op basis daarvan kan je aannames doen over wat dat specifieke gedrag veroorzaakt. Een Rotterdams startup Relive kijkt continu naar meerdere parameters van het gebruik van hun app (denk aan share, browse, comment- gedrag) om te achterhalen welke van hun gebruikers naar Premium versie overstappen. Op basis van die inzichten hebben ze in de loop van de tijd beter kunnen definiëren wat de unieke waarde is die ze aan hun gebruikers (kunnen) leveren en hoe ze meer mensen kunnen overhalen de stap naar Premium te zetten.
  • Als je gebruikers interviewt, zorg dan dat je het in het interview hebt over dingen die ze hebben gedaan en dat je hun gedrag bespreekt. De stellingen over de attitudes of wat ‘sommige andere mensen’ zouden doen, hebben minder waarde in dit geval. In dit interview zie je een van de technieken om dit te bereiken. De interview deelnemer zegt dat hij de kleinste en goedkoopste auto zocht. Maar omdat hij goede herinneringen had over zijn studententijd en de VW Jetta (die niet klein of goedkoop is), zocht hij die auto. Hij zegt ook gecertificeerde gebruikte auto van een VW dealership te willen kopen, en toch heeft hij een gebruikte auto van een ‘super-shady mobster’ gekocht.
  • Zoek naar het ‘waarom’ achter de antwoorden, vraag door over emoties. Vaak zijn de wensen en de antwoorden van de gebruikers tijdens de interviews relatief oppervlakkig. Die kan je niet altijd ‘at face value’ nemen. Vraag door naar het verhaal achter de keuze, en wat er toen speelde. Een van de technieken ervoor die steeds populairder wordt is het ZMET (Zaltman Metaphor Elicitation Technique), waarmee je diepere lagen van gevoel en onderbewuste associaties kan bereiken.
  • Als je toch naar attitudes vraagt, vraag dan naar een specifieke attitude. Dr. Charles Stangor legt het uit in ‘Principles of Social Psychology’: algemene vragen zoals ‘Ben je religieus?’ voorspellen het gedrag veel minder precies dan specifieke vragen, zoals ‘Ben je in de laatste twee weken bij een religieuze dienst geweest?’. Wetenschappers kunnen veel beter het gedrag van de respondenten voorspellen als het over specifieke attitude gaat. 

Ook al zijn mensen zich niet altijd bewust van hun echte redenaties, zijn er wel manieren om deze toch te achterhalen. Deze methodes die hierboven beschreven zijn, geven allemaal een benadering en een inschatting van de daadwerkelijke motivaties, gevoelens en drijfveren van de gebruiker, zelfs van de onderbewuste.

Als je soortgelijke resultaten uit meerdere verschillende methodes krijgt, kan je zekerder zijn dat deze inzichten kloppen

“Users are not always logical, at least not on the surface. To be a great designer you need to look a little deeper into how people think and act.”
- Susan Dray, expert in usability, en in human-computer interaction.

Waarom je níet naar gebruikers zou moeten luisteren:

➔ Mensen vertellen soms niet de waarheid

Relatief vaak gebeurt het dat informatie die mensen over zichzelf geven niet overeenkomen met de werkelijkheid. Dat gebeurt bijvoorbeeld in exit polls, of in vragenlijsten over drugsgebruik onder jongeren. Je zou je af kunnen vragen of het überhaupt zin heeft naar de gebruikers te luisteren als je niet weet of ze de waarheid vertellen. 

Dat mensen niet de waarheid vertellen betekent niet per sé dat ze kwaadaardig zijn of bewust met opzet liegen. De voornamelijke redenen hiervoor kunnen zijn:

  • Vergeten. Sommige feiten en gebeurtenissen zijn niet belangrijk of indrukwekkend genoeg om ze goed te onthouden. Het is, bijvoorbeeld, een van de bekende issues met voedingsonderzoek - hoe precies kan je inschatten hoeveel bananen je gemiddeld per maand hebt gegeten in het laatste jaar?
  • Social desirability bias. Mensen hebben een neiging zichzelf beter voor te doen dan ze zijn. Daarbij delen ze meer van het ‘goede gedrag’ en minder van het ‘slechte gedrag’ dan in werkelijkheid het geval was. Dit effect is nog groter bij mensen met een hoge self-monitoring eigenschap. Deze mensen passen hun gedrag relatief meer dan anderen aan mensen en omstandigheden. Het kan ook simpelweg zo zijn dat mensen jou niet willen beledigen door hun eerlijke mening te bieden over jouw idee of ontwerp (dit is mooi uitgelegd in het boek ‘The mom test’ door Rob Fitzpatrick).

Hoe krijg je dan wel goede en betrouwbare inzichten?

Dit maakt het verkrijgen van eerlijke reacties lastig. Maar hierdoor hoef je alsnog het luisteren naar de gebruikers niet op te geven. Je kan weinig doen aan de vergeetachtigheid van mensen maar je kunt wél het effect van de social desirability bias verminderen, omdat dit een bekend fenomeen in psychologie en social sciences is.

 Hier zijn enkele trucjes om dit effect te verkleinen:

  • Anonimiteit en vertrouwelijkheid. Wanneer mensen weten dat hun antwoorden niet gekoppeld kunnen worden aan hen, of dat de antwoorden ‘binnen de muren’ blijven, staan ze er meer voor open om eerlijk te reageren.
  • Open vraagstellingen. Geef de ruimte in de vragen om ‘een beetje’ imperfect te zijn. Dus niet: ‘Lieg je? Ja/Nee’. Hiermee plaats je mensen meteen in de categorieën ‘goed’ of ‘slecht’. Een betere vraagstelling zou zijn: ‘Wanneer was de laatste keer dat je niet 100% eerlijk was?’, ‘Hoe vaak komt het voor dat je een leugentje om bestwil vertelt?’, ‘Vertel over de situatie wanneer je een compliment aan iemand gaf maar dat niet meende’. Mensen die echt nooit liegen worden hiermee niet gestuurd, maar mensen die geen hardnekkige leugenaars zijn maar wel eens dingen vertellen die niet waar zijn hebben meer ruimte om een eerlijkere, genuanceerde antwoord te geven.
  • Vraag naar specifieke voorbeelden, maar laat mensen in hun waarde. Tomer Sharon in zijn boek “Validating Product Ideas: Through Lean User Research” geeft hier een voorbeeld van: Als je gaat onderzoeken hoe mensen omgaan met het lezen van boeken in een specifiek domein, kan je vragen ‘Welke van deze 5 boeken heb je volledig gelezen?’. Later kan je het toetsen door een vraag te stellen over een specifiek concept dat geïntroduceerd was door de auteur van het boek dat de interview deelnemer claimde te hebben gelezen. Als die uitleg niet klopt, noteer je dat het eerdere antwoord niet betrouwbaar is, en ga je hier verder niet op in.
  • Meet in hoeverre de gebruikers met wie je spreekt eigen gedrag aanpassen (self-monitoring en/of socially desirable responding). Als je met een onderwerp werkt dat heel persoonlijk is, kan je de respondenten screenen met vragenlijsten (voorbeeld). Na afloop van het interview houd je daar rekening mee.
  • Tijdens een interview met de gebruiker vertel je dat je zelf geen bedenker/designer bent van wat je aan de gebruiker voorlegt, en alleen het gesprek mag voeren. Dit is een bekend truc die vaak gebruikt is tijdens de usability tests. Het is voor de interview deelnemer makkelijker om negatieve feedback te geven als hij/zij denkt dat je daarmee niet beledigd wordt.

Deze tips en tools zorgen dat mensen zich zo min mogelijk geconfronteerd voelen, dat ze niet onbewust in defensief gedrag schieten of dat ze het gevoel krijgen dat ze iemand beledigen. Het is moeilijk om de social desirability bias te vermijden, en deze tools zijn ook niet 100% bulletproof. Maar je gebruikers helemaal niet spreken is nóg minder bulletproof!

Moet je naar jouw gebruikers luisteren? 

Zeker wél, en houd daarbij ook rekening met...

  • Gedrag: luister niet alleen naar wat mensen zeggen, maar observeer en meet ook wat ze doen
  • De uitgesproken wensen niet letterlijk nemen: focus op waarom mensen willen wat ze willen. Match deze inzichten ook met de beschikbare data en observaties.
  • Social desirability bias: Zorg dat de gebruiker zich niet geconfronteerd of ‘in the spotlight’ voelt, vooral bij gevoelige onderwerpen. Houd rekening met self-monitoring eigenschap bij het beoordelen van de opgehaalde inzichten.

Het is ingewikkeld, en je zou je af kunnen vragen of het de moeite waard is. Het luisteren naar de gebruiker moet je niet als een oefening in onderzoek zien, maar als een manier om de risico’s van de productontwikkeling te verminderen. Hoe zekerder je bent dat jouw aannames over de behoeftes van de klant en de markt kloppen, hoe kleiner de kans dat je iets maakt wat er niet toe doet. 

Op zoek naar een ervaren UX bureau?

Floor (UX Lead) helpt je graag bij jouw UX vraagstuk