Ondanks het matige succes van Google Glass heeft de ontwikkeling van ‘slimme brillen’ de afgelopen jaren niet stilgestaan. De nieuwe generatie brillen zijn inmiddels technisch sterk verbeterd.  Hierdoor zijn nieuwe mogelijkheden ontstaan voor het verbeteren van de zelfredzaamheid van mensen met een visuele beperking. 

Onderzoekers van de Radboud Universiteit en de Universiteit Twente hebben een systeem ontwikkeld waarmee blinde en slechtziende mensen gezichtsuitdrukkingen en emoties van anderen kunnen herkennen. Het onderzoek en de ontwikkeling van het systeem zijn mede mogelijk gemaakt met de steun en expertise van Link4All deelnemers Bartiméus en Visio.

Het onderzoek was grotendeels gericht op het toepassen van ‘augmented reality’ voor slechtziende mensen. Op het glas van de slimme bril worden daarbij extra beelden of informatie geprojecteerd voor personen met visuele beperkingen. Dit is vooral nuttig voor mensen met gezichtsscherpte uitval en visuele veld defecten. Het onderzoek is niet alleen in het laboratorium uitgevoerd maar ook in de echte buitenwereld. Hierbij zijn ervaringen verzameld met als doel de visueel beperkte gebruikers daadwerkelijk te helpen in dagelijkse persoonlijke, sociale en werk-gerelateerde situaties.

Behoeftenonderzoek
Het project begon met het interviewen van slechtziende en blinde personen om hun dagelijkse problemen en behoeften in kaart te brengen. Hieruit volgde dat hoog op de behoeftenlijst stond: het herkennen van personen, het herkennen van gezichtsuitdrukkingen/emoties en oriëntatie/navigatie in een onbekende omgeving.

Gezichtsuitdrukkingsysteem
foto van een het gezicht van een man waarbij middels augmented reality software op een extra laag aanvullende informatie wordt getoond om emoties te herkennenEr is voor gekozen om allereerst een manier te onderzoeken hoe gezichtsuitdrukkingen van een gesprekspartner (glimlachen, boos kijken et cetera) gedetecteerd en gecommuniceerd zouden kunnen worden. Hiervoor is gebruik gemaakt van een camera op de bril, waarbij de beelden door de special hiervoor door Vicar Vision ontwikkelde software werden geanalyseerd voor een zestal emoties.

Emoties worden trillingen
Als er een emotie gevonden werd, dan werd dit aan de slechtziende of blinde persoon kenbaar gemaakt via een stoffen tactiele band die om de heup/buik gedrapeerd zit. In deze band zitten op 6 verschillende plekken trilmotortjes, vergelijkbaar met die in een mobiele telefoon. Met het systeem ervaart iemand dus de gezichtsuitdrukking van de gesprekspartner door te voelen waar in de band er iets trilt. Hierbij worden positieve en neutrale emoties meer op de buik getoond naar aanleiding van spreekwoorden als ‘Vlinders in je buik hebben’, terwijl de meer negatieve emoties op de rug worden getoond.

Positief onderzoeksresultaat
Het systeem is eerst uitgetest door slechtziende en blinde proefpersonen een set van gestandaardiseerde foto’s en videofragmenten met bepaalde gezichtsuitdrukkingen te laten zien.  Hieruit bleek dat de proefpersonen met het systeem significant beter werden in het bepalen van de uitgedrukte emoties. Hierna werden proefpersonen uitgenodigd voor een fictief sollicitatiegesprek met een acteur. De proefpersonen waren over het algemeen positief over het systeem. Wel kan de nauwkeurigheid en draagbaarheid van het systeem nog wat verbeterd worden.

Vervolg
De ontwikkeling van het systeem wordt voortgezet. Er wordt doorgewerkt om het gezichtsuitdrukkingsysteem te verbeteren. Daarnaast loopt er al onderzoek om de trilband te verbeteren en te gebruiken voor navigatiedoeleinden.

Video demonstratie
Bekijk dit filmpje voor een uitleg en demonstratie.