spiegel

Pepper? Hallo?

spiegel2Artikel over Pepper/NAO in Der SpiegelWaarom een domme robot de internationale krantenkoppen haalde.

Een groot woord aan het begin leek Kevin Mollet, woordvoerder van de Damien Ziekenhuis in Oostende, eerlijk. Het luidde immers een nieuw tijdperk in, in de relatie tussen mens en machine. Daarom koos hij "World Premiere", zoals het eerste woord van het persbericht, geschreven in opdracht van het Algemeen Ziekenhuis Damiaan. Een ziekenhuis aan de Belgische Noordzeekust, een regio die zelden onder de aandacht van de internationale pers komt.

Het originele artikel uit "Der Spiegel" staat hier (achter een betaalmuurtje)

In oktober was de NAO-robot bij het onderzoeksinstituut van Taalwetenschap (het UiL OTS) van de Universiteit Utrecht op bezoek. Binnen het UiL OTS wordt vanuit het Babylab Utrecht onderzoek gedaan naar taalontwikkeling. Twee onderzoekers, Maartje de Klerk en Shalom Zuckerman, bedachten een onderzoek waarin proefpersonen (kinderen van 4-6 jaar) taakjes uitvoeren samen met de Nao-robot. De achterliggende gedachte is dat kinderen in een testsituatie (vaak) niet goed kunnen/durven laten zien wat ze werkelijk weten van hun moedertaal. Met de robot wordt een situatie gecreëerd waarin mogelijk de kinderen minder remming voelen, beter op hun gemak zijn waardoor ze meer praten. De context van het onderzoek was dat de robot (in het experiment noemden wij Nao “RNata”) van de planeet Nao kwam en wel heel goed “Naotiaans” sprak, maar nog niet zo goed Nederlands. Er werd de kinderen uitgelegd dat zij RNata zouden helpen Nederlands te leren en dat zij op hun beurt een aantal woorden in het Naotiaans zouden leren.

De taakjes werden voorafgegaan door een korte introductie met RNata, waarin ze liet zien wat ze kon (staan, zwaaien, zitten). De bedoeling van deze introductie was dat de kinderen zich wat meer op hun gemak zouden voelen, want sommigen vonden de robot best wel spannend.

Taak 1: Pseudowoorden

Het eerste taakje ging om het herhalen van zogeheten ‘pseudowoorden’ (non-word repetition task). Dit zijn woorden die niet werkelijk bestaan, maar wel voldoen aan het Nederlands klankopeenvolgingssysteem. Ze zouden dus wel kunnen bestaan. Het kind (of de testleider, als het kind wat verlegen was) liet RNata een kaartje zien met daarop een bekend object, zoals een bus of een jurk. RNata herkende dan middels Nao marks wat er op het plaatje stond, en vertelde dan hoe het in haar taal heette. RNata vroeg vervolgens of de kinderen dit pseudowoord wilden herhalen. Het was leuk om te zien dat veel kinderen erg enthousiast met dit taakje meededen en echt hun best deden de klanken na te bootsen. Kinderen die (erg) verlegen waren vonden het toch heel leuk om de kaart te laten zien. Het nazeggen van die gekke woorden bleef dan vaak wel een beetje te spannend.

Taak 2: Grammatical Judgment Task

In het volgende taakje (grammatical judgment task) kregen de kinderen en de robot weer een afbeelding te zien, en nu vertelde RNata in het Nederlands wat zij zag. Soms maakte zij hierbij een grammaticale fout (bijvoorbeeld: “de druiven is groen”, of “de meisje eet een pizza”). Het kind mocht aangeven of RNata het goed had gezegd, of dat het een beetje gek klonk. Het was interessant dat veel kinderen wel doorhadden dat er iets raars aan de hand was, maar dat ze moeite hadden de robot te corrigeren.

Taak 3: Voorlezen

Het laatste taakje was een voorleestaakje: RNata mocht luisteren hoe het kind een verhaal vertelde aan de hand van een boek met plaatjes. Voor onderzoekers is dit een waardevolle bron van spontane spraak. Bij deze taak werd de interactie met RNata minimaal gehouden. De meeste kinderen vonden het erg leuk om het verhaaltje voor te lezen en deden goed mee. Ook de verlegen kinderen vertelden rustig het verhaaltje. Sommige kinderen keken af en toe tijdens het voorlezen naar RNata, wachtend op een reactie. Omdat het moeilijk was zinvolle reacties van RNata van tevoren te bedenken, gaf RNata alleen aan het einde van de taak een reactie. Dit was soms wel jammer omdat kinderen wel interactie verwachtten.  

Opvallend was dat de kinderen goed meededen met het onderzoek, ondanks het feit dat sommige kinderen RNata toch echt wel spannend vonden en (erg) verlegen waren. Zelfs de meest verlegen kinderen klapten niet volledig dicht. In de meeste gevallen moesten de kinderen aan het begin wennen aan RNata. Naarmate we verder kwamen tijdens de testsessie, was te zien dat de kinderen wat losser werden en meer meededen. De reacties van de kinderen waren over het algemeen erg positief, ze vonden de robot erg leuk om mee te ‘spelen’. Het idee is om het onderzoek ook uit te voeren zonder RNata en dan de twee groepen te vergelijken om te zien of er verschillen zijn. Het zou mooi zijn wanneer RNata een positief effect heeft en de kinderen meer en beter durven te laten zien wat ze werkelijk kunnen en weten van hun moedertaal.

Meer over NAO in het Utrechtse BabyLab staat hier:

 

Er is de laatste tijd nogal wat te doen over robots. Ze gaan ons helpen met de zorg voor ouderen, geven onze kinderen bijles, praten ons bij over het laatste nieuws terwijl we de afwas doen, of omgekeerd, doen de afwas terwijl we lekker de krant lezen. Meestal wordt er bijgezegd dat het nog niet zo ver is, maar dat de ontwikkelingen wel heel erg snel gaan.

Nao

Maar is dat wel zo?

Een pregnant voorbeeld is de veelgeprezen documentaire "Ik ben Alice". Een aantal oudere dames krijgt een robot op bezoek (en een filmploeg), en het bijzondere schijnt te zijn dat ze daar zo leuk op reageren. De robot, Alice, is weinig meer dan een pop, die op de bank zit, een beetje in het rond kijkt, en heel af en toe wat zegt -- toevallig altijd net als de begeleider even de kamer uit is. Wie het internet doorspit vindt wel ergens dat het gaat om een Wizard of Oz-experiment (een wat verhullende manier om toe te geven dat een mens de zinnetjes intikt), maar de ontwikkelingen gaan razendsnel, en dus...

Wie even doordenkt, snapt wel dat het één ding is om een robot te maken die de kamer stofzuigt, maar dat er veel meer komt kijken bij een robot die zich in verschillende situaties min of meer intelligent kan gedragen, en ook zelfstandig dingen kan leren.

De afgelopen weken hadden we een exemplaar van Nao te logeren, zodat we zelf eens konden uitzoeken wat er nu allemaal wel en niet mogelijk is. Deze robot kan opstaan, lopen en weer gaan zitten, en als ie op zijn snuit valt (wat bij onze leenrobot nogal eens gebeurde) kan hij meestal zelf weer overeind komen. Verder kan hij spreken en luisteren via de ingebouwde tekst-naar-spraak en spraakherkenningssoftware, en hij vertoont ook enig autonoom gedrag: hij lijkt je bijvoorbeeld aan te kijken als je tegen hem praat. En wat natuurlijk het leukste is: je kunt hem vrij eenvoudig programmeren via de bijbehorende Choregraph-software.

Het volledige artikel staat op de site van Fluency.

 

Juni/juli 2016 was NAO op bezoek bij Dedicon. Stichting Dedicon maakt informatie toegankelijk voor mensen met een leesbeperking. Voor ons was het een uitdaging om uit te zoeken wat een robot te bieden heeft voor iemand die blind of slechtziend is. Wat voegt een robot toe als je het bijvoorbeeld vergelijkt met een virtuele assistent, zoals Siri? We lieten kinderen, jongeren en volwassenen uit onze doelgroep kennis maken met NAO en spraken met hen over de potentiele toepassingen.

NAO als receptionistNAO Dedicon

In navolging van de vorige gastheer van NAO, Telecats, zijn we gestart om NAO te programmeren als receptionist van Dedicon. Om dat te kunnen doen zijn er eerst wat voorbereidende handelingen nodig. Die hebben we verzameld op één A4-tje: de snelstart handleiding voor NAO. Ook hebben we een NOTaS-ontwikkelaarsaccount aangemaakt, zodat anderen zich niet nogmaals hoeven te registreren. Ook die gegevens zijn opgenomen in de snelstart handleiding.

Met de software Choreograph zijn we vervolgens aan de slag gegaan om een dialoog te maken. NAO verwelkomt vol overgave de bezoekers en vrijwilligers van Dedicon. Zie een leuk filmpje via youtube. 

 

NAO kinderen VisioKindervriend

Donderdag 2 juni kwamen kinderen van de Visioschool in Grave bij Dedicon op bezoek. Een uitgelezen kans om deze blinde en slechtziende kinderen kennis te laten maken met NAO. Het was een grote hit. De kinderen waren dolenthousiast. Natuurlijk vonden ze het prachtig als NAO ging dansen (Gangnam Style!), maar ook kletsen met NAO werd zeer gewaardeerd. Eén jongen zei: “Ik heb wel een robothondje van lego, maar die zegt niks terug. Dit is veel leuker!” Het blijkt nog knap lastig om te voorspellen wat de kinderen gaan vragen. Er kwamen onmiddellijk diepgaande filosofische vragen los zoals: “Hoe is het leven als robot?” en “Ben je gelukkig?”. NAO hield wijselijk zijn mond…

De interactie met deze kinderen geeft duidelijk de beperkingen van NAO aan. Je kunt een heleboel met de dialoogsyntax in Choreograph, maar er zijn duidelijke beperkingen. Hoe meer je met wildcards gaat werken bijvoorbeeld, hoe slechter de dialoog gaat presteren. Helaas. Hier is duidelijk nog verbetering mogelijk.

Speciaal voor het bezoek van de kinderen had NAO een verhaal geleerd. De kinderen riepen luidkeels “JA!” toen NAO vroeg of hij zou voorlezen. Maar na een paar seconden waren ze de aandacht ook alweer kwijt… Zou het liggen aan de synthetische stem met beperkte intonatie? Of is het gewoon kinderen eigen, met hun enthousiasme en gretigheid om nieuwe dingen uit te proberen? Zou NAO ook een gesproken boek van Dedicon kunnen afspelen i.p.v. voorlezen?

Voorleeshulp

Met die laatste vraag gingen we aan de slag. De NAO kan audiobestanden afspelen. Zo’n audiobestand kan ook vanuit een dialoog worden aangeroepen. So far, so good. Maar hoe stop je vervolgens het afspelen? En hoe navigeer je door de audio? Daar zijn we niet uitgekomen. Daarvoor hadden we waarschijnlijk verder in de code moeten duiken. Het zou mooi zijn als we NAO als een soort veredelde Daisy-speler gesproken boeken, kranten en tijdschriften zouden kunnen laten afspelen en voorlezen. Je wilt een boek kunnen stoppen en de volgende keer op hetzelfde punt verder gaan. Je wilt het geluid harder en zachter kunnen zetten en naar een specifieke pagina of een specifiek artikel gaan. En dat allemaal bestuurd met spraak. Binnenkort starten we met een project om spraakbesturing toe te voegen aan  de Daisylezer, onze Daisy-app. Uit de gesprekken met onze doelgroep over NAO kwam duidelijk naar voren dat de spraakbesturing een ontzettend belangrijk element vormt.

Wederkerigheiduitsnede Peter

We spraken niet alleen met kinderen van 9 en 10 jaar, maar organiseerden ook een Meet & Greet tussen NAO en jongeren (onze Club Orange leden) en volwassenen die op latere leeftijd blind of slechtziend werden (bezoekers van revalidatiecentrum Visio Loo Erf). “Wat kan een robot betekenen voor jou?” blijkt een lastige vraag. Maar als de brainstorm op gang komt, buitelen de ideeën over tafel. Veel gaat over beeldherkenning: zien wie er voor de deur staat, herkennen of ik een vlek in mijn kleding heb, vertellen welke bus er aankomt, iets terugvinden, kleding-/kleuradvies. Vaak gaat het over handelingen: schoonmaken, veters strikken, in- en uitchecken in het OV, nagels lakken, iets oprapen dat gevallen is. Deels gaat het over toegankelijk informatie: post voorlezen, verpakkingen lezen, notuleren, voorlezen huisnummers en klaslokaalnummers. En heel belangrijk sociaal-emotionele aspect blijkt de wederkerigheid. “Van een robot verwacht je toch iets anders dan van bijvoorbeeld een telefoon.” Een robot wordt je maatje. Hoe hij eruit ziet, maakt daarbij niet uit. Hij biedt je hulp zonder verlies van zelfstandigheid of waardigheid. En dat is bijzonder waardevol.

Op 28 maart 2016 was het zover: NAO, de langverwachte robot kwam op stage bij Telecats in Enschede. Wij, een paar jonge en enthousiaste ontwikkelaars bij Telecats, hadden de vorderingen van en met NAO al op de filmpjes van de Radboud Universiteit gezien en dachten direct: dat kan wellicht nog beter!

Oorspronkelijke ideeën

De eerste dagen werden, naast het aan de praat krijgen van NAO, vooral besteed aan het opperen van spectaculaire ideeën en het daarna downsizen tot iets dat in een maand haalbaar was. Het resultaat bestond uit drie items:

  1. Inzetten als de nieuwe contact center medewerker (niet uitgevoerd)
  2. Gemeente receptionist demo
  3. Verzorging introductie op de Multichannel Conferentie

Idee a) was aardig maar niet heel realistisch: het is tenslotte een tikkie zinloos om een robot als NAO aan de telefoon te zetten. Dat kan veel mooier en beter met een goede Avatar.

Oriëntatie fase

Een van ons, Mike Kolkman, had tijdens zijn afstuderen al ervaring opgedaan met NAO en ging direct aan de slag om NAO te laten doen wat het eerder al had gedaan. Helaas was er geen documentatie meegeleverd zodat begonnen werd met een fikse zoektocht op internet. Om het voor diegene na ons makkelijker te maken, besloten we onze ervaringen ook op “papier” te zetten zodat we een soort “beginner’s guide” zouden krijgen. Deze gids komt binnenkort beschikbaar via de NOTaS-website.

De volgende stap bestond uit het “spelen” met de bestaande, lees: geïnstalleerde, applicaties, het doorgronden van hun werkwijze en het inlezen in de gevonden web-documentatie.

tukker

Taal

Het was ons opgevallen dat onze academische voorgangers alles in het Engels hadden gedaan. Niks mis mee, maar als TST-bedrijf in Nederland zou het toch mogelijk moeten zijn om de communicatie met NAO in het Nederlands te laten verlopen. Er werd door enkele collega’s nog gevraagd of het ook in het Tukkers kon, maar dat hebben we even gelaten voor wat het was: een leuk idee, maar nu even niet.

Om NAO in het Nederlands aan de praat te krijgen, moesten we een eigen developer-account aanmaken en dat aan NAO koppelen. Zo gezegd, zo gedaan en nu waren ook alle default applicaties gekoppeld.

Moppentrommel

Toen dit allemaal gedaan was hebben we de Choregraphe-toolsuite uitgeprobeerd door een “moppentrommel applicatie” te maken. Als je nu aan NAO vraagt "vertel eens een mop" dan doet ie dat en maakt NAO je dikwijls aan het lachen. Om de Moppentrommel te draaien, moet het programma eerst handmatig vanaf de computer worden gestart. De source code is op te vragen bij Telecats, zodat anderen deze applicatie kunnen uitbreiden en verbeteren.

Gemeente receptionist

Na de eerste “spielereien” werd het tijd voor een meer serieuze aanpak. Onze eerste vraag was: “Hoe kunnen robots gebruikt worden als eerste aanspreekpunt in een gemeentehuis setting?

Telecats ontwikkelt al lang software waarmee burgers die de gemeente bellen semiautomatisch door een computer geholpen worden bij hun vragen. Het leek een leuk idee om nu eens te zien of deze Q&A-software ook gebruikt kan worden met een echte robot. In plaats van de vragen via de telefoon te stellen, doe je dat dan face-to-face met een robot zoals NAO.

De uitdaging zat hier in het gebruik van meerdere modaliteiten. Naast spraakherkenning en spraaksynthese moeten we ook gebruikmaken van beweging: de camera waarmee NAO jouw bewegingen “ziet” en arm, been en lichaamsbewegingen waarmee NAO zijn verhaal aan jou kan ondersteunen.

dia struct

De structuur was erg eenvoudig: NAO verwelkomt de bezoeker en vraagt waarmee hij kan helpen. De bezoeker geeft aan voor welk van de 4 mogelijkheden (verlengen paspoort, aangifte geboorte, aanvragen parkeervergunning, afspraak maken bouwvergunning) hij komt en vervolgens stelt NAO vragen die relevant zijn voor de gemaakte keuze. Als aardigheidje kan NAO een pasfoto maken voor het geval je er zelf geen bij je hebt. De vier dialogen staan als video op het YouTube kanaal.

Multichannel conference

Tegen het einde van NAO’s verblijf bij Telecats was er de Multichannel conferentie in Utrecht. Telecats hield daar een verhaal over het gebruik van spraaktechnologie in call centers maar maakte ook duidelijk dat over een aantal jaren (wellicht) robots hun plek zullen opeisen. Om de mogelijkheden van NAO te laten zien, werd verteld dat NAO de nieuwste medewerker van Telecats was en demonstreerde NAO een Gangnam style dansje en verkondigde hij het statement dat (ro)bots binnen 5-10 jaar de meeste contact center medewerkers zullen vervangen. Gelach en ongeloof maar wie weet……

naoConclusie

Hoewel we al eerder ervaring hadden met NAO, was deze hernieuwde kennismaking beslist erg leuk! We hebben NAO rond laten lopen op kantoor en gesprekjes laten beginnen met willekeurige Telecats medewerkers. Vooral zijn stellige bewering dat hij wel even het "management zou overnemen" ontlokte veel enthousiasme, hoewel het management daar duidelijk anders over dacht. Het is er dan ook niet van gekomen.

Maar serieus: NAO, hoe onbeholpen in sommige opzichten ook, maakt wel duidelijk dat het snel kan gaan met de invoering van robots op de werkvloer. Nu zijn de spraak en begrijp-capaciteiten nog beperkt, maar als NAO straks direct toegang heeft tot allerlei AI-tools en de spraakherkenning en synthetische spraak voldoende goed worden, dan staat daar een “Menneke” om U tegen te zeggen!

De beginner's guide staat op de NOTaS-site en andere NOTaS-deelnemers kunnen altijd bellen als ze hulp nodig hebben.

 

Mike Kolkman en Gregor Ybema