Gesproken en geschreven chatbots

Achtergrond

Al sinds de eerste jaren van het internet, bestond er de behoefte om te kunnen zoeken in de content die datzelfde internet ontsloot. Ging het in eerste instantie nog met specifieke zoektechnieken zoals Boolean Search, later kwamen er meer verfijnde technieken die over het algemeen beter aansloten bij de manier waarop mensen gewend waren te zoeken.

KarelEnDeElegastDe antwoorden op een zoekvraag waren en eigenlijk zijn nog steeds vrij simpel: hier heb je een lijst met verwijzingen (links naar andere website, naar documenten, video’s, etc) waarin volgens ons zoekalgoritme het juiste antwoord hopelijk staat. Succes ermee!

Dit is lang niet altijd verkeerd. Wil ik iets weten over “Karel en de Elegast” dan is er niets mis mee dat ik een lijst met verschillende verwijzingen naar informatie over dit heldenepos krijg. Ik kan die bekijken en zelf beslissen welke documenten ik hierover wil lezen of bekijken.

Anders ligt het wanneer ik wil weten wat “Karel en de Elegast” is. Dan wil ik een kort antwoord: “een heldenepos uit 1270 over de avonturen van Keizer Karel de Grote (748-814)”.

De eerste manier van zoeken-vinden is, zeker sinds de komst van Google, enorm uitgebreid en goed en wordt niet-voor-niets dagelijks door honderdduizenden Nederlanders gebruikt. De tweede, waarbij je een antwoord wilt hebben op een gestelde vraag (en dus niet: hier kun je het antwoord waarschijnlijk zelf vinden), is veel minder goed ontwikkeld. Met de komst van Linked (Open) Data, RDF, Wikipedia en vooral DBpedia is daar veel in verbeterd. Zoek je nu naar bv Telecats, dan krijg je links nog steeds de lijst met wellicht relevante documenten, maar aan de rechterkant krijg je een soort antwoord in de vorm van wat plaatjes van het gebouw, de sluitingstijden (wij schijnen al om 17:30 te stoppen met werken) en een plattegrond van de omgeving.

telecats LODAntwoord op de zoekvraag "wat is Telecats".
Het antwoord wordt gegeven via een aantal voor bedrijven relevante gegevens zoals openingstijden, locatie, eigenaren en meer.

Dit is een mooie ontwikkeling en zal ervoor zorgen dat het internet steeds meer ook een soort vraag-antwoord karakter zal krijgen. Maar dit geldt voor de informatie die “publiek” ontsloten is en waar zoekmachines dus makkelijk bij kunnen. Bovendien is het zo dat Google (en andere zoek engines zoals BING - Microsoft) bepalen welk antwoord jij gaat krijgen.

Zoals de affaire rond Facebook - Cambridge Analytics heeft laten zien, is het zeker niet zo dat de gegeven antwoorden “waarde vrij” zullen zijn. Het antwoord kan afhangen van de computer die je gebruikt, eerdere zoekvragen, je IP-adres, etc. Bovendien is het zo dat eigenaren van de content slechts in zeer beperkte mate invloed hebben op de antwoorden die gegeven worden.

Gaan we bij Google zoeken naar hoe zet ik een Billy in elkaar dan krijg ik als eerste antwoord een YouTube-filmpje, dan een aantal verwijzingen naar handleiding.com en op de vijfde plek een soort scheldkanonnade.

 

ikeaEen wat overtrokken en onterecht antwoord maar door de vraag-antwoorden “uit te besteden” aan internet, is IKEA hier bijna alle controle kwijt.

Zoeken in de eigen content

Om hier iets aan te doen, moet een leverancier het mogelijk maken om bijvoorbeeld via de eigen website alleen in de, door de leverancier goedgekeurde informatie te zoeken. Dat kan ook m.b.v.  Google maar dan krijg je weer die lijst met mogelijke documenten/links waarin je zelf de informatie moet opzoeken.

Chatbots

Joseph Weizenbaum's Eliza kan gezien worden als “De moeder van alle Chatbots”. Eliza werd geprogrammeerd om trefwoorden te matchen met een dataset in een gesloten domein. De meest populaire versie van Eliza lag op het gebied van de Rogeriaanse psychotherapie.

Q: ik voel me ongelukkig

A: wat vind jij daar zelf van?

Etc.

Om echt antwoord te geven op gestelde vragen werd in de jaren negentig een soort vraag-antwoord programma bedacht dat in 1994 bekend werd als Chatbot. Aanvankelijk werden gestelde vragen bijna geheel handmatig aan antwoorden gekoppeld: werkte goed, zolang de vragen maar leken op de voorbeeldvragen. Naarmate de taaltechnologie beter werd, werd het scala aan te beantwoorde vragen groter. Zo kon je vragen als “ik wil mijn abonnement opzeggen” en “hierbij zeg ik mijn abonnement op” aan elkaar gelijkstellen en daar een antwoord op geven.

En hoewel deze techniek zeer bruikbaar was, bleek al snel dat meer ingewikkelde vragen hiermee niet beantwoord konden worden. Ook ontkenningen (“ik wil mijn abonnement niet opzeggen, maar…”) zorgde voor veel problemen. Machine Learning waarbij niet alleen gekeken werd naar de woorden die wel in de vraag voorkwamen maar ook naar woorden die juist niet voorkwamen, bleek een uitkomst waardoor de chatbot-technologie weer een flink stuk robuuster werd. Wel werd het steeds meer duidelijk dat we voor deze technologie grote hoeveelheden beoordeelde data nodig hadden.

M.a.w. je hebt duizenden voorbeelden nodig van door mensen gemaakte vraag-antwoord paren. De komst van geavanceerdere zelflerende systemen (o.a. Deep Neural Networks) en grote hoeveelheden data, maakte het mogelijk de chatbot-technologie steeds beter te maken.

Avatars

De eerste vraag-antwoord applicaties bestonden allemaal uit een invoerregel en een submit-knop. In een tekstveld daaronder verscheen dan het antwoord. Al snel werd geprobeerd dit wat aantrekkelijker te maken door er een plaatje van een (meestal een mooi) meisje bij te zetten.

avatarDe volgende stap was een meer geavanceerde avatar die de antwoorden min-of-meer lip-synchroon uitsprak. Voor het voorlezen van het antwoord wordt danText-to-Speech gebruikt; een technologie die zo goed wordt dat het, bij korte antwoorden, nauwelijks meer van echt te onderscheiden is.

Toch zette deze trend van “namaak-mensen” niet echt door en gebruiken de meeste chatbots tegenwoordig een meer karikaturale avatar of slechts een plaatje met een tekstueel antwoord. De mensachtige avatars voegden weinig nut toe maar kosten wel veel overhead voor het animeren.

Gesproken chatbots

Naarmate de spraakherkenning beter werd, werd steeds vaker geëxperimenteerd met gesproken chatbots waarbij zowel de vraag als het antwoord via spraak gingen. Ideaal voor situaties waarbij je je handen nodig hebt of waarbij het verboden is om het toestel aan te raken (mobiele telefoon in de auto). Een van de bekendste voorbeelden is natuurlijk TomTom waarbij je het adres volgens een vast stramien (stad, straat, huisnummer) kon inspreken, waarna het kastje je zo snel mogelijk naar het juiste adres leidde.

De grote doorbraak kwam met het verschijnen van SIRI voor iOS (2011). Aanvankelijk alleen voor het Engels, maar later ook voor andere talen. SIRI was toentertijd erg revolutionair en er werd enorm veel van verwacht. Er verschenen talloze filmpjes waarin mensen vroegen of ze een paraplu moesten meenemen, of SIRI de kookwekker op 3 minuten kon zetten of dat SIRI iemand op z’n mobiele nummer wilde bellen. Later kwamen daar ook “Location Based Services” bij waarbij je kon vragen of er een goed Italiaans restaurant in de buurt was. Het initiatief van Apple werd snel gekopieerd door Google (Google Now, 2012) en Microsoft (Coratana, 2013).

En hoewel de spraakherkenning bijna vlekkeloos werkt, werd snel duidelijk dat het succes van dit soort Avatars afhang van de aanwezigheid van “context informatie”. Ook al herkent de app perfect de ingesproken zin “wat is de dichtstbijzijnde Volvo-garage”, zolang de app niet weet wat een Volvo-garage is en als ie het wel weet, waar die garage dan is, heb je er weinig aan. Meestal volstaat SIRI met het vertalen in tekst van de ingesproken vraag om die vraag dan op internet te zetten. Je krijgt dan weer een lijst met Volvo-garages terug.

Google deed het al snel beter. Niet omdat de spraakherkenning beter was, maar omdat Google veel meer informatie had (heeft) en dus veel beter een juist antwoord kan componeren. Apple heeft op dit vlak duidelijk haar aanvankelijke voorsprong verspeeld.

Praatpalen

praatpaalDe grote doorbraak kwam in 2014 met de praatpaal van Amazon: Alexa. De goede spraakherkening, de open structuur (veel API’s beschikbaar) en de makkelijke bediening werd Alexa snel zeer populair en dus gekopieerd door Google (Google Home. 2016).

Met beide praatpalen kun je je huis automatiseren (lichten aan/uit doen, de voordeur openen/op slot doen, je favoriete speellijst afspelen en nog veel meer. Het is dan ook te verwachtten dat dit soort praatpalen de rol van chatbots voor een deel gaan overnemen. I.p.v. je energieleverancier te bellen met een vraag over je voorschotbedrag, stel je die vraag straks aan Alexa/Google Home/Coratana/SIRI (zie hiernaast).

Als die praatpaal dan jouw informatie heeft, kan die contact leggen met jouw energieleverancier om te achterhalen wat jouw voorschotbedrag is.

Maar ook hier geldt het eerder genoemde bezwaar: de content-eigenaar is hier niet volledig de baas over de dialoog. Opnieuw zijn het de grote Amerikaanse Techgiganten die “eigenaar” zijn over “jouw” vraag-antwoord applicatie.

Gesproken Chatbots

Naarmate de spraakherkenning beter wordt, wordt de vraag om volledig gesproken chatbots op de eigen website steeds groter. Je zou denken dat, als je eenmaal een tekstuele chatbot hebt, het eenvoudig moet zijn om hem voor spraak geschikt te maken. Het antwoord hierop is ja en nee. De structuur van de dialoog kan eenvoudig hergebruikt worden en de tekstuele invoer vervangen door de resultaten van de spraakherkenner. Het antwoord geef je dan via Tekst-to-Speech en klaar is kees. Maar….. zo eenvoudig is het niet.

Ten eerste is het niet zeker dat het soort vragen dat je via spraak stelt gelijk is aan de vragen die je via tekst stelt. In 2010 hebben we dat bij Telecats eens uitgezocht voor FAQ’s. Toen bleek dat men andere soort vragen stelde via de web-interface (tekst) dan via de telefoon (spraak). Als je andere soort vragen krijgt, moet het systeem dus opnieuw worden getraind.

Ten tweede is het zo dat bij tekst-invoer je typo’s kunt maken, terwijl je bij spraak-invoer juist verkeerde woorden herkent (maar wel goed geschreven).

Website van de Spraakherkenner van de Universiteit Twente.
Een mooie mogelijkheid om eens zelf uit te testen hoe goed spraakherkenning voor jouw stem werkt.

Ten derde is het zo dat bij content-specifieke dialogen je dikwijls allemaal eigennamen en/of woorden in een andere taal dan Nederlands hebt. Stel je wilt bij dat leuke restaurant in de stad een aantal dingen om te eten bestellen. De algemene spraakherkenning gaat goed, maar de woorden “Assiette” “Clarenteries” of “Veau” worden gewoon niet herkend omdat a) ze anders worden uitgsproken dan dat de Nederlandse klankregels voorspellen, en b) de meeste Nederlanders ook niet weten hoe uitgesproken moeten worden en dus maar wat doen.

fransMenubord in het Frans van een Nederlandse Bistro.
Hoe leest een gemiddelde Nederlander dit voor?

 

De spraakherkenner geeft dan (intern, niet zichtbaar op het scherm) een <unk> (=unknown word). En nu zijn dit nog geeneens de lastigste voorbeelden?

Tenslotte is er de feedback. Bij veel succesvolle gesproken chatbots zie je wat je inspreekt direct op het scherm. Is de herkening verkeerd of heb je iets verkeerd ingesproken, dan zie je dat direct op het scherm (denk aan de gesproken invoer bij TomTom). Als het dan verkeerd gaat, dan weet je direct dat dat komt door of de herkenner of door jou. Je kunt de invoer dan makkelijk overrulen door het opnieuw in te spreken. Als je geen visuele feedback hebt (aan de telefoon) dan zul je er vanuit gaan dat bij verkeerde antwoorden het systeem gewoon niet werkt. Maar dat weet je pas als het verkeerd gaat.

Door deze vier “bezwaren” is het maken van een gesproken chat een stuk lastiger dan men dikwijls denkt en een eenvoudige copy-paste is helaas niet de aangewezen weg.

Toekomst

Is het gebruik van gesproken chatbots uitgesloten? Nee, dat niet maar we hebben hierboven (hopelijk) duidelijk gemaakt dat er best wel wat bij komt kijken en je dus niet direct een bestaande tekstuele chatbot kunt overzetten naar een gesproken versie. Met het (nog steeds) beter worden van de spraakherkenning en goede gesproken feedback is het zeker mogelijk om goede, gebruiksvriendelijke gesproken chatbots te maken zoals het overweldigende succes van Amazon’s Alexa laat zien. Het is alleen niet zo dat een werkende tekstuele chatbot makkelijk overgezet kan worden in een gesproken variant.

Arjan van Hessen

Beleefd zijn tegen je spraak-assistent

Een Kerstgedachte (sort-of)

alexaHet is bijna weer Kerstmis: een periode voor bezinning, gezellig met z’n allen voor de openhaard met warme wijn en veel zoetigheid. En als het goed is, is iedereen aardig tegen elkaar (dat is tenminste de verwachting). Maar hoe praten wij met Kerstmis met apparaten? En meer algemeen: hoe gaan we met Voice User Interfaces (VUI) om? Zien we deze steeds slimmere en persoonlijker apparaten steeds meer als persoonlijkheden en benaderen we ze dan ook zo, of blijven het in onze ogen gewoon dingen van metaal en kunststof en praten we ertegen zoals het ons uitkomt?

De populariteit van spraakgestuurde diensten is, vooral dankzij Amazon’s Alexa, het afgelopen jaar enorm gestegen en zal nu zowel Amazon als Google hebben aangekondigd vanaf het voorjaar van 2018 ook Nederlands te gaan ondersteunen alleen maar toenemen.

mediumIn een interessant artikel op Medium gaat Cheryl Platz uitgebreid in op de manier waarop we met onze VUI’s zouden moeten, kunnen of willen “communiceren”.

Het artikel is uiteraard vanuit Amerikaans perspectief geschreven wat inhoudt dat de veronderstelde beleefdheidsnormen een stuk hoger liggen dan wij in Nederland gewend zijn. Ze schrijft dat in haar tijd bij Amazon ze ongeveer eens per maand een mail van verontruste ouders kregen met als strekking: "Mijn kinderen zijn onbeleefd tegen Alexa. Wij vinden dat Alexa alleen moet reageren als de kinderen er “a.u.b.” bij zeggen" (bv. “Alexa, turn on the lights please”)!
De ouders, zo bleek uit de verschillende mails, vonden het niet per se verkeerd om zo tegen een machine te praten, maar maakten zich zorgen over het aanleren van ongewenst gedrag: “Als ze dit leren dan gaan ze straks ook zo tegen mensen praten”!

Lokaliseren

Natuurlijk, dit “geplease” is heel Amerikaans en Cheryl geeft zelf al aan dat beleefdheid, hoewel als concept universeel, in de uitvoering ervan van land-tot-land sterk kan verschillen en dat implementatie van zo’n beleefdheidsmodule in het beste geval een kostbaar en glibberig concept zal zijn. Verder is beleefdheid ook sterk sociaal bepaald. Want als mijn 20-jarige neefje op bezoek is en mij op een vriendelijke toon vraagt “Oom Arjan, mag ik een biertje?”, dan hoeft er wat mij betreft zeker geen a.u.b. achter, maar als dezelfde vraag van een mij grotendeels onbekende student komt, ligt dat toch iets anders.

Maar hoe zit dat nu wanneer we met “apparaten” spreken via de steeds betere en steeds meer gepersonaliseerde VUI’s? Willen we dan dat “men” beleefd is tegen zo’n apparaat en zo ja waarom?

Een dikwijls gehoord argument is dat door gebruikers te stimuleren beleefd te zijn (tegen apparaten) ze ook eerder beleefd tegen anderen zullen zijn en dat is dan goed voor de maatschappij. Interessante gedachte maar is het ook zo?

Nederlanders versus Duitsers

Een aantal jaren geleden deden we een evaluatie van de dialogen in het Europese project ARISE over gesproken treintijden (“Ik wil morgenochtend om 10:00 uur van Utrecht naar Enschede”). Wat opviel was dat de Duitsers veel beleefder waren dan de Nederlanders. Ze begonnen een vraag dikwijls met “Bitte” en als eenmaal de juiste informatie gegeven was (“De trein vertrekt om 10:05 uur van perron 14”) dan werd het systeem daadwerkelijk beleefd bedankt “vielen Dank und auf Wiedersehen”. Nederlanders daarentegen hingen meestal direct op nadat ze gehoord hadden wat ze wilden weten.

Maar waarom zou je nu een VUI willen bedanken? Die computer maakt het echt niets uit! Blijkbaar is beleefd zijn iets dat bij Duitsers is ingebakken en bij ons (ietsje) minder aanwezig is.

Maar terug naar de vraag: willen we dat men beleefd omgaat met VUI”s en zo ja, hoe gaan we dat dan regelen?

Afdwingen van beleefdheid

cortanaWanneer we de mensheid willen opvoeden en proberen af te dwingen dat men beleefd tegen apparaten spreekt, dan kunnen we dat proberen te doen door interactief te reageren op de manier waarop de vraag gesteld wordt. Stel dat je Microsofts Cortana het volgende vraagt:
“Cortana, zet de wekker op 7 uur ’s morgens”. Dan kunnen systemen grofweg op de volgende 4 manieren reageren:

  1. Niet antwoorden. Als men de vraag niet beleefd stelt, gewoon niet doen wat er gevraagd werd, maar aangeven dat een “alstublieft” verwacht wordt.
    Cortana: “je bedoelt alsjeblieft?”
  2. Positieve feedback. Wel reageren maar aangeven dat het ook beleefd gevraagd had kunnen worden.
    Cortana: “Alsjeblieft, de wekker staat ingesteld op 7 uur in de ochtend!”
  3. Positieve stimulatie. Wel doen wat er gevraagd werd, maar ook laten weten dat het anders gevraagd had kunnen worden.
    Cortana: “De wekker staat op 7 uur. maar... wil je in het vervolg met twee woorden spreken, alsjeblieft”
  4. Spiegelen. Op dezelfde manier antwoorden als de vraag gesteld wordt.
    Cortana: “Staat op 7 uur!”

De eerste drie vormen komen op mij wat prekerig over en zeker als je hoofd er niet naar staat, kan het tot een enorme ergernis leiden als zo’n (stomme) computer niet doet wat je wilt omdat je het niet aardig vraagt. Maar… wellicht dat het bij kinderen toch zou helpen om hen in ieder geval te laten realiseren dat het ook beleefd gevraagd had kunnen worden.

Spiegelen

Persoonlijk zou ik het liefst zien dat de computer mijn gedrag spiegelt. Als ik haast heb of om wat voor redenen dan ook mijn hoofd er niet naar staat, dan zou ik het niet erg vinden om op een bruusk gestelde vraag een dito bruuske reactie te krijgen. Ik heb haast, stel een korte vraag en wil waarschijnlijk snel een korte reactie.

Als ik daarentegen vrolijk ben en de computer op een beleefde wijze een vraag stel, dan wil ik waarschijnlijk ook wel op zo’n wijze beantwoord worden: “Hee Cortana, zou je alsjeblieft de wekker op morgenochtend 7 uur willen zetten?” -> “Ha Arjan, ik heb het gedaan hoor. Om 7 uur loopt ie af. Moet ik nog iets anders doen?” -> “Hee Cortana, nee hoor en bedankt”.

googleDie laatste conversatie klinkt wellicht wat overdreven, maar omdat bijna alle huidige VUI’s pas reageren als je eerst het activeringswoord uitspreekt (Hee Cortana, Hi Alexa, OK Google), moet je dat wel doen. Alleen “Nee hoor en bedankt” leidt dan ook tot niets.

Maar die keuze tot spiegelen is persoonlijk en je kunt je voorstellen dat organisaties met een eigen stijl (bv IKEA met het hun typerende “je” en “jij”) altijd op een hun eigenwijze willen doen.

Realisering

Maar stel nu dat we dat spiegelen inderdaad zouden willen, hoe doen we dat dan?

Het is waarschijnlijk niet eenvoudig om iedereen op precies dezelfde manier als waarop de vraag gesteld wordt te antwoorden. Maar we zouden wel bijvoorbeeld drie beleefdheidscategorieën kunnen definiëren (onbeleefd, neutraal, beleefd) en iedere gestelde vraag met een van deze categorieën kunnen labelen. Wanneer het niet helemaal duidelijk is in welke categorie een vraag thuishoort, kies je voor de zekerheid de hoogste.

Het toekennen van een categorie kan gedaan worden middels woorden en tijdsduur. Wanneer bepaalde woorden wel of juist niet aanwezig zijn (hallo, goedemorgen, alsjeblieft, etc.) en wanneer de gemiddelde tijdsduur van de vraag onder of juist boven de gemiddelde duur ligt, dan zijn dat indicatoren voor de manier waarop de vraag gesteld werd.

De VUI kan dan besluiten om, indien mogelijk, op eenzelfde wijze te reageren. Wel houdt het in dat de verschillende wijzen om te reageren voorgeprogrammeerd moeten worden en dat is waarschijnlijk een hoop extra werk.

Huidige status

Hoe doen de huidige VUI’s het nu? Waarschijnlijk doen ze niets met de wijze waarop de opdracht gesteld werd zoals deze twee screenshots laten zien. In beide gevallen werden de lichten keurig uitgedaan.

siri uit lang siri uit lang

De reactie van SIRI is onafhankelijk van de manier waarop je het vraagt.

Tone of voice

Wat vooralsnog buiten beschouwing blijft is de “tone-of-voice”: de vocale realisatie van de gestelde vraag. Wij mensen kunnen hier makkelijk mee spelen en daardoor ook een korte vraag toch op een aardige manier stellen. Denk aan “Hee, heb je de garage gebeld?” dat je op verschillende manieren kunt uitspreken. Maar een goede analyse van deze tone-of-voice is niet eenvoudig en bovendien spelen hier de verschillende manieren waarop dit in de verschillende landen en sociale groepen gedaan wordt een grote rol. Voorlopig maar afblijven dus. Maar zo’n simpele, spiegelende VUI lijkt me wel wat.

Conclusie

Het zeer lezenswaardige artikel van Cheryl Platz is duidelijk vanuit een Amerikaanse context geschreven. In de Verenigde Staten is men waarschijnlijk meer dan bij ons in Nederland gericht op beleefdheid bij het voeren van een conversatie en dus is het te verwachten dat ouders zich zorgen maken over de in hun ogen onbeleefde manier waarop kinderen tegen VUI’s zoals Alexa of Siri kunnen spreken. In Nederland kijken we waarschijnlijk iets losser tegen deze veronderstelde degeneratie van de omangsvormen aan, maar het is de vraag of ouders echt zitten te wachten op tegen Siri vloekende pubers. Zeker met Kerstmis iets om bij stil te staan.

siri pjdAls je “verkeerde” taal gebruikt dan herkent SIRI dat uitstekend, maar ze kan er niets mee zoals uit haar reactie blijkt.

 

Verslag NOTaS-deelnemersbijeenkomst bij DANS

IMG 0113NOTaS-deelnemers aan tafel bij de directeur van DANS Peter Doorn (rechts).

Op 15 december 2017 was NOTaS op bezoek bij DANS. Heel NOTaS? Nee, een kleine delegatie van drie personen hield moedig stand tegen andere verleidingen en meldde zich om 10 uur op de Anna van Saksenlaan. De ontvangst was allerhartelijkst en ons klein getal stond een plezierige en inhoudelijk boeiende bijeenkomst bepaald niet in de weg.

Welkom

Directeur Peter Doorn van DANS beet het spits af met een inleiding over wat DANS doet en dat is bepaald indrukwekkend. De kern wordt gevormd door:

  1. het EASY-systeem (een self-deposit-systeem met Dublin Core metadata),
  2. DATAVerse (voor gevanceerde opslag en toegankelijkheid van data),
  3. NARCIS (met inmiddels 1,5 M publicatiegegevens en metadata van 165 K datasets).

Nieuwe samenwerking speelt zich af met Elsevier dat zijn data in Mendelay beschikbaar stelt. Daarnaast wordt ook software opgeslagen in een samenwerkingsverband met Inria, en wordt er met de Brill het Research Data Journal  for the Humanities and Social Sciences uitgegeven. Ook wordt er nu ingezet op de European Open Science Cloud (EOSC) waar publicaties, data, software, onderzoek en innovatie samenkomen.
Peter sloot zijn presentatie af met een kort exposé over de gevolgen van de nieuwe Europese wetgeving op het gebied van bescherming van persoonsgegevens (AVG ofwel GDPR). DANS is bezig met een beslisboom en bijbehorende vragenlijst waarmee een onderzoeker de juiste data-tag aan zijn/haar data kan hangen.

IMG 0108Vyacheslav Tykhonov legt uit hoe Linked Open Data bij DANS gebruikt wordt.

LOD

Hierna volgde een presentatie van Reinier van de Valk en Vyacheslav Tykhonov over Linked Open Data. Reinier vertelde ons over de principes erachter waarbij termen als URI’s, RDF, triplestores, GraphQLen SPARQL ons om de oren vlogen. Na deze mooie inleiding liet Vyacheslav ons zien hoe DANS met Linked Open Data experimenteert op het gebied van metadata-verrijking.
De metadata van EASY en NARCIS worden naar RDF triples geconverteerd waarbij Timbuctoo (ontwikkeld binnen CLARIAH) een centrale rol speelt.
De gemaakte triples moeten echter voor een deel nog wel door de betrokken onderzoeker gecheckt en gecorrigeerd worden en dat is nog best een klus. Prachtige visualisaties van het huidige LOD netwerk zijn overigens te zien op http://lod-cloud.net.
Hoover maar eens over de knopenwolk, zoom in en verbaas je.

Oral History

Als laatste nam Ilona von Stein ons mee naar de AV-collecties voor Oral History. Bij DANS staan er 2734 datasets in 68 collecties, samen 5% van alle datasets bij DANS. Deze collecties zijn ook interessant voor gebruikers buiten de wetenschap, zoals archieven (m.b.v. het OAI-PMH-protocol) en Veteranen-organisaties. Ilona liet ons zien hoe zorgvuldig deze data aan het DANS-repertoire worden toegevoegd omdat het om persoonsgevoelig materiaal gaat. Toegang tot de data geschiedt door verspreiding van de metadata aan 17 grote repositories en de toegang tot de onderliggende AV-data (voor zover toegestaan) via streaming met Springfield WebTV. Om de toegankelijkheid te vergroten heeft DANS met externe partners een systeem opgezet om de beschikbare video-opnames via automatische oplijning en transcriptie te ondertitelen. DANS is met de partners van http://oralhistory.eu op zoek naar subsidiëring van verdere projecten.

DANS en CLARIN

Na en deels ook tijdens deze presentaties vonden geanimeerde discussies plaats over de relatie tussen DANS en CLARIN datacenters, de toename van datasets bij DANS en het aantal open access datasets, hoe er in verschillende disciplines tegen open access wordt aangekeken, hoe bedrijven gebruik kunnen maken van deze dataverzamelingen, wat er nodig is om de data geschikt te maken voor taal- en spraak­technologische toepassingen, enzovoorts.

Daarna was er een voortreffelijke lunch waarbij de discussies in klein comité gewoon doorgingen tot we om een uur of een echt moesten stoppen.

goetheHet was een mooie ochtend. J.W. Goethe heeft eens gezegd:
Wie fruchtbar ist der kleinste Kreis, wenn man ihn wohl zu pflegen weiβ”. Welnu, bij DANS weten ze hoe dat moet.

 

 

Henk van den Heuvel & Oele Koornwinder

Verslag NOTaS-bijeenkomst bij het INT

NOTaS in Leiden

Vrijdag de 13de: je zou denken dat er wellicht een andere datum gekozen had kunnen worden voor de deelnemersbijeenkomst in Leiden bij het Instituut voor de Nederlandse Taal (INT). Maar…..het bleek allemaal mee te vallen. Enige “ongeluk” bleek de afwezigheid door ziekte van een van de beoogde sprekers: Dirk De Hertog van KU Leuven, Edulab.

Ondanks het labyrintische gebouw bleek iedereen toch de juiste zaal te kunnen vinden alwaar NOTaS-voorzitter Staffan om 10:15 de bijeenkomst opende.

INT

frieda

Daarna hield de directeur van het INT Frieda Steurs een indrukwekkend verhaal over alle data die het INT heeft en beschikbaar stelt. Dat het INT veel heeft was wel bekend maar toch werd ik aangenaam verrast. Niet alleen bleek dat heel veel gewoon online beschikbaar is, maar ook dat het INT ernaar streeft om zoveel mogelijk ook via API’s toegankelijk te maken. Het INT is tegenwoordig ook een CLARIN-B-center hetgeen inhoudt dat veel materiaal op een min-of-meer gestandaardiseerde wijze beschikbaar is voor onderzoekers en andere geïnteresseerden.

Dat houdt in dat binnen afzienbare tijd we bv. woordenlijsten, werkwoordsvormen en andere zaken gewoon via onze eigen software kunnen benaderen.

ANWEen mooi voorbeeld is het ANW: het grootste woordenboek ter wereld. Nu kun je daar een woord per keer opzoeken, maar straks kun je vanuit je eigen software ieder woord direct opzoeken. Ook woordenlijst.org mag genoemd worden als de plaats waar de correcte spelling van het Nederlands wordt aangeboden en waarvan het Groene Boekje een uittreksel bevat. En er was nog veel meer. De PowerPoint van Frieda’s verhaal kan hier bekeken worden.

CLARIN/CLARIAH

jan notas

Daarna was Jan Odijk, directeur CLARIAH-NL, aan de beurt om een overzicht te geven van al het materiaal dat via de verschillende CLARIN-centers in binnen en buitenland beschikbaar is. Ook hier weer een enorme hoeveelheid data en tools die niet alleen voor onderzoekers, maar ook voor TST-bedrijven beschikbaar zijn. Met name de NER-tool die Jan liet zien, maakte mij nieuwsgierig: zou het lukken om die vanuit onze (Telecats) software rechtstreeks aan te spreken?
De presentatie van Jan Odijk, inclusief allerlei links, staat hier.

Koffie

Na de koffie was eigenlijk de beurt aan Dirk De Hertog, maar die was er dus niet. Frieda nam het op zich om zijn verhaal te vertellen: powerpoint-karaoke :-). Een mooi overzicht van de mogelijkheden in Vlaanderen (en vooral in en rondom Kortrijk en Leuven) voor startups om iets te doen met Taal- en Spraaktechnologie. Veel van de aanwezigen waren hier zo enthousiast over dat besloten werd te onderzoeken of we een volgende bijeenkomst misschien daar in Leuven zouden kunnen houden. De door Frieda gegeven presentatie van Dirk staat hier.
Wordt vervolgd.

Discussie

Het laatste deel van de bijeenkomst was bedoeld voor discussie over het aanbod van data en tools. De openingszet kwam van Inge de Mönnink van Dedicon. Zij merkte het volgende op:

  • Data is niet of lastig te vinden, niet te bereiken, dikwijls niet goed genoeg voor de toepassing (slechts bruikbaar als startpunt) of domweg te duur om mee aan de slag te gaan als bedrijf.
  • Voor de tools geldt hetzelfde, maar die zijn bovendien onvoldoende gestandaardiseerd en gedocumenteerd voor gebruik door derden. Die derden zijn niet alleen bedrijven, maar ook andere onderzoekers.

Dit is doodzonde, gezien de rijke variatie aan materialen en tools die beschikbaar zijn. Dus áls het een doel is van de instellingen en projecten zoals het INT, CLARIAH en CLARIN-EU om materialen en tools ruim beschikbaar te stellen, expliciet ook aan bedrijven, dan moet komende jaren vooral aandacht zijn voor het verbeteren van deze genoemde punten.

Veel van de aanwezigen hadden een gelijksoortige ervaring (o.a. Telecats met SPRAAK, de KU Leuven spraakherkenner). Anderen betoogden dat het ook niet de taak van het INT/CLARIAH is om “kant-en-klare” software aan te bieden. Het zijn tenslotte geen softwareontwikkelaars!

Maar….. er was toch wel de wens van veel aanwezigen dat de software en data die beschikbaar zijn, door anderen gebruikt kunnen/gaan worden. Voor de bedrijven is het gaaf om de geavanceerde spullen te gebruiken, en voor de “leveranciers” is het goed als zij hun financiers kunnen laten zien dat het gebruikt wordt. Om een en ander te stimuleren zal er onder leiding van Catia Cucchiarini met een ter plekke geformeerde werkgroep een vervolgbijeenkomst georganiseerd worden waarin experts informatie geven over het gebruik van de verschillende data en tools en waarbij de aanwezigen concreet aan de slag gaan met beschikbare resources: een hands-on workshop!
Zo kan men ervaring opdoen met de mogelijkheden en onmogelijkheden. Ter voorbereiding zal aan bedrijven en kennisinstellingen gevraagd worden welke waar zij precies behoefte aan hebben
.

Conclusie

Het onderwerp van de NOTaS bijeenkomst “Data en Tools bij het INT en CLARIAH” was wellicht niet de meest aansprekende, maar het was wel een zeer interessante bijeenkomst. Er werd veel nieuws gebracht en het onderwerp leefde bij veel van de aanwezigen zoals de verhitte discussie duidelijk maakte. Als instellingen als het INT en programma’s als CLARIAH er in zouden slagen de documentatie van hun resources/tools sterk te verbeteren en aansprekende demonstraties zouden maken om te laten zien hoe men bv de software zou kunnen gebruiken, dan zou het gebruik ervan beslist gaan stijgen.

NOTaS op InterSteno 2017

Intersteno 2017

Aanleiding

Ergens in het voorjaar van 2017 kwam het verzoek van Henk-Jan Eras namens de Dienst Verslag en Redactie (DVR) of ik het leuk zou vinden om op InterSteno 2017 in Berlijn een praatje te houden over het Telecats-Radboud project “Spreek2Schrijf” (S2S).

In het S2S-project gaan we proberen om met Moses (een soort GoogleTranslate) een software-tool te maken waarmee gesproken tekst automatisch kan worden omgezet in geschreven tekst. Dit om het werk van de medewerkers van de DVR te verlichten. Als het lukt, kunnen ze sneller een goed geschreven verslag maken.

Parallel CorpusHet bouwen van die tool gaat op een “BigData” manier waarbij we 100 uur opname van plenaire debatten gebruiken. Enerzijds hebben we de transcripties zoals die uit de spraakherkenner komen, anderzijds de officiële transcripties van de debatten zoals die door de medewerkers van de DVR werden gemaakt (de Handelingen). In feite beschouwen we de gesproken en de geschreven versie elk als een eigen taal en wordt het dus een vertaalprobleem met twee parallelle corpora.

InterSteno

InterSteno is een hybride conferentie. Enerzijds is het een echte conferentie (IPRS) met dit jaar het thema “Kwaliteit van de Verslaglegging”, anderzijds is het een wedstrijd waarin gekeken wordt wie er het snelst allerlei soorten audio mbv steno (shorthand transcription) kan transcriberen. De InterSteno bijeenkomst was van 21 tot 28 juli maar de eigenlijke IPRS-conferentie was op zondag 23 juli van 14:00 tot 18:00 en dinsdag 25 juli van 09:00 tot 18:00.

IPRS

IPRSIPRS (Intersteno Parliamentary and other professional Reporters’ Section) heeft als doel parlementaire en andere professionele verslaggevers samen te brengen en in staat te stellen kennis te nemen van voor de doelgroep relevante ontwikkelingen op het gebied van technologie, productiviteit, gezondheid en veiligheid, kwaliteitsstandaarden, rekrutering en training.

IPRS kijkt dus naar alle nieuwe ontwikkelingen op het gebied van verslaglegging en de vragen c.q. problemen die daarbij optreden. De stenografie-mensen richten zich vooral op de geschiedenis van steno en de huidige ontwikkelingen op dit gebied. Voorzichtig opmerken dat steno wellicht zijn langste tijd heeft gehad, werd dan ook niet door iedereen op prijs gesteld (😀).

Naar Berlijn

treinHoewel vliegen net iets sneller gaat, is de trein toch een stuk comfortabeler (zeker het tweede deel met de ICE) en natuurlijk milieuvriendelijker. Je kunt er werken, er is WiFi, goede koffie of een biertje, veel beenruimte en een tafeltje voor de laptop. Bovendien kom je in het hartje van de stad aan zonder al dat veiligheidsgedoe. En met de eerste trein van zondag zou ik keurig op tijd komen voor de opening van de IPRS-conferentie om 14:00.
En inderdaad: om 13:45 wandelde ik uitgerust het hotel binnen, benieuwd naar hetgeen de conferentie nu precies behelsde.

Dag een: opening

De openingsbijeenkomst was in een lange, smalle zaal en de projectie op het scherm was van 1 meter boven de grond tot aan het plafond: lekker groot dus! Maar dit hield in dat de mensen achterin eigenlijk niets konden zien: onderste deel van het scherm verdween achter de ruggen van de mensen op de eerste rijen en veel presentaties gebruikte een veel te klein font zodat het vanaf rij 5 al niet meer leesbaar was.

Real-time ondertiteling

Wat wel erg gaaf was, was de aanwezigheid van het bedrijf Text-on-Top. De medewerkers schreven met een VeloType "life" mee met wat er gezegd werd (zelfs in meerdere talen) en projecteerden die text over het bovenste gedeelte van de presentatie. Bovendien werd de getypte tekst zin-voor-zin via GoogleTranslate vertaald en naar speciaal geprepareerde tablets gestreamd worden. In de praktijk werkte dit behoorlijk goed waardoor de aanwezigen die het Engels minder machtig waren toch bijna realtime een redelijk adequate transcriptie in hun eigen taal te lezen kregen. Nadeel was wel dat de tekst over de bovenste 10% van het scherm geprojecteerd werd waardoor er nog minder van de PPT te zien was. Wellicht handig om de presenatatoren daar de volgende keer vooraf op te wijzen?

Programma

Het zondagmiddagprogramma bestond uit 2 delen. Het eerste over manieren om de kwaliteit van het werk (het maken van de handelingen) te beoordelen, de tweede over de inzet van TST voor de verslaglegging: wat is het en heb je er iets aan?

Kwaliteitsmeting

Een interessant verhaal over kwaliteitsmeting kwam van de Nederlandse DVR: “Checking turns against the audio – a system of peer evaluation in the Dutch Parliamentary Reporting Office”. Het ging om een systeem waarmee de kwaliteit van het werk van de DVR-medewerkers gemeten kan worden. Dit wordt gedaan door elkaar (anoniem) de maat te nemen middels het door iedereen laten beoordelen van 40 random geselecteerde korte uitschrijffragmenten. Methodologisch wellicht niet helemaal zuiver (elk fragment werd maar door een iemand beoordeeld), maar goed om te zien dat ze op deze manier proberen de overall kwaliteit te verhogen.

Voice Recognition

Een van de twee organisatoren, Carlo Eugeni van de universiteit van Pisa, gaf een mooi overzicht van de verschillende technieken en terminologie die binnen "Speech Technology" gebruikt worden. Zo stelde hij dat de term Voice Recognition een overkoepelende term is die onder meer Speech Recognition, Speaker Identification, Speaker Diarization omvat. Ben het er niet helemaal mee eens: zou gewoon de term Speech Technology gebruiken. Maar het was nuttig dat hij zo’n overzicht schetste en geeft goed aan hoe de verschillende terminologien door elkaar kunnen lopen.

Voor deze en overige programmapunten, zie hier op de IPRS-website.

Het publiek

Het publiek van de IPRS-conferentie bestond vooral uit medewerkers van verschillende nationale (o.a. Engels, Nederlands, Canadees, Duits) en regionale parlementen (Wales, Siciliaans, Vlaams). Gegeven de verschillende sessies die over techniek gingen, had ik verwacht een meer tech-geïnteresseerd publiek te treffen, maar dat was niet echt zo.
Over het algemeen waren er weinig vragen na afloop en de vragen die kwamen, werden door steeds dezelfde mensen gesteld. Deels zal dat te maken hebben gehad met het niet altijd even vloeiend zijn in het Engels, maar je kreeg ook het idee dat technologie dikwijls meer als een bedreiging dan als een nuttig hulpmiddel werd gezien en dat is jammer.
In de wandelgangen een praatje aangeknoopt met een vertegenwoordiger van de Duitse Bundestag. Doen jullie al iets op dit gebied? Nou nee, we zijn daar totaal niet mee bezig, een beeld dat later door anderen werd bevestigd.

De sprekers

Tenslotte bleken ook veel sprekers niet heel handig te zijn met computers waardoor er bij bijna iedere sprekerswisseling behoorlijk wat tijd verloren ging met het installeren van de presentatie, converteren van bestanden, verbinden van de laptop met het scherm en meer. Wellicht kan dit een volgende keer voorkomen worden door a) iemand aan te wijzen die dit regelt en b) door de presentatoren een afstandsbediening te geven waardoor ze de presentatie vanaf het katheder kunnen bedienen.

Ook waren niet alle sprekers even vertrouwd met het presenteren in het openbaar en in het Engels. Volkomen begrijpelijk, maar het voorlezen van papier leidde bijna nooit tot een boeiende presentatie. En dat was jammer omdat veel onderwerpen wel zeer de moeite waard waren. Het enige voordeel van het voorlezen was dat de meeste praatjes qua tijd niet uitliepen.

Ondanks het schrappen van de workshop liep de bijeenkomst toch nog uit waardoor we pas om 18:30 onze eerste "Hefe Dunkel" op het nog zonnige Berlijnse terras konden gaan drinken. Daarna: op naar het hotel in het bosrijke Dahlem-Dorf.

Dag twee: bijslijpen

Op maandag gingen de wedstrijden captioning gewoon door maar was het voor de conferentiegangers een excursiedag. Ik heb die aan mij voorbij laten gaan omdat mijn presentatie voor dinsdag, na de ervaring op zondag, beslist moest worden aangepast. Minder techniek en moeilijke woorden, veel meer slides met grotere fonts want anders zag men er toch niks van. Maandag werd daarom vooral besteed aan het onder een grote parasol in de zon zittend, afmaken en bijvijlen van de presentatie.

De middag werd afgesloten met een biertje met Cord Pagenstecher: een collega Oral History onderzoek aan de Freie Universität Berlin (5 minuten van het hotel). Gezellig en goed om te horen welke nieuwe projecten zij nu allemaal weer aan het opzetten zijn en wellicht biedt dit kansen voor een nauwere samenwerking in de nabije toekomst. Na de biertjes met Cord een pizzeria gezocht in het nabije Dahlem-dorf. De pizzeria bleek eigenlijk een soort grote Biergarten te zijn waarin bijna iedereen onder de parasol bleef zitten toen het toch wel heel hard begon te regenen.
Bij het betalen bleek weer eens dat Duitsers toch heel wat beschaafder zijn dan wij. Ik had gevraagd of ik per kaart kon betalen en dat kon. Echter, bij afrekening bleek dat het om een lokale bankkaart ging en niet om een pinpas of creditkaart. "Nou", zei het kassameisje, "5 minuten verderop zit een betaalautomaat: daar kun je geld wisselen". In het vertrouwen dat ik dat zou doen en ook zou terugkomen om te betalen, ging ze verder met haar werk. Ik geheel verbaasd: kon dus gewoon weglopen en de boel de boel laten! Het was vooral het vanzelfsprekende vertrouwen dat mij zo verbaasde: geen enkel wantrouwen jegens de klant.

stenoDag drie: praatje

Het weer was definitief omgeslagen en al bij het ontbijt goot het. Uitchecken en in 20 min met de U-bahn naar het Mediahotel op de Kurfürstendamm. Deze laatste conferentiedag was er een mix van verhalen over kwaliteit, spraakherkenning en vooral erg veel over stenografie: hoe het in de verschillende landen ontstaan was en waarom steno toch zo belangrijk is dat het niet mag verdwijnen.
Vooral dat laatste riep een hoop vraagtekens op bij mij: steno is uitgevonden om snel en goed een woordelijk verslag te kunnen maken van een gesprek of discussie. Zo werd in het stenosysteem "Groote" rond 1899 uitgevonden door Arnold Willem Groote. Hij was de assistent van een Nederlandse generaal en had een methode nodig om de woorden van die generaal op te schrijven terwijl ze op een paard reden. Fascinerend en voor die tijd bijzonder inventief, maar daar heb je tegenwoordig toch echt een heleboel andere mogelijkheden voor.

Ook deze dag werden alle praatjes op een paar na weer van papier afgelezen. In sommige gevallen ging het zelfs om duo-presentaties waarbij de een de tekst van papier voorlas en de ander meelas en op vooraf aangegeven momenten (kruisjes in de uitgeschreven tekst) op het knopje “volgende slide” drukte.

Wat moet je opschrijven?

De enige die ook het verhaal gewoon vertelde was John Vice: Editor of Debates of the House of Lords. En dit was volgens mij dan ook direct het beste en ook wel fundamentele verhaal (hij kon gewoon z’n moerstaal spreken, maar toch).
John Vice vroeg zich af hoe je nu op papier verslag legt van "fysieke zaken" die gebeuren tijdens het debat.

farageDenk daarbij bijvoorbeeld aan een speech van Nigel Farage in het Europarlement. Terwijl Farage zijn bekende verhaal over criminelen en buitenlanders houdt, steekt een andere parlementariër die schuin achter hem zit, een bordje omhoog met “He’s lying to you”. Erg komisch, maar hoe geef je zoiets in het verslag weer?

John onderkende 5 officiële strategieën:

  1. Schrijf alleen op wat er gezegd wordt
  2. Pas de woorden een klein beetje aan
  3. Voeg een beschrijving toe (tussen haakjes)
  4. Zinspeel op deze niet-verbale gebeurtenis
  5. Rapporteer alles voor zover mogelijk

Hoe gaat dat nu?

Interessante vragen die geïllustreerd werden met een groot aantal filmpjes van parlementariërs uit verschillende landen die zoiets deden. Bijvoorbeeld een groot mes meenemen in de House of Lords en daarmee zwaaien om aandacht te vragen naar "al die wapens op straat". De Speaker merkte slechts op dat het tonen van een wapen in het Britse Parlement verboden was. In het verslag werd aan deze toch een paar minuten durende act slechts aan gerefereerd met: [interuption].

Niet alleen papier?

BurkeOok vroeg John zich af of het niet tijd werd om ook op een andere manier dan alleen schriftelijk, verslag te leggen van hetgeen zich in het parlement voordoet. Naast een groot aantal video’s van parlementsleden die allerlei zaken (vissen, zwaard, Rode Boekje van Mao en meer) gebruiken om hun betoog te onderstrepen, liet hij zien dat dit niet alleen iets is van tegenwoordig. Op 28 december 1792 waarschuwde Edmund Burk zijn mede parlementsleden voor het gevaar van de Franse revolutie door zijn zwaard demonstratief op de grond te gooien. Dit werd niet beschreven in de officiele papers maar 2 dagen later verscheen er wel een spotprent van James Gillray over in de kranten. Een mooi voorbeeld van een historische multimediale presentatie.

Deze vraag sprak mij wel aan: wij (=computertechneuten & DH-onderzoekers) vinden al lang dat niet alleen het parlement maar ook andere overheidsdiensten (politietie, FIOD, Rechtbank) multimediaal zouden moeten kunnen rapporteren. Nu mag dat nog niet, maar of “alleen papier” het nog 10 jaar volhoudt……...

Spreek-naar-Schrijf

Mijn praatje (na de lunch) werd direct gevolgd door een door Rian Schwarz-van Poppel (Hoofd van de DVR en een van de organisatoren van deze IPRS-conferentie) geleidde discussie over het voor- en nadeel van Taal- en Spraaktechnologie (spraakherkenning, slim zoeken en betere ontsluiting).
Met enig trekken en duwen kwamen er een paar leuke reacties van onder andere het Canadese, Schotse en Italiaanse parlement. Allemaal hadden ze al ervaring met vooral re-speaking maar alleen het Schotse Parlement gebruikte dat ook daadwerkelijk. Wel vonden anderen de nu gepresenteerde technologie "interessant genoeg" om er toch nog eens naar te kijken. We zullen zien 😀.

Hoewel de conferentie pas om 18:00 zou zijn aflopen, was het voor mij tijd om te gaan: om 16:50 vertrok de laatste trein naar huis.

Conclusie

Al met al was het een interessante, zeer heterogene conferentie. Duidelijk werd dat er op het gebied van parlementaire verslaglegging veel gebeurt en ook dat niet iedereen hier op zit te wachten. Deze tweedeling is op zich niet vreemd en dit is wellicht een goede reden om de volgende keer aan de hand van cijfers en use-cases te laten zien dat de gepresenteerde oplossingen ook daadwerkelijk hun nut hebben voor de praktijk van parlementaire verslaglegging. Wij (Telecats en Radboud) hopen dat het Spreek2Schrijf project zo goed loopt dat wij volgend jaar die cijfers kunnen laten zien. 
Ik kijk er stiekem al naar uit.

 

Arjan

25 juli 2017, Utrecht