Kun jij liplezen?

Wanneer we met elkaar in gesprek zijn (en elkaar kunnen zien) doen we onbewust aan liplezen, en dit helpt bij het verstaan. Maar hoe zit dit bij computerspraak? Helpt het als een spraaksynthesizer via "visemen" een animatie van een gezicht laat zien?

Op de vijfde editie van het DRONGO talenfestival hebben we bezoekers gevraagd om deel te nemen aan een onderzoekje: het geluid stond uit, en de deelnemers moesten op basis van de animatie telkens raden welk van 4 woorden er werd uitgesproken. Het idee was: wie boven kansniveau scoort kan liplezen.

Elke deelnemer kreeg eerst een item om te oefenen met de applicatie. Daarna werden 10 items gepresenteerd die meetelden voor de score. Telkens werden 4 woorden willekeurig gekozen uit een lijst van ruim 3000 woorden van 1 of 2 lettergrepen. Het toeval bepaalde ook welk van de 4 woorden er werd uitgesproken (met het geluid uit!). Als je een keuze had gemaakt, kreeg je te horen of dat goed of fout was.


Het volledige artikel met de uitslagen per dag, is te lezen op de website van Fluency.

Op vrijdag 30 sept en zaterdag 1 okt was NOTaS met een grote eigen stand aanwezig op het DRONGO talen festival. Een druk bezochte bijeenkomst met heel veel bezoekers van allerlei pluimage.

Het verslag volgt, maar de links naar de presentaties staat alvast in de tab.

Verslag

notas drongo 10

Uw tekst...

 

na remcoOp 20 september was NOTaS op bezoek bij het Nationaal Archief in Den Haag alwaar een interessant programma was voorbereid door onze contactpersoon en voormalig NOTaS-bestuurslid Remco van Veenendaal. Remco trad zelf op als dagvoorzitter en dat was hem prima toevertrouwd.

De opkomst was goed. Er waren zo’n 30 deelnemers waaronder veel vertegenwoordigers van het Nationaal Archief, het NIOD en de burelen van de Tweede Kamer. De Kamerleden zelf hadden iets anders te doen: het was tenslotte PrinsjesdagConfused.
De opkomst vanuit NOTaS zelf was helaas beperkt en daar was wellicht het juist op deze Prinsjesdag verstoorde treinverkeer naar Den Haag debet aan.

Taaltechnologie

na suzanDe eerste presentatie was van Suzan Verberne. Dit was een heel helder en leerzaam verhaal (misschien is college een beter woord) over de verschillende aspecten die een rol spelen bij de (automatische) classificatie van documenten, dus ook archiefstukken. Suzan ging uitgebreid in op het trainen van classificatoren en de toepassing daarvan op nieuw materiaal. Ze liet onderandere zien wat er goed en fout ging, hoeveel materiaal je gegeven de context nodig hebt en en hoe je het moet aanpakken om de technologie goed te kunnen gebruiken. Al-met-al een boeiende lezing!

Dat zulke technologie bij het NA behoefte bestaat bleek wel uit de presentatie van Remco die na de koffiepauze volgde. Daarin liet hij de raakvlakken met TST vanuit het NA zien en hoe de verschillende presentaties van vandaag daarin pasten. Meer in detail ging hij in op specifieke behoeften van uit het NA aan TST waarbij hij refereerde aan handschriftherkenning en e-Discovery voor e-mails.

 

Pitches

Hierna volgden drie kortere presentaties van NOTaS-deelnemers.
Dennis de Vries van Gridline BV vertelde over het product Woordenlijstbeheer waarin terminologie centraal staat. Dit sloot mooi aan bij Suzans presentatie. Want deze toepassing stelt documentalisten in staat om lijsten van documentlabels en thesauri te beheren.
Het volgende verhaal was van Arjan van Hessen van Telecats. Hij ging in op de ontsluiting van audiomateriaal, meer in het bijzonder van de plenaire debatten in de Tweede Kamer waarvoor het Nationaal Archief de archiveringsplicht heeft. Voor die ontsluitiing wordt het zgn "forced alignment" gebruikt: een vorm van spraakherkenning waarbij de bekende tekst (nl. de door mensen gemaakte transcripties) opgelijnd wordt met de audio van de video-opnamen van de debatten. Van ieder woord is nu bekend wanneer het door wie werd uitgesproken en dus kan daar op gezocht worden. Maar omdat goed te kunnen doen, is wel veel meer nodig dan wat er nu gebeurt. Iets waar de aanwezige ambtenaren van de "Dienst Verslaglegging en Redactie" het helemaal mee eens waren.

Joop den Uyl als stem voor het Nationaal Archief

na esther

De laatste presentatie was van Esther Judd van Readspeaker en dat was een echte uitsmijter: het beter en sneller kunnen ontwikkelen van "voorleesstemmen" met behulp van "statistische parametriche spraaksynthese" (SPSS) waarvoor Deep Learning wordt gebruikt. "

Tijdens de lunch is volop nagepraat en zijn er tussen verschillende aanwezigen afspraken gemaakt om een en ander verder uit te werken. Voor wie daarna niet verzadigd was met informatie, was er in de naastgelegen zaal de gelegenheid om een aansluitende bijeenkomst bij te wonen over Linked Open Data. 

Verslag namens het Nationaal Archief

Een vergelijkbaar verslag met de link naar de verschillende presentaties, staat op de website van het Nationaal Archief.

Deelnemersvergadering

Vanwege de lage opkomst van NOTaS-deelnemers had het weinig zin de geplande deelnemersvergadering door te laten gaan. Dat was jammer voor de penningmeester die speciaal voor deze gelegenheid zijn eigen Miljoenennota had meegenomen. Of iets bescheidener: de NOTaS-jaarrekening over 2015. Wie wil weten wat daarin staat, kan zich daarvoor alsnog bij hem melden.

 

robot

In de Volkskrant van 6-6-2016 een leuk stukje van Toine Heijmans over een experiment met autistische jongeren die gecoached zouden moeten worden door een robot (en ja, dat was onze eigen NAO). Het stuk geeft een aardig inzicht in de verwachtingen aangaande een robot en laat ook zien wat er vervolgens mis kan gaan.

Onderzoekster Bibi Huskens wordt aangehaald met:
"Haar team was weken bezig om scenario's te schrijven en die in Robia te programmeren. Met als gevolg dat drie mensen een werkdag nodig hadden om een therapiesessie van twintig minuten mogelijk te maken - aardappelen kweken in een woestijn is efficiënter."

Ongetwijfeld is dat waar, maar stel dat het wel lukt, dan is de uiteindelijke tijdwinst enorm, dus eigenlijk een beetje een kul-redenatie. Onderzoek bijna altijd zeer tijdrovend en je kunt niet verwachten dat je al tijdwinst boekt tijdens het onderzoek. Maar goed, leuk en leerzaam om te lezen.


logo volkskrant

Mensen houden van robots, letterlijk. Robots zijn dode stof, en toch is er de sensatie van een ontmoeting met leven. Twee Hampshire-hotels hebben sinds kort Hugo 'in dienst', de 'charmante en sympathieke humanoïde' (persberichtwoorden) die negentien talen spreekt, gezichten zes maanden onthoudt en weet welke tram naar het museum gaat.

Dat Hugo in de war raakt als een toerist vraagt of hij ook met de bus naar het museum kan, neemt iedereen voor lief: van een robot accepteren we meer dan van een receptionist.

De 'schattigheidswaarde', noemt Bibi Huskens dat, en ze schiet in de lach, alweer, 'sorry'. Bibi had een tijdlang een robot in dienst, Robia, en is blij dat-ie weer weg is. Toen ze met robots begon, als onderzoeker en therapeut bij autismecentrum het dr. Leo Kannerhuis, waren de journalisten niet weg te slaan: dit móést gefilmd en verteld: een robot die kinderen sociale vaardigheden leert. Maar dat het mislukte 'had geen nieuwswaarde, zeiden ze'.

Voor het volledige artikel, zie hier.

Zwijsen

24-maart-2016 was het weer zover: een NOTaS-deelnemersbijeenkomst, en bovendien een zeer drukke, goedbezochte sessie met een levendig mee-discussiërend publiek.

In eerste instantie zou je denken dat een uitgever juist ver van TST (Taal- en Spraak Technologie) wil blijven: immers een uitgever maakt een papieren boek dat op traditionele wijze verkocht wordt. TST richt zich juist op "talige" toepassingen van beschikbare (open en gesloten) digitale informatie: niet iets dat je direct assioceert met een uitgever die al sinds 1846 bestaat.

zwijsen 2Toch ligt dat anders. Sinds de oprichting focust Zwijsen zich duidelijk op het ontwikkelen van lesmethoden voor het (lager) onderwijs en ze zien in de zich sterk ontwikkelende TST een duidelijk hulpmiddel om nog betere methodes te ontwikkelen. TST wordt door Zwijsen gezien als een “assistance technology” waarmee de leraar niet vervangen maar juist ondersteund wordt in het lesgeven. Het was daarom dat ze uitkeken naar hetgeen wij, de TST-gemeenschap, allemaal te bieden hadden.

Maar voordat er dieper werd ingegaan op de "zegeningen" van TST, werd NAO, de robot die de komende maanden bij verschillende NOTaS-deelnemers een logeeradres heeft, officieel overgedragen. Na 6 weken bij het CLST van de Radboud Universiteit is het nu tijd om in Enschede een ware "wijze uit het Oosten" te worden. Henk van den Heuvel liet in een korte presentatie zien wat NAO allemaal beleefd heeft. Kijk voor het uitgebreide verslag (incl filmpje), op onze robot-blog.

  Programma & Presentaties TST en Zwijsen

Zwijsen en TST (Taal- en Spraak Technologie) Sjors Heezemans (Zwijsen)
  Beter leren schrijven met Klinkende Taal Educatief Dennis de Vries  (GridLine)
  Oplijnen van spraak t.b.v. het taalonderwijs Arjan van Hessen (Telecats)
  TextAid: hulp-tool voor leerlingen/studenten met dyslexie Maarten vd Koevering (ReadSpeaker)
Koffiepauze  
  Onderwijstoepassingen van Basilex en Basiscript Nelleke Oostdijk (RU)
  DigLin en DISCO: ASR t.b.v. spreekvaardigheid Helmer Strik (RU)
Vertalen en hertalen met Eurglot Leo Konst (Linguistic Systems)
  Stemmen voor spraaksynthese Arthur Dirksen (Fluency)
Interactieve discussie en conclusie(s) Arjan van Hessen

  Verslag TST en Zwijsen

zwijsen

Verslag

Deel I

Na de gebruikelijke koffie begon de bijeenkomst onder leiding van Henk van den Heuvel (voorzitter Staffan was helaas verhinderd). De aftrap werd gegeven door Sjors Heezemans van Zwijsen die liet zien dat ze wel degelijk nu al gebruik maken van TST. In een goed en duidelijk verhaal werd getoond hoe bv. kinderen m.b.v. spraakherkenning en TTS zelfstandig kunnen leren lezen. In een leuk filmpje zag je kinderen met een headset op die “moeilijke woorden” vanaf het scherm van een PC voorlazen en door de computer beloond en gecorrigeerd werden. Inspirerend!
Daarna was het woord aan NOTaS. Dennis de Vries van GridLine toonde hun nieuwste initiatief: "Klinkende Taal Educatief". Dit is een op het onderwijs gerichte versie van Klinkende Taal die kinderen helpt hun opstellen te verbeteren door automatisch schrijffouten aan te wijzen. Daarna liet Arjan van Hessen van Telecats zien wat ze met spraaktechnologie zouden kunnen doen voor het onderwijs: het doorzoekbaar maken van opgenomen lessen (weblectures) en het aanbieden van automatisch ondertitelde audio zodat kinderen gelijktijdig èn spraak èn tekst krijgen aangeboden. De laatste presentatie voor de koffie kwam van ReadSpeaker. Maarten vd Koevering liet zien hoe hun voorleesknop kan bijdragen aan een betere toegankelijkheid van websites en digitale publicaties, welke talen hiermee ondersteund worden en hoe ze hun TTS-oplossing inzetten voor het bijzondere onderwijs

Koffie

Door de grote opkomst was het zaaltje bomvol en eigenlijk iets te warm en de koffie kwam dan ook precies op tijd: vocht en frisse lucht.

Deel II

zwijsen 1Na de koffie liet de Radboud Universiteit zien wat het BasiLex en BasiScript eigenlijk was en wat je er allemaal mee zou kunnen doen. Voor dataonderzoekers een handen-jeukend iets: veel en goed gemetadateerde informatie waar van alles uit te halen is. De door Nelleke Oostdijk kort voor de presentatie geuite zorg (ik heb een hele saaie presentatie met alleen maar letters en geen een plaatje) bleek dan ook geheel onterecht. Daarna door Helmer Strik (ook van de Radboud, maar ook van de startup NovoLanguage) weer spraaktoepassingen: DigLin en DISCO. Dit zijn twee applicaties die bedoeld zijn om leerlingen te helpen bij spreekvaardigheid (uitspraak en grammatica) in een tweede taal. Zowel taalstudenten als professionele vertalers kunnen baat hebben bij geavanceerde vertaalsoftware zoals EuroGlot van Linguistic Systems. Ontwikkelaar Leo Konst demonstreerde enthousiast de oplijn- en filtermogelijkheden van dit zestalige vertaalsysteem. Altijd goed om dit soort vurige pleidooien te horen: mensen met het TST-hart op de goede plek.

Als laatste kwam Arthur Dirksen van Fluency aan het woord: ook TTS, maar dan meer gefocust op individuen. Een mooi pleidooi om de keuze tussen verschillende voorleesstemmen aan de leerling te laten omdat dit de motivatie aanzienlijk kan verhogen. Helaas konden we ter plaatse niet horen hoe Fluency nu klonk (maar gelukkig kan het wel via de website).

Discussie

vragenGebrek aan zuurstof en de hitte in het zaaltje begonnen nu hun tol te eisen, maar er moest nog afgesloten worden. De vraag aan Zwijsen was: gehoord hebben wat er allemaal kan en niet beperkt door “het kan nog niet” of “het is te duur”: wat zouden jullie graag willen, wat zijn jullie TST-dromen?

Het antwoord was duidelijk: TST-toepassingen die de docenten in de klas de gelegenheid bieden om leerlingen zelfstandig te laten oefenen. Dus niet de leraar eruit en de computer erin, maar juist een symbiotische relatie. De leraar legt uit en leerlingen kunnen mbv de computer en software zelfstandig oefenen. Een inspirerend antwoord dat duidelijk maakt dat er gezamenlijk veel te winnen valt.

Netwerk-Lunch

Bij de lunch na afloop bleef het druk en werd er veel gediscussieerd over mogelijke vervolgstappen. Het ligt voor de hand dat we gezamenlijk gaan kijken hoe we een aantal pilots kunnen opzetten waarin we zo’n combi (leraar EN TST-software) gaan uitproberen om te zien of en in welke mate leerlingen baat hebben bij gebruik van taal- en spraaktechnologie.

Om 14:00 kwamen de schoonmakers binnen en werden we er echt uitgegooid: een teken dat de bijeenkomst als geslaagd kon worden beschouwd zoals ook de mail na afloop laat zien.

martin de jongBeste Henk,

Ik dank jou ook namens Zwijsen voor jouw dagvoorzitterschap.
We hebben het als een boeiende en zinvolle bijeenkomst ervaren.
Er zijn leuke contacten gelegd en we hopen dat dit zijn vruchten zal afwerpen.

Met vriendelijke groet,

Martin de Jong

ICT concept developer Zwijsen