Herkenning gebarentaal met neurale netwerken

(18-06-2020) Herkenning gebarentaal met neurale netwerken

Het Corpus Vlaamse Gebarentaal is een databank van video's in Vlaamse Gebarentaal (VGT). In elk van deze video's hebben twee dove mensen een conversatie over uiteenlopende onderwerpen. Het corpus wordt gebruikt voor onder meer onderzoek naar VGT. Hiervoor wordt het geannoteerd: dit is een vorm van ondertiteling in geschreven taal. Het annotatieproces vergt veel tijd en expertise.

Dit onderzoek presenteert een hulpmiddel voor het annotatieproces. Wanneer men een gebaar wil annoteren, toont het voorgestelde systeem enkele mogelijke betekenissen van dat gebaar. Achter de schermen worden hiervoor neurale netwerken gebruikt; dezelfde soort als voor beeldherkenning en automatische vertaling.

De eerste resultaten zijn veelbelovend. Verder onderzoek zal trachten het annotatieproces verder te versnellen. De geannoteerde video’s uit het corpus kunnen dan gebruikt worden om nog andere neurale netwerken te leren conversaties in VGT te vertalen naar het Nederlands als onderdeel van een smartphone app. Zulke toepassingen zouden bijzonder nuttig kunnen zijn in, bijvoorbeeld, het onderwijs.

Dit is onderzoek van Mathieu De Coster Mieke Van Herreweghe en Joni Dambre , een samenwerking tussen IDLab and de Vakgroep Taalkunde.