Gesture and Sign Language Recognition with Deep Learning

Promovendus/a
Lionel Pigou
Faculteit
Faculteit Ingenieurswetenschappen en Architectuur
Vakgroep
Vakgroep Elektronica en Informatiesystemen
Curriculum
Master of Science in de ingenieurswetenschappen: computerwetenschappen — afstudeerrichting informatie- en communicatietechnologie, Universiteit Gent, 2014
Academische graad
Doctor in de ingenieurswetenschappen: computerwetenschappen
Taal proefschrift
Engels
Vertaling titel
Herkenning van gebaren en gebarentaal met 'Deep Learning'
Promotor(en)
prof. Joni Dambre, vakgroep Elektronica en Informatiesystemen - prof. Mieke Van Herreweghe, vakgroep Taalkunde
Examencommissie
voorzitter prof. Filip De Turck (academisch secretaris) - prof. Joni Dambre (Vakgroep Elektronica en Informatiesystemen) - prof. Veronique Hoste (Vakgroep Vertalen, tolken en communicatie) - dr. ir. Michiel Stock (Vakgroep Data-analyse en wiskundige modellering) - prof. Tinne Tuytelaars (KU Leuven) - Prof. Mieke Van Herreweghe (Vakgroep Taalkunde) - prof. Myriam Vermeerbergen (KU Leuven) - prof. Steven Verstockt (Vakgroep Elektronica en Informatiesystemen)

Korte beschrijving

In dit proefschrift onderzoeken we het gebruik van diepe neurale netwerken voor het herkennen van gebaren en gebarentaal in video’s. Onderzoek om de herkenning van gebarentaal te automatiseren is niet alleen belangrijk voor mensen met een gehoorbeperking, maar ook voor hun collega’s, vrienden en familie die de taal willen leren met een leersoftwareplatform of een digitale woordenboek voor gebarentaal. Verder kost het annoteren van een gebarentaalcorpus (een grote verzameling van video’s met gebarentaal) veel inspanning, tijd en financiering. Onderzoek naar het herkennen van gebaren en gebarentaal zou deze kosten helpen te verlichten door de annotatie te versnellen. We beginnen met het classificeren van een twintig-tal gebaren die relatief eenvoudig van elkaar te onderscheiden zijn. De veelbelovende resultaten leiden ons tot het bestuderen van deze methodes voor het herkennen van gebarentaal in videocorpora en nieuwsuitzendingen van de VRT. We experimenteren eerst met de classificatie van geïsoleerde gebaren (het begin en het einde van elke gebaar is gegeven) voordat de continue herkenning van gebarentaal wordt aangepakt.

Praktisch

Wanneer
Vrijdag 24 augustus 2018, 17:00
Waar
Jozef Plateauzaal, Plateaustraat 22, 9000 Gent

Meer info

Contact
doctoraat.ea@UGent.be