2019. 02. 19. - 09:30

Interaktív MI-játék segít a jelnyelv tanulásában

Interaktív MI-játék segít a jelnyelv tanulásában

A jelnyelvet nem könnyű elsajátítani – sőt ennél is nehezebb a tanítása. A jelnyelv komplexitását programok oktatják, melyek a mesterséges intelligencia segítségével hamarosan egyszerűbbé válhatnak.

Nem egyszerű megtanulni, sőt oktatni sem a jelnyelvet. A süket és néma emberek kézmozdulatokat, gesztusokat használnak, szájjal, arccal fejezik ki magukat és testtartásukat is alkalmazzák a jelentés elmagyarázásához.
 
A jelnyelv összetettsége azzal is együtt jár, hogy a tanító programok ritkák és gyakran sokba kerülnek. Ez azonban rövid időn belül megváltozhat a mesterséges intelligencia (MI) segítségével.
 
Egy kutatócsoport jelenleg olyan szoftveren dolgozik, amely automatizált, intuitív módon oktatja a jelnyelvet. Az MI-eszköz képes arra, hogy analizálja a módot, mellyel egy diák a svájci-német jelnyelven jelzést készít és részletes visszajelzéssel szolgál arról, miként kell javítani a mozdulatokon és az időzítésen.
 
Nehéz megtanulni és tanítani is a jelnyelvet - a mesterséges intelligencia segíthet
Nehéz megtanulni és tanítani is a jelnyelvet - a mesterséges intelligencia segíthet
 
A kutatók abban bíznak, használni tudják a mesterséges intelligenciát olyan szoftver megalkotására, amely képes számos jelnyelvet megtanítani a világ minden tájáról, figyelembe veszi a nyelvek bonyolultabb jellemzőit, például a mondat nyelvtanát és a kommunikáció nem kézzelfogható elemeit.
 
Az MI-t a jelnyelv felismerésére, fordítására vagy értelmezésére használták már – ám a kutatók remélik, ők lesznek az elsők, akik ténylegesen próbálják értékelni a jeleket, melyeket egy személy alkalmaz.
 
Szeretnék, ha a mesterséges intelligencia segítene visszajelzést küldeni a felhasználónak arról, mit csinált esetleg rosszul.
 
A jelnyelv használata és értékelése nehéz, mivel nem olvashatjuk vagy írhatjuk le azt. Ehelyett a szakemberek egy számítógépes játékot hoztak létre: ahhoz, hogy gyakorolhassunk egy jelet, a játék videót mutat arról, ahogyan a jelet használják, vagy megmutatja a szót, amely a legközelebb áll hozzá - de mindkét változat lehetséges.  
 
Felveszi a felhasználó próbálkozását is, aki a videó alapján igyekszik elsajátítani a jelet és tanácsot ad, hogyan kivitelezzük azt jobban.
 
A kutatók szerint az, hogy játékot készítettek a dologból, ösztönzi az embereket a jelek minél jobb elsajátítására, mivel azzal magasabb pontszámot is kapnak. Ezzel egyre jobbá válhat a képességük.
 
A mesterséges intelligenciát a teljesítményértékelés minden szakaszában alkalmazzák. Előszöris, egy konvolúciós neurális hálózat (CNN) információt szerez a videó alapján arról, hogyan tartjuk a felsőtestünket.
 
A CNN egy, az agyi vizuális kéreg feldolgozásán alapuló mesterséges intelligencia. A csontváz pozíciójának információja és az eredeti videó elemzésre kerül, egy másik CNN pedig megtekinti azt és „kivonja” belőle a kéz alapján leadott jeleket a videó minden pontján.
 
A csontváz-információk és a kézformák kézmozgás-analizálásra kerülnek, amely az ún. Hidden Markov modellt használja – ez az MI-típus lehetővé teszi számunkra, hogy lemodellezzük a csontvázat és a kézformákat is idővel.
 
Az automatikus, személyes visszacsatolással járó MI-rendszer nagyon sokat segíthet abban, hogy a diákok hatékonyabban részt vegyenek a jelnyelv tanulás folyamatában.
 
László Adrienn

Hírlevél feliratkozás

Kérjük, add meg adataidat a hírlevélre történő feliratkozáshoz! A megadott adatokat bizalmasan kezeljük, azokat harmadik félnek át nem adjuk.
hungarospa_logo_kicsi
gyulai_vafurdo

profight_banner.