Egy új technológia beszéddé alakítja a gondolatainkat

A Kolumbia Egyetem kutatóinak sikerült először értelmes érthető szöveget alkotni a rendszerükkel az emberek gondolatait. A rendszer az emberek agyi aktivitásának monitorozásával képes rekonstruálni az ember által hallott szavakat.

A szakértők szerint a csúcs-modern beszéd szintetizátorok és mesterséges intelligenciák keresztezésével született rendszer komoly előrelépéseket hozhat abban, hogy hogyan kommunikálunk számítógépeinkkel, illetve rendkívül fontos lehet azoknak az embereknek is, akik valami miatt képtelenek a beszédre.

Az már évtizedek óta tudjuk, hogy amikor az emberek beszélnek – vagy elképzelik, hogy beszélnek – az agyukba árulkodó aktivitási minták jelennek meg. Ehhez hasonló módon jellegzetes mintázata van annak is, amikor valaki mást hallgatunk – vagy ezt elképzeljük.

A szakértők már hosszú ideje dolgoznak azon, hogy rögzítsék és dekódolják a gondolatainak és ezzel lehetővé téve, hogy azok beszéd formájában a külvilágba is eljussanak.

Azonban mindez sokkal nagyobb kihívásnak bizonyult, mint arra a kutatók eredetileg számítottak. A korai próbálkozásoknál egyszerű számítógépes modellekkel igyekeztek spektrogrammokat elemezni, viszont mivel ezek nem jártak sikerrel a kutatók olyan úgynevezett vokódereket kezdtek alkalmazni, amik rögzített beszédből képezve maguktól is képesek beszédet szintetizálni.

Ahhoz, hogy a vokóderek képesek legyenek az agyi aktivitást is beszéddé fordítani, a kutatók olyan epilepsziás betegek segítségét kérték, hogy rendszeresen műtéteken essenek át. A műtétek során így alkalom nyílt arra, hogy a betegek agyi aktivitását közvetlenebbül mérjék, amíg rögzített beszélgetéseket hallgattattak velük.

Ezután a betegeket arra kérték, hogy felsorolt számokat hallgassanak, amíg az agyi aktivitásukat már célirányosabban rögzítették a korábban gyűjtött adatok segítségével és a vokóderrel hanggá alakították. A vokóder által generált hangot ezután egy kifejezetten erre a célra létrehozott neurális hálózat tisztította meg és alakított érthetőbb beszéddé.

Mindennek az eredménye egy gépies hang volt, ami megközelítőleg 75 százalékos pontossággal ismételte meg a betegek által hallott számokat. Ez még nem hangzik túl soknak, de ez lényeges előrelépés a korábban használt módszerekhez képest.

A kutatás következő lépéseinél már nem csak egyszerű számokat, hanem összetett mondatok újraalkotását is letesztelik majd, amíg az emberek által elképzelt szavak beszéddé alakítása is a tervek között van.

Forrás: nature.com

Szerkesztő: arsratio

Oszd meg

Hozzászólás küldése

Az email címet nem tesszük közzé. A kötelező mezőket * karakterrel jelöljük.