Googlov algoritem za sledenje rok v realnem času uporablja pametni telefon za izboljšanje prepoznavanja znakovnega jezika

Sledenje rok v realnem času

Znakovni jezik uporabljajo milijoni ljudi po vsem svetu. Raziskovalci si prizadevajo ustvariti tehnologije, ki lahko razumejo geste in jih samodejno pretvorijo v razumljiv jezik. Vendar takšni projekti glede natančnosti niso dosegli velikega uspeha.

Google je pred kratkim razvil algoritem, ki ga lahko uporabimo za sledenje rok v realnem času. Inteligentni sistem s pomočjo strojnega učenja ustvari zemljevid roke. Zemljevid je ustvarjen s pomočjo kamere ali pametnega telefona. Ne moremo zanikati dejstva, da večina sistemov ne zajema natančno hitrih gibov rok. Google se je v tej raziskavi posebej lotil tega problema. Zanimivo je, da so omejili količino podatkov, ki so jih algoritmi prej obdelali.

Kako deluje sprotno sledenje rok?

Večina obstoječih projektov prevede znakovni jezik tako, da zazna velikost in položaj celotne roke. S to raziskavo. raziskovalci so odpravili potrebo po ravnanju s pravokotnimi oblikami različnih velikosti. Googlov sistem samo prepozna dlan, ki je kvadratne oblike. Drugič, za prste se opravi ločen postopek analize.

Geste z rokami

Raziskovalci so uporabili približno 30.000 slik rok, da so učili algoritem strojnega učenja. Te slike so bile posnete v različnih svetlobnih pogojih in pozi. Nato sistem zazna gesto s primerjavo med pozo roke in seznamom znanih entitet, kot sta žoga ali sreča. Google opisuje prepoznavanje geste v a objava v spletnem dnevniku .

Nato nabor stanja prstov preslikamo na nabor vnaprej določenih kretenj. Ta neposredna, a učinkovita tehnika nam omogoča, da osnovne statične kretnje ocenimo z razumno kakovostjo. Obstoječi cevovod podpira štetje potez iz več kultur, npr. Ameriški, evropski in kitajski ter različni ročni znaki, vključno z 'Palec gor', zaprto pest, 'OK', 'Rock' in 'Spiderman'.

Končni algoritem sledenja roki daje najsodobnejše rezultate glede hitrosti in natančnosti. Algoritem uporablja ogrodje MediaPipe za zagon. Ta tehnika se zdi velik napredek na področju znakovnega jezika. Čeprav je še veliko prostora za izboljšave. za boljše razumevanje znakovnega jezika. Vsakdo lahko to delo razširi tako, da uporablja mimiko obraza in obe roki za doseganje boljših rezultatov.

Čeprav o Googlu ni nobene besede, obstaja verjetnost, da lahko Google izboljša to tehnologijo sledenja rok v realnem času in jo uporabi v svojih izdelkih. Če se želite medtem poigrati s kodo, je javno dostopno na GitHub .