Na TensorFlow prihajajo trije novi večjezični moduli USE

Google Voice Search

Google je eden od pionirjev raziskav na področju umetne inteligence in številni njihovi projekti so se vrteli v glavo. AlphaZero od Googla DeepMind ekipa je bila preboj na področju raziskav umetne inteligence zaradi sposobnosti programa, da se sam nauči zapletenih iger (brez človeškega usposabljanja in posredovanja). Google je tudi v Programi za obdelavo naravnega jezika (NLP), kar je eden od razlogov za učinkovitost Googlovega asistenta pri razumevanju in obdelavi človeškega govora.

Google je pred kratkim napovedal izdajo treh novih UPORABI večjezične module in nudijo večjezične modele za pridobivanje pomensko podobnega besedila.

Prva dva modula ponujata večjezične modele za pridobivanje semantično podobnega besedila, eden je optimiziran za zmogljivost iskanja, drugi pa za hitrost in manj porabe pomnilnika. Tretji model je specializiran za iskanje-odgovor v šestnajstih jezikih (USE-QA) in predstavlja povsem novo uporabo USE. Vsi trijezični moduli so usposobljeni z uporabo večopravilni okvir z dvojnim kodirnikom , podoben prvotnemu modelu USE za angleščino, ob uporabi tehnik, ki smo jih razvili za izboljšanje dvojni kodirnik z aditivnim robom softmax pristop . Zasnovani so ne le za ohranjanje dobrega učnega učinka pri prenosu, temveč tudi za dobro izvajanje semantičnih nalog iskanja.

wsappx visok CPU

Obdelava jezika v sistemih je že dolgo napredovala, od razčlenjevanja osnovnega sintaksnega drevesa do velikih vektorskih modelov. Razumevanje konteksta v besedilu je ena največjih težav na področju NLP in Universal Sentence Encoder to reši s pretvorbo besedila v visokodimenzionalne vektorje, kar olajša razvrščanje in označevanje besedila.

Vir strukture označevanja UTE - Google Blog

Po Googlovih besedah ​​' Vsi trije novi moduli so zgrajeni na semantični arhitekturi iskanja, ki običajno razdeli kodiranje vprašanj in odgovorov v ločena nevronska omrežja, kar omogoča iskanje med milijardami potencialnih odgovorov v milisekundah. 'Z drugimi besedami, to pomaga pri boljšem indeksiranju podatkov.

' Vsi trijezični moduli so usposobljeni z uporabo večopravilni okvir z dvojnim kodirnikom , podoben prvotnemu modelu USE za angleščino, ob uporabi tehnik, ki smo jih razvili za izboljšanje dvojni kodirnik z aditivnim robom softmax pristop . Zasnovani so ne le za ohranjanje dobrega učnega učinka pri prenosu, temveč tudi za dobro izvajanje semantičnih nalog . ' Funkcija Softmax se pogosto uporablja za prihranek računske moči tako, da poveča vektorje in nato deli vsak element z vsoto eksponentnega.

Semantična arhitektura iskanja

»Vsi trije novi moduli so zgrajeni na semantičnih arhitekturah iskanja, ki običajno razdelijo kodiranje vprašanj in odgovorov v ločena nevronska omrežja, kar omogoča iskanje med milijardami potencialnih odgovorov v milisekundah. Ključ do uporabe dvojnih kodirnikov za učinkovito pomensko iskanje je predhodno kodiranje vseh kandidatnih odgovorov na pričakovane vhodne poizvedbe in njihovo shranjevanje v vektorski bazi podatkov, ki je optimizirana za reševanje problem najbližjega soseda , ki omogoča hitro iskanje z dobrim številom kandidatov natančnost in odpoklic . '

Te module lahko prenesete s TensorFlow Hub. Za nadaljnje branje glejte GoogleAI's full blogpost .