U složenim okruženjima, ljudi mogu razumjeti značenje govora bolje od umjetne inteligencije, jer ne koristimo samo uši već i oči.
Na primjer, vidimo kako se nečija usta pomiču i intuitivno znamo da zvuk koji čujemo mora dolaziti od te osobe.
Meta AI radi na novom AI sistemu dijaloga, koji treba da nauči AI da prepozna suptilne korelacije između onoga što vidi i čuje u razgovoru.
VisualVoice uči na sličan način na koji ljudi uče da savladaju nove vještine, omogućavajući audio-vizuelno razdvajanje govora učenjem vizuelnih i slušnih znakova iz neoznačenih videa.
Za mašine, ovo stvara bolju percepciju, dok se ljudska percepcija poboljšava.
Zamislite da možete učestvovati u grupnim sastancima u metaverzumu s kolegama iz cijelog svijeta, pridruživati se manjim grupnim sastancima dok se kreću kroz virtualni prostor, tokom kojih se zvučni reverberi i tembri u sceni prilagođavaju u skladu s okruženjem.
To jest, može istovremeno primati audio, video i tekstualne informacije, te ima bogatiji model razumijevanja okoline, omogućavajući korisnicima da imaju "zaista vau" zvučno iskustvo.
Vrijeme objave: 20. jul 2022.
