آیا دست‌های معنادار می‌توانند گفتار را بهتر کنند؟
در ارتباط انسانی، دست‌ها همزمان با کلمات حرکت می‌کنند و معنی می‌دهند. اما اکثر سیستم‌های هوش مصنوعی فقط حرکت‌های ساده‌ای تولید می‌کنند که فقط به ریتم صحبت می‌چسبند. این کار می‌پرسد آیا می‌توان دست‌های معنادار تولید کرد که با کلمات هم‌خوانی داشته باشند؟
چی کار کردند
آنها یک سیستم بدون آموزش قبلی ساخت که با دیدن یک تصویر و شنیدن متن، ویژگی‌های اشیاء را استخراج می‌کند و آن را با کلمات مطابقت می‌دهد. سپس با موتور حرکت، دست‌های نمادین و اشاره‌ای را تولید می‌کند و به همراه حرکت‌های ساده، یک گفتار همراه با دست می‌سازد.
چه پیدا کردند
آزمایش کاربری نشان داد که وقتی دست‌ها با محتوا هم‌خوانی داشتند، کاربران درک بهتر و سریع‌تری از پیام داشتند. در شرایطی که فقط گفتار بود، فهم کمتر بود.