В видеозвонках научились определять язык жестов

В Гугл выдумали модель, которая может считывать язык жестов во время видеозвонков. ИИ может определять «интенсивно говорящего», но игнорирует собеседника, если он просто двигает руками либо головой.

Исследователи представили систему обнаружения языка жестов в настоящем времени. Она может различать, когда собеседник пробует сказать что-то либо просто двигает телом, головой, руками. Ученые отмечают, что эта задачка может показаться легкой для человека, но ранее таковой системы не было ни в каком из сервисов видеозвонков — они все реагируют на хоть какой звук либо жест человека.

Новенькая разработка исследователей Гугл способна созодать это с большенный эффективностью и маленькими задержками. Пока исследователи отмечают, что определение языка жестов приводят к задержке либо ухудшению свойства видео, но эту делему можно решить, а сама модель осталась легкой и надежной.

Поначалу система прогоняет видео через модель под заглавием PoseNet, которая оценивает положение тела и конечностей в любом кадре. Облегченная зрительная информация посылается модели, обученной позиционированию данных из видео людей, использующих язык жестов, и ассоциирует изображение с тем, как люди обычно демонстрируют те либо другие слова.

Модель верно описывает слова и выражения с 80% точностью, а с доборной оптимизацией может достигнуть и 91,5%. Беря во внимание, что обнаружение «активного говорящего» в большинстве сервисов работает с задержками, исследователи считают, что это весьма огромные числа.

Читайте также:

Сделать ядерный реактор на Земле реально. Какие будут последствия?

Ледник «Судного денька» оказался опаснее, чем задумывались ученые. Рассказываем основное

На 3 денек работоспособности»>заболевания большая часть нездоровых COVID-19 теряют чутье и нередко мучаются насморком

Источник