Life
EchoMotion: обычные умные часы научились отслеживать движения всего тела по ультразвуку
Публикация:
Система использует динамик и микрофон обычных умных часов и ультразвук, чтобы определять положение 12 суставов тела: на Galaxy Watch 6 средняя ошибка составила меньше 4 дюймов, а после 12-минутной калибровки около 2,4 дюйма.

Исследователи из лаборатории SciFi Корнеллского университета разработали систему EchoMotion: она отслеживает движения всего тела с помощью обычных умных часов. Статья о системе представлена 13 октября на конференции UbiComp/ISWC в Шанхае, а новость о ней Корнелл опубликовал одиннадцатого ноября. Руководит лабораторией Чэн Чжан, ведущий автор работы, аспирант Саиф Махмуд.
Как это работает
Часы излучают ультразвуковые сигналы, которые окружают человека сферой неслышимого звука, а микрофоны улавливают эхо, отражённое от рук и ног при движении. Обычные носимые устройства определяют только движение самого устройства по акселерометру и гироскопу, а EchoMotion по эху восстанавливает позы всего тела. Звук сохраняет приватность: камеру на тренировке ставить не нужно, а данных для обработки получается меньше.
Насколько точно
Сначала команда сделала собственный прототип часов с напечатанным на 3D-принтере корпусом, микрофоном и динамиком с каждой стороны. Эхо записали у 10 добровольцев, которые выполняли 18 упражнений, держа часы на недоминирующей руке, а точность проверяли по 12 суставам, от головы до лодыжек, сравнивая предсказанные позы с записями камер.
Затем систему проверили на немодифицированных Samsung Galaxy Watch 6 с 15 новыми добровольцами. У людей, которых система раньше не видела, средняя ошибка положения каждого сустава составила меньше 4 дюймов (10 сантиметров). Одноразовая 12-минутная калибровка снизила ошибку больше чем на треть, примерно до 2,4 дюйма (6,1 сантиметра). Та же модель без дополнительного обучения заработала на Samsung Galaxy Watch 7 и Google Pixel Watch 3.
Энергия и ограничения
В прототипе ультразвуковое зондирование потребляло около 12 милливатт, примерно в 40 раз меньше, чем носимая камера, а 30-минутная тренировка на Galaxy Watch 6 израсходовала всего 5-6% заряда батареи. Систему проверяли с 10 новыми участниками в маленькой комнате, узком коридоре и рядом с шумной дорогой: мебель и шум не мешали, но в коридоре точность немного снизилась из-за эха от других людей.
Что дальше
Сейчас команда развивает технологию для фитнес-трекинга: личный фитнес-агент сможет считать повторения и поправлять технику, например в болгарском сплите. Технологию также изучают вместе с умными очками для отслеживания предметов, которые берёт в руки человек. Это исследовательский прототип: в потребительские часы система пока не встроена.