AR, VR, MR и XR: чем отличаются очки, шлемы и режимы изображения

Буквы AR, VR, MR и XR описывают отношения цифрового изображения с реальным миром. Они не сообщают, какой кабель нужен устройству, есть ли в нём процессор для приложений и будет ли текст удобен для чтения. Более того, один шлем может переключаться между несколькими режимами, а разные производители могут по-разному называть похожие очки.

Разобраться помогает последовательность вопросов: виден ли реальный мир напрямую, откуда приходит картинка и умеет ли система учитывать положение человека в комнате.

VR: виртуальное окружение занимает поле зрения

В виртуальной реальности пользователь смотрит на изображение дисплеев через оптику. Оно может показывать игровой мир, кинотеатр или обычное окно программы на виртуальном фоне. Прямой оптический вид наружу в этом режиме закрыт.

Чтобы перспектива менялась вместе с движением головы, система отслеживает её ориентацию. При позиционном трекинге она также отслеживает положение головы. Содержимое дисплеев обновляется с учётом этих данных. Само по себе наличие двух экранов возле глаз ещё не описывает качество или возможности такого отслеживания.

Мир снаружи может стать видимым при переключении на камеры. Это отдельный механизм, даже если пользователь продолжает носить тот же шлем.

AR: цифровой слой поверх видимого мира

Дополненная реальность добавляет изображение к реальному окружению. В прозрачных очках человек видит комнату через линзу или оптический комбайнер, а цифровой свет направляется в глаз отдельно. На телефоне AR может строиться по изображению камеры: предметы накладываются на видеокадр, который пользователь видит на дисплее.

У простого носимого экрана задача может ограничиваться показом прямоугольного окна. Полноценное размещение предмета на столе требует сведений о положении устройства и поверхности. Google описывает в документации ARCore отслеживание движения, обнаружение плоскостей и якоря, которые помогают удерживать виртуальные объекты относительно окружения.

Поэтому слово AR на коробке не обещает, что цифровой объект останется на конкретном столе, когда человек обойдёт его с другой стороны. Для этого нужно проверить трекинг и возможности программы.

Пример оптических систем AR и VR с применением жидкокристаллических устройств. Yin et al., Light: Science & Applications.

MR: виртуальные объекты взаимодействуют с окружением

Термин mixed reality, или смешанная реальность, часто применяют к пространственным приложениям, которые учитывают помещение: размещают интерфейс относительно поверхностей, работают с геометрией комнаты или совмещают реальные и виртуальные объекты. В этой статье именно такой смысл используется для MR; единой жёсткой границы с AR в названиях потребительских устройств нет.

Смешанная реальность возможна как при прямом оптическом виде на мир, так и через камеры. У шлема с видеопоказом окружения пользователю кажется, что он видит стол, но на самом деле до глаз доходит изображение с камер после обработки.

Этот режим называют passthrough. В описании API Meta* он представлен как визуализация физического окружения, которую приложение может сочетать с виртуальным слоем. У Samsung Galaxy XR переключение в passthrough также описано в официальном руководстве на странице продукта.

Камера, вычисление и дисплей входят в путь такого изображения. При примерке имеет смысл проверить, как через него выглядит клавиатура и насколько удобно читать надпись на реальном предмете. Открытое лицо устройства или прозрачная передняя панель не доказывают прямой оптический вид изнутри.

XR: общее название семейства

Extended reality используют как общее обозначение технологий дополненной, виртуальной и смешанной реальности. Название Android XR, например, относится к платформе; оно не определяет единственный тип корпуса. В официальном анонсе XREAL AURA Google описывает проводные очки на Android XR, а Samsung использует ту же платформу в шлеме Galaxy XR.

Покупателю полезнее узнать, какое изображение создаёт конкретное устройство и где выполняются приложения. Буквы XR не дают ответа на эти вопросы без спецификации.

3DoF и 6DoF: что именно отслеживается

Три степени свободы, или 3DoF, описывают вращение головы: поворот в стороны, наклон вперёд и назад, наклон к плечу. Такой трекинг позволяет корректировать картинку при повороте. Если система знает только ориентацию, она не получает из неё самостоятельного измерения перемещения головы по комнате.

Шесть степеней свободы, или 6DoF, включают ориентацию и положение по трём пространственным осям. Положение позволяет пересчитать перспективу при шаге в сторону или приближении к виртуальному предмету. ARCore описывает позу устройства как сочетание положения и ориентации; камеры и инерциальные датчики помогают её оценивать.

Режим с названием Anchor требует уточнения. Это может быть экран, удерживаемый по направлению средствами 3DoF, или полноценный пространственный якорь. В XREAL One производитель прямо заявляет встроенный 3DoF. Слово Anchor в интерфейсе не добавляет измерение положения автоматически.

Как связаны тип устройства и подключение

Устройство или режим	Что доходит до глаз	Где искать требования
Очки как внешний экран	Изображение от телефона, ПК или другого источника	Видеовход, питание, поддерживаемые источники, возможности встроенной стабилизации
Умные очки с небольшим дисплеем	Собственный интерфейс для подсказок и коротких действий	Совместимый телефон, приложение, сервисы и региональные ограничения
Автономный XR-шлем	Картинка собственной системы; окружение может показываться через камеры	Система, приложения, трекинг и способы подключения к ПК
ПК-шлем	Изображение, рассчитанное компьютером	Совместимость ПК, интерфейс передачи и необходимая система отслеживания

Например, XREAL One требует DP-видеовыход и питание от источника, тогда как Meta* Ray-Ban Display в официальном описании предназначены для собственного интерфейса сообщений и подсказок. Разъём USB-C в устройстве с аккумулятором может обслуживать зарядку; видеовход определяется документацией, а не формой разъёма. В материале о DisplayPort Alt Mode разобран именно способ вывода изображения.

Для выбора по назначению есть обзор очков и шлемов. Материал про разрешение и масштаб интерфейса объясняет, как число пикселей и масштаб влияют на чёткость.

* Meta Platforms Inc.* признана экстремистской организацией, её деятельность запрещена на территории Российской Федерации.