ARMAR

Дополненная реальность для технического обслуживания и ремонта (Augmented Reality for Maintenance and Repair — ARMAR)

Продолжаю интересоваться темой дополненной реальности. В связи с этим, решил перейти от художественных и футуристических концептов к реальным современным разработкам. Этот пост – перевод статьи Стива Хендерсона и Стивена Фейнера – сотрудников лаборатории компьютерной графики и пользовательских интерфейсов колумбийского университета.

Введение

Дополненная реальность для технического обслуживания и ремонта (Armar) исследует использование дополненной реальности для оказания помощи в выполнении процедурных задач в области технического обслуживании и ремонта. Основной целью исследований в рамках данного проекта является определить, насколько компьютерная графика реального времени, накладываясь поверх и привязываясь к реальному ремонтируемому оборудованию, может повысить производительность, точность и безопасность обслуживающего персонала. Одеваемые на голову отслеживающие движение дисплеи дополняют физический обзор пользователя системы информацией такой, как маркировка суб-компонентов, пошаговые руководства обслуживания, данные диагностики в режиме реального времени и предупреждения безопасности. Виртуализация пользователя и обслуживаемого оборудования позволяет удаленным сотрудникам следить за процессом и оказывать помощь в ремонте. Кроме того, интеграция базы знаний реального мира с подробными 3D моделями дает возможность использовать систему в качестве симулятора обслуживания оборудования или учебного пособия. Особенностями этого проекта являются разработка и реализация прототипов интегрирующих самые современные системы отслеживания движения, мобильные компьютеры, беспроводные сети, 3D моделирование и технологии интерфейса типа человек-машина.

(Слева) механик использует отслеживающий головной дисплей выполняя задачи по обслуживанию двигателя Rolls Royce DART 510. (Справа) обзор осуществляется через головной дисплей, отображающий информацию с помощью дополненной реальности для оказания помощи механику.

Направления исследований

(Слева) механик, использующий головные дисплеи слежения, выполняет задачи технического обслуживания внутри бронетранспортера LAV-25A1. (Справа) дополненная реальность в обучении: взгляд через головной дисплей отображает захваченные в область видимости детали с информацией, наложенной с помощью дополненной реальности для оказания помощи механику.

Преимущества использования дополненной реальности для локализации задач

В рамках нашего исследования потенциальных выгод использования дополненной реальности для технического обслуживания и ремонта мы разработали, внедрили и испытали прототип приложения дополненной реальности для поддержки военных механиков в проведении рутинных задач технического обслуживания внутри башни бронетранспортера. Наш прототип использует отслеживающий головной дисплей для дополнения реального обзора механика текстом, маркерами, стрелками и анимированными последовательностями, направленными на облегчение понимания, локализации и исполнения задач. В обучении участвовали профессиональные военные механики, использующие нашу систему для выполнения 18 общих задач в полевых условиях. Эти задачи включали установку и удаление крепежа, индикаторов и соединительных кабелей. Все выполнялось в тесном интерьере башни бронетранспортера. Дополненная реальность была испытана в сравнении с двумя базовыми системами: неотслеживающим головным дисплеем с текстом и графикой и с фиксированной плоской дисплей-панелью, предоставляющей улучшенную версию документации применяемой на практике в настоящее время. Дополненная реальность позволила механикам локализовывать задачи быстрее, чем использование остальных базовых методик, а в некоторых случаях привело к уменьшению общего количества движений головой. Качественное исследование показало, что механики считают условия дополненной реальности интуитивно понятными и удовлетворяющими тестируемой последовательности задач.

Пользователь манипулирует 3D виртуальными кнопками, принимая тактильную обратную связь при выполнении основных операций с модулем компрессии двигателя.

Эскизы возможных естественных пользовательских интерфейсов построенные с использованием условных плоскостей.

Методы взаимодействия

Одним из направлений исследований Armar было определение того, какие типы методов взаимодействия хорошо подходят для проведения процедурных задач с помощью дополненной реальности. Эти исследования привели к созданию приспосабливающегося управления — класса методов взаимодействия пользователя с приложениями дополненной реальности, которые поддерживают жесты и получение обратной связи. Приспособленческие элементы управления характеризуются возможностями, обеспечивающими пассивный тактильный легкий ввод с помощью жестов, распознавание простых движений, а также, предоставляющими ясную обратную связь с пользователем. 3D виджеты тесно связаны с возможностью обеспечить визуальную обратную связь и подсказки о функциональности управления. Хотя она и не подходит для всех сценариев пользовательского интерфейса, эта методика может быть хорошим выбором для задач, требующих фокусировки глаз и рук и ограниченных для других методов взаимодействия.