Современная 3D система смешанной реальности создана в России

С былинных фоннеймановских времен и по сию пору развитие IT-технологий проистекало в направлении удаления от человеческого начала. Пиковой точкой этого процесса стала виртуальная реальность – здесь пользователь вообще полностью исключается из действительности, превращаясь в элемент мира компьютерных иллюзий. А поскольку в таком мире принципиально нет никаких ограничений, то психологи забили тревогу, по их мнению расчеловечивание, дегуманизация человеческой сущности в таком сценарии лишь вопрос времени, причем небольшого.

Но, видимо, кто-то свыше все же присматривает за порядком среди не ведающих что творят индивидуумов. Психологи могут вздохнуть спокойно. Похоже, грядет эра ДОПОЛНЕННОЙ РЕАЛЬНОСТИ. Этой не лучшей, как, к сожалению, водится, калькой с английского (Augmented Reality - AR, другие используемые термины Mixed Reality, смешанная реальность, комбинированная реальность) обозначается технология, позволяющая совмещать реальный мир и виртуальные, созданные компьютером объекты. IT-человек возвращается в обычный мир, пусть и приправленный хайтеком.

Надо заметить, что AR отнюдь не новость, стоит вспомнить нашлемные системы целеуказания современных боевых самолетов, среди которых отечественные СУ-30 и МИГ-35. Но только в 2009-2010 годах, в основном благодаря iPhone 3Gs и iPhone 4, эта технология начала стремительно приобретать характер ведущего IT-тренда, чтобы убедиться в этом, достаточно сделать запрос "augmented reality" в Appstore.

И хотя смартфоновские маркерные AR-поделки – чрезвычайно возбуждающие публику, но все-таки незамысловатые игрушки, тем неменее, они обеспечили почву для активного развития индустриальных AR-приложений, в которых эксплуатируется принцип "полного погружения", в сочетании с наблюдаемым ныне прогрессом 3D и стерео техники они обещают поистине удивительные результаты. Первым в России проектом такого рода является система смешенной реальности для задач авиации на базе AR, разрабатываемая в Московском Государственном Техническом Университете Гражданской Авиации (МГТУ ГА) при поддержке компании 3D ЛИГА. 

Система может найти применение во многих других областях.

Что же такое смешанная реальность (mixed reality)?

Дополненная реальность (англ. Аugmented reality, AR), — термин, относящийся ко всем проектам, направленным на дополнение реальности любыми виртуальными элементами (объектами). Например, когда вы видите окружающую вас комнату, в которой стоит 3D модель автомобиля. Один из самых известных примеров дополненной реальности — цветная линия, показывающая траекторию движения шайбы при телетрансляции хоккейных матчей. Дополненная виртуальность (Augmented virtuality) – это некоторая виртуальная среда, в которую входят реальные объекты из реального мира (например, вы находитесь в виртуальной комнате, в которой стоит реальный автомобиль). Дополненная реальность и дополненная виртуальность — составляющая часть смешанной реальности (англ. mixed reality). Смешанная реальность – это новая среда с новыми свойствами, которая совмещает реальные и виртуальные сцены и объекты. Например, вы можете идти по городу в шлеме виртуальной реальности, смотреть по сторонам и видеть информацию по достопримечательностям, раскрывающиеся окна с картинками или видео, привязанными к объектам архитектуры, облик местности из прошлого и многое другое (см. wikipedia).

Для решения ряда сложных пространственно-информационных задач нам потребовалось создать комплекс смешанной реальности с различными компонентами. Это – стационарное решение для использования в ситуационных центрах и диспетчерских, но такие комплексы смешанной реальности могут быть и мобильными (напр., для использования в туризме для виртуальных путешествий или для отработки коллективных операций).

Созданный 3D комплекс состоит из целого ряда систем и технологий для смешанной реальности.

Как это работает:

1. Мы реализовали основной принцип смешанной реальности, а именно, объединили реальный и виртуальный мир, да еще и в 3D! Для этого мы взяли специальную компактную 3D стерео камеру, которая будет как бы «виртуальными глазами» для новой смешанной реальности и взяли 3D стерео шлем, который объединил реальный и виртуальный мир.

Теперь мы можем смотреть через 3D шлем на окружающий мир (при этом мы видим его только через 3D камеры). И это все реализовано в 3D объеме! Так, если вы просто оденете 3D шлем и камеру, то будете видеть окружающую обстановку в 3D, как вы ее видите в обычной жизни.

2. Следующим шагом мы взяли специальный софт, который позволяет интегрировать виртуальные объекты, модели и процессы в реальный мир. То есть в окружающую вас обстановку можно поместить теперь 3D виртуальные объекты! Для этого объединяются различные 3D видео потоки.

3. Так же мы использовали трекинг с помощью маркеров с использованием технологии компьютерного зрения. Маркер – это простое изображение на листе бумаги. Эта технология позволяет распознавать специальным образом созданные маркеры и рассчитывать их положение и ориентацию в системе координат камеры. К каждому маркеру можно привязать 3D объект (модель). Когда этот маркер попадает в область видимости камер, в 3D шлеме (на 3D мониторе) на месте маркера отображается 3D объект с правильной ориентацией. Мы получили один из элементов смешанной реальности!

Данная технология успешно применяется в образовании, для создания контента и видео, для технологических процессов, в научно-исследовательских проектах.

4. Мы дополнили смешанную реальность трекерами движения с 6 степенями свободы. Трекер с 6 степенями свободы позволяет определить точные линейные и угловые координаты датчика (то есть не только его расположение, но и его вращение) с частотой 120 Гц. Таким образом, вы можете двигать датчиком и на экране в режиме реального времени видеть точное расположение датчика пространстве.

Для удобства управления мы использовали систему с двумя трекерами (двумя метками трекера), чтобы задействовать обе руки оператора, который двигает метки перед собой и видит результат движения в 3D шлеме. 

К каждому трекеру можно привязать свой виртуальный объект (напр., 3D модель) и видеть в режиме реального времени в 3D объеме движение этого объекта. Будучи размещен на 3D шлеме трекер обеспечивает ориентацию пользователя нашей системы в виртуальном мире – одновременно в реальном мире он ориентируется видя его через видеокамеры. 

5. Отдельно сформировано рабочее место для наблюдателя (оператора). Это отдельный монитор, на котором выводится результат смешанной реальности. Оператор может контролировать и дублировать процесс.

Где применяются подобные комплексы:

- Управление сложными объемными процессами (авиация, космонавтика, робототехника, физика, геология, безопасность и др.)

- Обучения работы со сложными системами (управление техникой, сложные физические процессы и др.)

- Создание фильмов и приложений

- Медицина и психология

- Наука и образование

- Отдых, развлечения, инсталляции и мероприятия

- Искусство, туризм и другие области.

Будущее технологий смешанной реальности:

- тренажеры и симуляторы (как индивидуальные, так и коллективные) 

- туристические и навигационные системы с интересной графикой и информацией об объектах

- 3D система Windows, когда много экранов расположены вокруг пользователя, они висят в пространстве и на них отражается 3D информация и иконки. При этом человек может находиться в шлеме виртуальной реальности и, поворачивая головой, видеть эти экраны.

- Работа с виртуальными устройствами всех видов.

- Виртуальные 3D конференции в виртуальном или реальном пространстве.

- 3D компьютерные игры и многое другое.

В настоящий момент разработка систем смешанной реальности, а тем более в 3D, – дорогостоящий процесс. Широкое применение систем начнется с удешевлением компонент, которое ожидается в ближайшие годы. При этом стоимость самих устройств будет меньше, чем стоимость программного обеспечения для смешанной реальности.

Смотрите наш видео ролик о системе смешанной реальности из цикла «Объемные истории» в 3D ЛИГА 1 сентября 2010 года. В нем вы увидите, как работает смешанная реальность. Видео ролики из цикла «Объемные истории» вы можете найти здесь.

Авторы: 

Усков Глеб, директор, 3D ЛИГА,

Горбунов Андрей, к.т.н., доц., МГТУ ГА (Институт инженеров гражданской авиации в СССР)

Источник