Разработаны AR-очки для помощи слепым людям

Компания Caltech в недавнем времени разработала VR-аппарат, для основы которого использовалась технология HoloLens от Microsoft. Благодаря умелому использованию AR-технологии создание такого аппарата позволит упростить частично или полностью слепым людям ориентироваться в пространстве.

Сама собой система представляет искусственного помощника, который распознаёт предметы и окружающую среду и просто подсказывает слабовидящему человеку его действия. Для этого используется фирменная гарнитура от Microsoft. Она позволяет пациенту слушать помощника, который частично или полностью распознаёт объёкты, отдельные ситуации. Такая программа  значительно упрощает передвижение в пространстве слепым людям.

VR-помощник опознаёт объекты методом нейросети, используется для этого особое «компьютерное зрение». Далее, пользователю озвучивается ситуация: что это, на каком расстояние и т.д. В итоге, слабовидящий человек на слух воспринимает информацию о том, что находится рядом, и следовательно, может вполне адекватно действовать в определённой ситуации, естественно, насколько это возможно. Расстояние определяется методом уровня тембра голосовой подачи. Чем расстояние меньше, тем тембр выше.

Помощник работает в трёх режимах:

1. Описывает предмет в прямом поле зрения пользователя. Сообщает о его положении в пространстве.
2. Сканирует пространство вокруг, описывая предметы, находящиеся в комнате: цвет, форму, прочие характеристики.
3. Режим для тех, кто нацелен на конкретный объект.

В данный момент эта технология не стала широко доступной для слепых и слабовидящих людей, однако она уже находится на стадии тестирования и шансы у данного устройства очень хорошие. Следовательно, разработчикам есть над чем ещё потрудиться.

Специалисты протестировали устройство. Его результаты на данном этапе разработки оказались очень положительными. Несколько десятков слепых добровольцев прошли через здание Caltech без особого труда, учитывая, что ранее подопытные в этом здании не бывали. Тест можно считать завершенным успешно. Помощник правильно подсказывал пользователям, где размещены поручни, указывал на все повороты, положение лестниц и иные препятствия и предметы.

Разработчики намерены в короткое время усовершенствовать технологию, добавив больше количество объектов для распознавания, научить систему распознавать текст и описывать сложные ситуации и даже вести пользователя по созданному маршруту, исходят из данных геолокации. Возможно, очень скоро с таким устройством невидящий человек самостоятельно сможет сходить за покупками, посетить медицинское учреждение или самостоятельно пройти по городу, не привлекая других людей и не испытывая при этом сложностей.