Технология шестого чувства
Стив Манн известен как «отец технологии шестого чувства», который в 1990 году создал носимое вычислительное устройство. Люди знают, что способ интеграции между людьми и роботами развивается с использованием различных технологий. Управление роботизированными транспортными средствами с помощью жестов - преобладающий способ улучшения интеграции. Человеческий жест улучшает взаимодействие человека с роботом, делая его независимым от устройств ввода. Встроенная в систему камера используется для записи видео жестов в реальном времени. Он связывает такие технологии, как распознавание жестов рук, захват изображений, их обработка и манипуляции. Цветные маркеры используются для обозначения жестов. Для отправки жестовых команд в основном используется беспроводной модуль Zigbee series 2.
Составные части
- Камера - Ключевое устройство ввода, искусство как цифровой глаз. Возможность захвата ввода с помощью жестов пользователя.
- Проектор - ключевое устройство вывода и проецирует цифровую информацию с устройства на поверхность или стену.
- Мобильное вычислительное устройство - устройство с поддержкой Microsoft, используемое в качестве основы для настройки. Это заранее запрограммировано для заполнения налога.
- Зеркало - отражает проекцию на идеальное желаемое место.
- Микрофон - требуется при использовании бумаги. Используется как установка.
- Цветные маркеры - в виде фигур, используемых в качестве жестов или просто щелчков по изображениям.
Порядок работы
- Координата Zigbee подключается к последовательному порту системы через плату проводника USB.
- Используется плата Arduino. Пользователь носит цветные постукивания, чтобы предоставить системе жест ввода.
- Камера снимает видео в реальном времени с фиксированной частотой кадров и разрешением, которое определяется аппаратным обеспечением камеры.
- Цвет играет важную роль в обработке изображений. Каждое изображение состоит из массива из M * N пикселей с M роликами и N столбцами пикселей. Каждый пиксель поддерживает определенное значение для основных цветов, таких как красный, зеленый и синий. На основе пороговых значений можно различать цвета RGB. В процессе определения цвета требуемый цвет можно определить по изображению.
- Для управления роботизированным транспортным средством в соответствии с входными газами, заданными пользователем, используется плата Arduino Uno.
- Последовательная связь между Arduino и MATLAB устанавливается по беспроводной сети через Zigbee.
- Изображение RGB преобразуется в изображение в оттенках серого. Он преобразует полноцветное изображение RGB в изображение в оттенках серого.
- Из изображения RGB требуемый цвет (красный) извлекается путем вычитания изображения. Объект красного, зеленого и синего цветов обнаруживается путем вычитания канала суперсвета RGB из изображения в градациях серого. Серая область изображения, полученного после вычитания, должна быть преобразована в двоичное изображение для поиска области обнаруженного объекта.
- Преобразование в двоичное требуется для определения свойств монохроматического изображения.
- Чтобы пользователь мог управлять указателем мыши, необходимо определить точку телефона, координаты которой могут быть отправлены к курсору. С этими координатами система может выполнять роботизированные движения.
- Центроид рассчитывается для обнаруженной области. Выходная функция представляет собой матрицу, состоящую из координат X и Y центроида. Число центроидов передается в Zigbee через COM-порт системы.
- Маршрутизаторы Zigbee, присутствующие в беспроводной сети, получают данные от координаты и передают их в Arduino.
- Arduino передает команду роботизированным транспортным средствам. Соответствующие команды используются для таких движений, как движение вперед, назад, поворот влево и вправо.
Приложения
- Просмотр карты (вызвать карту)
- Проверить время
- Создайте мультимедийный опыт чтения
- Фотографировать
- Приложения для рисования (увеличение масштаба с помощью движений руки)
- Совершение звонков и взаимодействие с физическими объектами
- Обновления рейсов, получение информации о продукте
Преимущества
- Портативный
- Поддержка мультитач и многопользовательского взаимодействия
- Экономически выгодно, потому что устройство стоит до 300 долларов.
- Мы можем напрямую получать доступ к данным с машин в режиме реального времени.
- Разумная карта идеи где угодно
- Программное обеспечение с открытым исходным кодом
Недостатки
- Аппаратные ограничения устройств, которые мы сейчас носим с собой
- Например, многие телефоны не позволяют управлять передачей с внешней камеры в режиме реального времени.
- Иногда может происходить постобработка
Заключение и будущие улучшения
Технология использует носимый интерфейс жестов, который накладывает материальный мир на цифровой мир.
Помимо глаз, языка, носа, ушей, жестов, эта технология использует шесть дополнительных сенсорных восприятий для взаимодействия с материальным или физическим миром. Технология шестого чувства избавит от необходимости носить с собой утомительные ноутбуки и другие тяжелые устройства. Связь между физическим миром и цифровым миром - огромная веха, достигнутая человечеством. Возможны многие варианты дальнейших модификаций этой технологии:
- Избавиться от цветных маркеров
- Для встроенной камеры и проектора в мобильные и компьютерные устройства
- Для отслеживания 3D-жестов
- Чтобы шестое чувство работало как пятое чувство для людей с ограниченными возможностями