Новые тенденции во взаимодействии человека с компьютером

Опубликовано: 28 Июня, 2021

Основная цель изучения взаимодействия человека с компьютером - разработать методы, которые улучшат способ взаимодействия пользователей со своими компьютерами и сделают его более интуитивным. Использование физических устройств, таких как мышь и клавиатура, для взаимодействия человека с компьютером препятствует интуитивности и естественности интерфейса, поскольку существует прочный барьер между пользователем и компьютером. С развитием повсеместных вычислений, современного взаимодействия человека с компьютером пользователя с персональным компьютером сегодня, ограниченного только взаимодействием с клавиатурой и мышью, недостаточно. Возможность естественного взаимодействия с системой становится все более важной во многих областях взаимодействия человека с компьютером. Прямое использование рук в качестве устройства ввода является привлекательным методом для обеспечения естественного взаимодействия человека с компьютером, а не традиционных текстовых интерфейсов через графические пользовательские интерфейсы. Хотя рынок дизайна интерфейсов на основе жестов рук огромен, создание надежной системы распознавания жестов рук остается сложной проблемой для традиционных подходов, основанных на видении. Следовательно, эта система распознавания жестов рук, которая может эффективно отслеживать как статические, так и динамические жесты рук, будет интуитивно понятным и естественным интерфейсом для пользователей с их компьютерами. Эта система преобразует обнаруженный жест в такие действия, как открытие веб-сайтов, запуск приложений и многое другое с минимальным оборудованием. Другим подходом к тому, чтобы сделать это взаимодействие более интуитивным, может быть помощь жестов взгляда, когда используется головной дисплей (HMD), который представляет собой портативное интерактивное устройство отображения, которое может отслеживать движение глаз в качестве средства взаимодействия. Этот метод очень эффективен и не требует усилий для пользователя, поскольку люди могут свободно контролировать движения своих глаз. Следовательно, технология айтрекинга может использоваться как метод для HCI. В настоящее время HCI хорошо зарекомендовали себя для жестов и голосового ввода, но этот метод HCI на основе жестов не подходит, когда обе руки заняты или в средах, где речь не подходит. Таким образом, более простой и эффективный метод подхода к HCI с HMD имеет решающее значение. Кроме того, эта система обеспечивает взаимодействие взгляда на основе HMD с помощью веб-камеры HMD для обнаружения и отслеживания направления взгляда человека в реальном времени с близкого расстояния и для анализа намерения пользователя на основе взгляда. В последние годы появились исследования HCI, основанные на жестах взгляда, и они быстро развиваются.

Методология распознавания жеста руки для взаимодействия человека с компьютером: в этом методе, когда пользователь дает жест системе, она мгновенно захватывает изображение жеста руки с помощью модуля камеры. Затем изображение преобразуется в изображение в оттенках серого с помощью различных алгоритмов масштабирования серого. Затем это изображение с оттенками серого обрабатывается для удаления шума и сглаживания изображения. Бинаризация Otsu автоматически вычисляет пороговое значение из гистограммы изображения для бимодального изображения, которое представляет собой изображение, гистограмма которого имеет два пика. К изображению применяется пороговая обработка для получения двоичного изображения из обработанного изображения в градациях серого, которое выполняется путем установки порогового значения, которое получается из бинаризации и преобразования всех пикселей в черный или белый на основе его значения, меньшего или большего, чем это пороговое значение, для достижения большей точности. Для обнаружения объекта выполняется выделение контура. Обнаружена выпуклая оболочка с дефектами выпуклости. В зависимости от этих дефектов распознаются жесты. Для таких жестов, как ладонь и кулак, где нет дефектов выпуклости, используется каскадный классификатор Хаара, где для распознавания этих жестов используется набор позитивных изображений, минимум 10 исходных изображений, снятых при разных условиях освещения и под разными углами. На основе этих жестов действия затем сопоставляются с каждым жестом. Наконец, запускается приложение, привязанное к определенному жесту.

Преимущества

Это интуитивно понятный и естественный способ взаимодействия.
Более удобный.
Распознает как статические, так и динамические движения рук.
Быстрая и достаточно надежная система распознавания.
Легко внедряется в системы реального времени.
Эти жесты можно настраивать, и каждому жесту можно назначить любую задачу.
Он имеет минимальные требования к оборудованию.
Бюджетный.

Недостатки

Точность распознавания упадет, если будет задействован сложный фон.
Нерелевантные предметы с рукой могут ввести систему распознавания в заблуждение.
Система может требовать, чтобы рука стояла вертикально, а пальцы указывали точно на камеру.
Производительность этой системы падает по мере увеличения расстояния между пользователем и камерой.
Определение цвета эффекта окружающего света снижает производительность системы.
Он по-прежнему не создает интерфейса, который мог бы заменить физические контроллеры.

Методология жестов взгляда и их применения при взаимодействии человека и компьютера с дисплеем, устанавливаемым на голову. Этот метод включает использование отслеживания взгляда, которое представляет собой метод измерения точки взгляда человеческих глаз и степени их движения относительно позы головы. В этой системе реализован стиль взаимодействия взгляда на основе HMD, позволяющий определять и отслеживать направление взгляда человека в реальном времени с близкого расстояния. Процесс начинается с фотографирования глаза с помощью камеры для ближнего обзора, встроенной в HMD, для расчета направления взгляда. Система настроит диапазон распределения позы головы, чтобы напрямую предоставлять информацию о позе головы. Мы собираем данные в зависимости от диапазона, и эти данные согласуются с изображением, полученным нашей системой HMD. При использовании зрачка в качестве центра изображение увеличивается в несколько раз. Координаты зрачка задаются как координаты центра и случайным образом уменьшает количество пикселей, и, наконец, к изображению применяется гауссова фильтрация. Затем два модуля моделей глубоких сверточных нейронных сетей используются для классификации траекторий взгляда изображения. Эта сеть содержит данные о почти десяти тысячах траекторий взглядов, собранных у разных людей. Из-за разрыва между распределением признаков в синтетических изображениях и в реальных изображениях обучение на синтетических изображениях может не достичь ожидаемой производительности. Чтобы преодолеть разрыв между распределением синтетических изображений и распределением реальных изображений, эта сеть использует модель, предварительно обученную в сети, для обучения на больших объемах данных и последующего обучения полученной модели. Использование реальных данных решает проблему распределения данных и улучшает распознавание системы, сохраняя при этом информацию маркировки. Эти разновидности жестов взгляда, наконец, сопоставляются с определенной функцией, которую выбирает пользователь.

Преимущества:

Эта система очень надежна и удобна в использовании.
Очень полезно в ситуациях, когда руки заняты, а речь не подходит.
Движение взгляда происходит значительно быстрее, чем любые другие жесты.
Этот метод собирает большие объемы точных и точных данных для распознавания жестов.
Повышена точность распознавания с помощью нейронной сети.
Использует две нейронные сети параллельно для сопоставления различных функций, чтобы обеспечить согласованность между полученными результатами.
Может адаптироваться к различным условиям освещения как в помещении, так и на улице.
Может выступать в качестве средства интерфейса для людей с ограниченными возможностями.

Недостатки:

Новые пользователи могут рисовать неточные шаблоны.
Требуется некоторое время, чтобы пользователь привык к интерфейсу.
Относительное положение глаз и камеры варьируется от человека к человеку.
Контактные линзы и очки могут влиять на способность камеры отслеживать движения глаз.
Отслеживание взгляда и обучение набора данных для нейронной сети могут быть дорогостоящими.

Использование этих методов в сценариях в реальном времени

1. Жесты руки. Существует огромный потенциал для разработки новых видов дизайна интерфейсов, которые улучшают то, как мы раньше взаимодействовали с компьютерами. Существует множество исследований по разработке интерфейсов такого типа. Существует огромный рынок интерфейсов на основе жестов. Этот вид интерфейса имеет множество практических приложений, в которых пользователь может легко действовать, не дотрагиваясь до физического управляющего устройства. Такие интерфейсы используются и сейчас, например, при запуске продуктов для компании они используют эти движения жестами, чтобы перейти к следующему слайду, избегая использования физического кликера в руках. Этот вид интерфейса может быть очень эффективным для небольших интеллектуальных мобильных устройств и других интеллектуальных носимых устройств, таких как умные часы, где интерфейс ограничен и часто имеет очень маленькие экраны, не позволяющие пользователям использовать другой вид интерфейса, а не сенсорный экран. Следовательно, этот вид движения руками может быть реализован в таких устройствах с помощью инфракрасных датчиков. Эти жесты можно использовать для основных, но часто используемых функций, таких как запуск определенных приложений, увеличение или уменьшение громкости, пропуск песен, вызов определенного предварительно заданного контакта и т. Д., И такие функции можно легко реализовать. Это создает удобный интерфейс для пользователя с устройством, которое имеет ограниченную физическую область, поэтому визуальный интерфейс будет громоздким для пользователя, чтобы взаимодействовать с устройством.

2. Жест взгляда: эта технология пользуется огромным спросом в других парадигмах интерфейса, таких как дополненная реальность и виртуальная реальность (AR и VR), где отслеживание движения глаз используется для различных функций. Традиционные методы взаимодействия могут быть неподходящими в некоторых средах, где заняты руки, и речь может не подходить. В настоящее время можно использовать жест взгляда, поскольку эти приложения полностью свободны от каких-либо устройств физического взаимодействия, за исключением крепления на голову, которое предназначено только для отслеживания движения глаз пользователя. Поскольку для этих устройств требуется только бесплатная и удобная форма взаимодействия с пользователем, которую предлагает интерфейс жестов взгляда, эту технологию можно широко использовать в этих областях. Подобные технологии используются даже сейчас, как, например, Microsoft HoloLens.
В интеллектуальных устройствах, таких как интеллектуальные линзы, очки для ношения используются как интеллектуальное устройство для отображения информации, жесты взгляда могут использоваться как интерфейс для навигации и других функций, определяемых пользователем. Кроме того, этот метод имеет высокую точность отслеживания взгляда и, следовательно, может использоваться в качестве инструмента рисования в виртуальной среде. Их также можно использовать для обнаружения сонливости пользователя и при желании предупредить пользователя. Другими сценариями, в которых важно отслеживание взгляда пользователя, является коммерция, где определение продукта привлекло внимание пользователя, просматривающего рекламу.