Идея проекта | Переводчик аудио на жестовый язык
Обзор
Язык жестов - это визуальный язык, который глухие люди используют в качестве родного языка. В отличие от звуковых паттернов, передаваемых акустически, язык жестов использует язык тела.
и ручное общение, чтобы плавно передавать мысли человека. Это достигается за счет одновременного сочетания форм рук, ориентации и движений кистей, рук или
тело и мимика. Его могут использовать люди, которые плохо разговаривают, или люди, которые слышат, но не могут говорить, а также обычные люди для общения с людьми с нарушениями слуха. Что касается глухих, то доступ к языку жестов очень важен для их социального, эмоционального и языкового роста. Язык жестов должен быть признан первым языком глухих, и их образование может быть
проходило двуязычно на национальном языке жестов, а также на национальном письменном или устном языке.
Индийский язык жестов используется глухими и слабослышащими людьми для общения, показывая знаки, используя разные части тела. По всему миру там
это разные сообщества глухих, и поэтому язык этих сообществ будет отличаться. Язык жестов, используемый в США, - американский язык жестов.
(ASL); Британский язык жестов (BSL) используется в Великобритании; а индийский язык жестов (ISL) используется в Индии для выражения мыслей и общения друг с другом. «Индийский язык жестов (ISL)» использует ручное общение и язык тела (неручное общение) для передачи мыслей, идей или чувств. Знаки ISL можно в целом классифицировать
на три класса: одноручные, двуручные и нефизические знаки. Одноручные знаки и двуручные знаки также называются ручными знаками, когда подписывающий использует свои руки для
сделайте знаки для передачи информации. Знаки, не относящиеся к мануальным действиям, возникают при изменении положения тела и мимики. Эта система предназначена для слабослышащих
люди в Индии взаимодействуют с другими, поскольку он переводит английский текст на язык жестов.
Цели
1. Предоставить глухим людям доступ к информации и услугам на индийском языке жестов.
2. Разработать масштабируемый проект, который можно расширить, чтобы охватить весь словарный запас ISL с помощью ручных и не ручных указателей.
Технические характеристики
Этот проект основан на преобразовании полученных аудиосигналов в текст с использованием api речи в текст (модули python или google api) с последующим использованием семантики обработки естественного языка для разбивки текста на более мелкие понятные части, для чего требуется.
Машинное обучение как часть. В качестве входных данных используются наборы данных предопределенного языка жестов, чтобы программное обеспечение могло использовать искусственный интеллект для отображения преобразованного звука в знак.
язык.
AI (искусственный интеллект) - это теория и разработка компьютерных систем, позволяющих выполнять задачи, обычно требующие человеческого интеллекта, такие как визуальное восприятие, распознавание речи, принятие решений и перевод между языками.
ML (Машинное обучение). Машинное обучение - это наука о том, как заставить компьютеры работать без явного программирования. Входные данные представлены в виде наборов данных, с помощью которых система учится и пытается дать пользователю наилучший результат.
NLP (обработка естественного языка) - это применение вычислительных методов для анализа и синтеза естественного языка и речи.
Используемая платформа:
Программное обеспечение, реализованное через Python
Настольное приложение реализовано с использованием языка программирования Python. Python
включает библиотеки, такие как pyaudio, для преобразования речи в текст.
- Python 2.7.x является предпочтительным.
- Компилятор редакции сообщества Pycharm.
- Операционная система - Ubuntu (Linux).
- Наборы данных ISL / ASL из Google.
Методология
1. Аудиовход на персональном цифровом помощнике (КПК) с использованием модуля Python PyAudio.
2. Преобразование аудио в текст с помощью Google Speech API.
3. Парсер зависимостей для анализа грамматической структуры предложения и установления связи между словами.
4. Генератор ISL: ISL входного предложения с использованием правил грамматики ISL.
5. Генерация жестового языка с помощью подписи Аватара.
Будущее
1. Поскольку глухие люди обычно лишены нормального общения с другими людьми, им приходится полагаться на переводчика или визуальное общение. Теперь интерпретатор не может быть доступен всегда, поэтому этот проект может помочь устранить зависимость от интерпретатора.
2. Система может быть расширена, чтобы включить в нее знания мимики и языка тела, чтобы было полное понимание контекста и тона входящей речи.
3. Мобильная и веб-версия приложения увеличит охват для большего числа людей.
4. Интеграция системы распознавания жестов рук с использованием компьютерного зрения для создания системы двусторонней связи.
Эта статья предоставлена Анкит Джайн . Если вам нравится GeeksforGeeks, и вы хотели бы внести свой вклад, вы также можете написать статью с помощью provide.geeksforgeeks.org или отправить ее по электронной почте на deposit@geeksforgeeks.org. Посмотрите, как ваша статья появляется на главной странице GeeksforGeeks, и помогите другим гикам.
Пожалуйста, напишите комментарии, если вы обнаружите что-то неправильное, или вы хотите поделиться дополнительной информацией по теме, обсужденной выше.