Как управлять компьютером при помощи голосовых команд?

Управление голосом и жестами на компьютере

Какой гик не мечтает управлять компьютером с дивана одними только жестами и ыми командами? Как ни странно, но это уже возможно. А в самом ближайшем будущем каждый второй будет махать руками перед монитором. В статье рассматривается несколько способов и ближайших перспектив.

Управление голосом на Windows

Начнем с бесплатного софта, который позволяет управлять компьютером с помощью русской речи. Можно будет уговорить его открывать программы, выполнять какие-то действия и так далее. И ваши руки будут свободны для более важных дел.

Typle

Данная программа лидер среди программ, позволяющих командовать компьютером на родном русском языке. После установки нужно будет завести пользователя и придумать ему ключевое слово вроде «Ok, Windows», хотя нам советуют слово «Открой». Именно с него мы и начинаем говорить, знакомая реализация в Google Glasses существует.

Потом для пользователя выбираем команды. Можно добавить только запуск каких-либо программ, а при нажатии дополнительно самостоятельно выбрать программу и дописать какой-либо аргумент.

Возможно, если что-то дописать к запуску программы, то будет и действия.

Но в целом, обычному пользователю поуправлять компьютером полноценно не получится, никаких тебе пауз или следующий трек, только запускать и запускать.

Мой голос с французским акцентом распознается очень хорошо. Хотя даже не все люди его распознают. Теперь буду вместо людей с компьютером только общаться.

Скачать программу можно с официального сайта бесплатно. Либо купить платную версию за 13$, если вам надо записать более 450 команд, хотя это вряд ли.

Существует, как минимум, 5 подобных программ с ым управлением на компьютере, но все они сильно уступают Typle. О некоторых вы могли слышать, к примеру, русская разработка Горыныч,которая на деле очень слабо или вообще не распознает. Мне даже удалось найти какой-то аналог Siri для компьютера, который создал один человек и назвал Russian Voice Control.

Speaker

Есть и менее популярные, но чем-то более хорошие. Одна из таких Speaker. Она не только позволяет запускать приложения и файлы, но и выполнять несколько команд, таких как смена раскладки клавиатуры, сделать скриншот и даже выключить компьютер. Последнее не советую использовать, чтобы случайно не было чего. Команд все равно мало и свои не добавишь, и снова же, управление плеером нет.

Отмечу здесь как все работает. Надо использовать среднюю кнопку мыши или ctrl на клавиатуре, чтобы началась обработка голоса. Довольно популярные клавиши, которые используют и другими программами, так что будет время от времени вылезать окошка «не удалось распознать голос :(»

Нажал на кнопку, сказал слово «контакт», запись отправляется на сервер, а потом возвращается обратно полученный текст и выполняется действие — заходить на страницу ВКонтакте. На все это 5-10 секунд уходит, не совсем скорость, но для бедных программистов тоже результат неплох. Как вы поняли, нужно постоянное интернет-соединение, но сейчас это уже не проблема.

Команды задаются текстом, а не записью в отличии от Typle. А потом распознанный текст уже сравнивается с командами. Распознавание отличное с точностью до буквы, а вот сам запуск не такой уж и удобный.

На практике, я не использую ое управление, потому что микрофон всегда должен быть рядом. У меня хоть и есть купленный микрофон, но на расстоянии 1 метра он меня не слышит. Да и когда говорю тоже не с первого раза может сработать. С управлением жестами все гораздо интереснее.

Скачать можно отсюда.

Управление жестами на компьютере

Еще с момента появления PlayStation®Eye Camera и kinect люди захотели такие же функции и на компьютере.

Позже Kinect даже стали продавать разработчикам, но для общего пользователя такого продукта не анонсировали. И даже есть новость, что Kinect 2.

0 с Xbox One не будет работать на компьютере, но выйдет специальная версия Kinect и для PC. Правда без соответствующего софта пользы от него мало. Так что перейдем к самому софту.

Flutter

Самым популярным и доступным способом управления жестами является программа Flutter и соответствующее Chrome-расширение. Для этой программы подойдет почти любая веб-камера.

Довольно мало функций, но зато они очень хорошо работают. Мы можем ставить на паузу и продолжать показывая ладонь. Переключать треки или видео налево или направо, в зависимости, куда укажем пальцем. Работает программа в PowerPoint, VLC, Winamp, iTunes, и нескольких других сервисов, которые мало кто у нас использует.

Для правильной работы желательно быть на расстоянии от вебкамеры, но не как попало. Лежа получается гораздо хуже контролировать, чем ровно сидя. Лично я пользуюсь только на , когда руки грязные довольно удобно или когда лежишь. Случайных движений еще не было. Но все же бывают погрешности, когда просто сидишь и махаешь руками перед монитором как полный идиот.

Скачать советую на официальном сайте.  И обязательно установите Flutter для Google Chrome, он позволит управлять и другими интернет-сервиса вроде Pandora и Netflix.

Наверняка Flutter скоро получит полную поддержку Chrome, ведь стартап в октябре 2013 года купила Google.

Leap Motion

От софта перейдем к устройствам. Leap Motion внушает доверие своим маленьким видом и количеством потенциальных возможностей. Эта штука определяет руки пользователя, точнее даже каждый палец. Собственный магазин с кучей приложений и игр не дает заскучать. И самое главное, он уже продается и стоит какие-то 5000 рублей. Не так много за такую магию.

Но, на самом деле, здесь много минусов. На хабре было обсуждений и даже мнение одного из пользователей. Руки всегда надо держать запястьем вверх над устройством, думаете легко? Подержите 5 минут.

Насчет приложений тоже большой минус в том, что все бесплатные глючат, вылетают. А игры сборище непонятных лсд-трипов. Да и управлять неудобно, точность играет в обратную сторону и каждое неверное движение рукой приводит к непредвиденным последствием.

Да и сам дравйвер для Leap Motion будет сжирать почти все ваши ресурсы на компьютере. Но если и это вас не останавливает, то купить, как всегда, на оф. сайте. Он даже на русском языке.

DUO 3D

http://www..com/watch?v=7hAQECvLIGM

Похожая технология от русских разработчиков тоже существует. Они просто взяли две Eye Camera, написали софт и сделали компанию на кикстартере. К сожалению, провальную. Собрали 62 000$ из 110 000$ планированных. Обидно, тем более, что они не получат даже этих денег, так как надо собрать все, чтобы они поступили.

Сейчас устройств даже в свободной продаже, но мы будем надеяться, что такие разработки наших людей не пропадут просто так.

Myo

Да ладно, кто не слышал о Myo. Браслет, определяющий жесты не с помощью камеры, как конкуренты, а распознаванием движения мышц. Красивый видеоролик и потрясающие возможности подкупили всех и даже меня. Как только браслет будет в свободной продаже, будут известны приложения и все интеграции, появятся обзоры, тогда и я куплю эту чудную вещь.

Сейчас браслет можно предзаказать за 150$, но боюсь попасть на сырую версию.

Управление компьютером с веб камеры на ноутбуках

Сейчас создатели ноутбуков любят экспериментировать с управлением жестами. Компания PointGrab продвинулась в этой тематике, концепт арт у них довольно оптимистичный.

Продуктами этой компании пользуется Acer. А Lenovo на основе этих наработок сделает свой собственный Motion Control 2.0.

А в сентябре 2013 Intel анонсировала новые ноутбуки с ым управлением, управлением жестами, прикосновением, а до этого летом компания приобрела израильский стартап Omek.

Посмотрим, что из этого всего выйдет. У меня в последнее время вечное ощущение того, что будущее вот-вот рядом и так уже пару лет. Мой материал можете дополнить своими знаниями, может есть еще какие-то устройства или способы, которые тоже стоило упомянуть?

Как выключить компьютер голосом

» ПО » Как выключить компьютер голосом

Цифровые технологии стремительно развиваются, предлагая нам новые возможности по взаимодействию с устройствами. Постепенно набирает популярность управление устройствами с помощью голоса. Компания Яндекс решила так же не отставать от тренда и предлагает свое решения для компьютеров под управлением операционной системы Windows.

Приложение называется Яндекс.Строка и позволяет управлять компьютером с помощью ых команд, выполняя такие операции как поиск в интернете, поиск файлов и папок на компьютере, умеет открывать сайты и запускать программы.

Можно даже голосом выключить или перезагрузить компьютер.

В этом плане она более функциональна чем ой поиск Google, а более продвинутая технология от Майкрософт под именем Cortana работает только в Windows 10 и недоступна в России.

Хотя сразу нужно отметить, что Яндекс.Строка работает только начиная с Windows 7 и старше, соответственно Windows 10 так же поддерживается. Естественно еще одним обязательным требованием является наличие микрофона в компьютере. Скачать установочный файл Яндекс.

Строки можно на странице нажав на кнопку «Установить» и сохранив его к себе на компьютер, после чего запустив установку. Можно отметить, что при этом не предлагается установка дополнительного софта или изменение настроек браузера.

По окончании процесса установки на панели задач появится новый элемент.

Его внешний вид можно изменять в настройках программы, например переместив в правую часть панели задач к часам или заменив строку на иконку программы.

Пользоваться «Яндекс Строкой» довольно просто, после установки она находится в режиме ожидания.

Чтобы ее активировать на выбор предлагается три варианта, щелкнуть мышью по значку микрофона в яндекс строке, нажать комбинацию горячих клавиш или произнести вслух одну из следующих команд «Слушай Яндекс», «Привет Яндекс» или «О’Кей Яндекс».

Если все сделано правильно и система распознала команду, то появится соответствующее окно, сигнализирующее готовность приложения принимать дальнейшие ые команды пользователя компьютера.

Теперь можно произносить нужную команду. Если это будет произвольная фраза, то она будет интерпретирована как поисковый запрос в интернет и результат будет показан в браузере по умолчанию с помощью поисковой системы Яндекса. В некоторых случаях, ответ показывается прямо в окне приложения без использования браузера.

Аналогичным образом выполняются другие команды, с той лишь разницей, что сначала указываем суть команды, а затем объект. Другими словами, чтобы открыть допустим какую то папку на компьютере в Проводнике, нужно сначала активировать Строку, а затем произнести «Открыть папку „название папки“».

Вот еще несколько примеров команд.

Открыть сайт: «Открой „название сайта“»Запустить программу: «Запусти „название программы“»Открыть файл: «Открой „название файла“»Выключение компьютера: «Выключить компьютер»

Таким же образом можно отправить компьютер в перезагрузку или спящий режим, запустить различные служебные окна, например «Открой панель управления».

На этом возможности Строки Яндекса не заканчиваются, в нее можно вводить команды с помощью клавиатуры, а так же используя буфер обмена Windows. Это так называемая умная поисковая строка, в которой по мере набора символов, будут предлагаться различные варианты ответов.

При этом в отличие от штатной поисковой строки в меню Пуск, Яндекс.Строка предлагает дополнительно варианты ответа из поиска в интернете.

Кроме того ее можно использовать как панель быстрого доступа к сервисам Яндекса или другим часто посещаемым вами сайтам. Достаточно просто щелкнуть мышью по строке и откроется окно, показанное на изображении в начале статьи.

Проблема всех систем управления голосом и Яндекс.Строка не исключение заключается в необходимости четко и ясно произносить команды, иначе они распознаются не верно.

В частности даже распознав практически правильно фразу, зачастую она в итоге преобразуется в поисковый запрос вместо открытия папки, запуска программы или открытия конкретного сайта.

Таким образом открыть с помощью ой команды получится далеко не любой сайт, это неплохо работает с очень популярными и известными ресурсами, а в остальных случаях это проблематично.

Особенностью работы утилиты Яндекс.Строка с данными хранящимися на компьютере, является использование для поиска по ним данных службы индексирования Windows.

Соответственно в случае отсутствия данных о файле или папке в индексе приведет к некорректным результатам работы поиска.

Таким образом, в настоящий момент ее нельзя назвать полноценным инструментом позволяющим управлять компьютером с помощью голоса, хотя русский язык распознает довольно хорошо и с некоторыми функциями вполне справляется.

Другой особенностью систем ого управления компьютером, которая может отпугнуть часть пользователей, является постоянное прослушивание программой пространства рядом с компьютером в ожидании команды на активацию. Соответственно теоретически возможна несанкционированная запись всех разговоров пользователя и отправка их на удаленный сервер. Конечно это уже незаконное прослушивание, но теоретически возможно.

Если отбросить тотальную паранойю, то можно вспомнить, что некоторые разработчики программ ого управления вполне допускали отправку к себе на сервер введенных ых фраз пользователей для дальнейшего улучшения алгоритмов распознавания речи. Как к этому относиться и стоит ли пользоваться ым управлением на компьютере каждый решает самостоятельно.

beginpc.ru

Как настроить ое управление компьютером

Существует несколько причин, по которым пользователи не могут управлять компьютером с помощью штатных средств — клавиатуры и мыши. Во-первых, это может быть связано с поломкой названных устройств.

Во-вторых, такая необходимость возникает у людей с ограниченными возможностями. И наконец, в-третьих, пользователи просто хотят как-то облегчить себе задачу работы с компьютером, отдавая ему команды голосом.

Голосовое управление компьютером выполняется при помощи специального программного обеспечения.

ОС Windows располагает штатным приложением распознавания речи, но к сожалению, оно не поддерживает русский язык, а только — английский, французский, испанский, немецкий, японский и китайский.

Если интерфейс вашего дистрибутива Windows рассчитан для носителей одного из вышеперечисленных языков и, конечно, вы говорите на нём, тогда вы сможете использовать штатную программу распознавания речи.

Для этого нужно проделать 3 шага: настроить микрофон, пройти несложный учебный курс по управлению компьютером при помощи голоса (он также включен в Windows) и настроить саму программу распознавания речи.

Чтобы сделать это, необходимо (описание разделов ОС будет вестись на русском языке):

• В меню «Пуск» находим раздел «Панель управления» и открываем его. Далее ищем «Распознавание речи».
• Чтобы начать настройку микрофона, зайдите в соответствующий раздел — «Настройка микрофона». Запуститься мастер, который поможет вам произвести необходимые настройки.
• Теперь необходимо запустить учебник. Для этого также заходим в раздел «Распознавание речи», а затем запускаем команду «Использование речевых учебников». Снова следуйте инструкциям мастера.
• Для настройки программы распознавания речи следует запустить команду «Научите компьютер лучше понимать вас» в том же разделе «Специальные возможности» панели управления. По окончанию процедур вы сможете использовать ваш микрофон в качестве средства для управления компьютером.

А что же делать русскоязычным пользователям Windows? К счастью, выход есть — использование сторонних программ. Подобных приложений существует множество — и платных, и бесплатных. Среди всех приложений для ого управления компьютером с системой Windows особенно выделяется Typle. О ней и пойдёт речь далее.

Управление компьютером с помощью Typle

По мнению большинства пользователей, кто предпочитает управлять компьютером при помощи голоса, программа Typle является одной из самых лучших (если не самой лучшей).

Это небольшое по размеру приложение способно не только выполнять команды, имеющиеся в её базе данных, но и поддерживает создание пользовательских. Именно последнее особенно ценится в этом приложении.

Программа распространяется бесплатно, но в бесплатной версии имеются ограничения по созданию пользовательских команд. Однако этих возможностей вполне достаточно для штатного пользователя.

Итак, скачиваем и устанавливаем программу. При первом запуске приложение попросит ввести некоторые личные данные — в эти поля вы можете указать любые символы. Затем вам предстоит выбрать лицензию — выбирайте первый вариант из 3-х предложенных (пока все надписи будут на английском языке) и нажимайте Next.

После того, как приложение соберёт нужную ему для работы информацию, вы увидите стартовое окно с подсказками:

Typle попросит вас нажать на кнопку «Добавить». После нажатия потребуется ввести ваше имя (вводите любое) — это нужно для того, чтобы приложение смогло выполнять именно ваши команды в случае, если вы не являетесь единственным пользователем компьютера.

Также заполняем поле «Введите ключевое слово» (можно оставить предложенный вариант «Открой»).

Именно это слово будет использоваться для запуска ваших команд, а точнее — эта фраза даст программе сигнал к выполнению команды, которую вы будете произносить далее.

Осталось нажать на кнопку записи, а затем произнести какую-либо фразу (длина записи должна быть короче 1,5 секунд). Для проверки можете проговорить «Открой». После успешной записи Typle спросит вас о сохранении записанной команды.

Далее нажимаем на кнопку «Добавить» в верхнем меню. Откроется окно, в котором вам нужно выбрать программу для её запуска после произнесения ключевого слова в микрофон. Для примера выберем приложение «Opera 35» (вы можете выбрать любую свою программу — браузер, проигрыватель или какой-нибудь мессенджер типа Skype).

Обратите внимание на нижнюю часть окна. В данный момент галочка установлена на пункте «Программы и файлы». Вы также можете выделить и другие пункты. Например, установите галочку на «Windows файлы».

Теперь в окне выбора команд для запуска отобразятся стандартные программы Windows (блокнот, Paint, командная строка и так далее), а также различные системные приложения, такие как «Центр обновления» или «Мастер дефрагментации диска» и другие.

Это удобная возможность для пользователей, которым часто приходится сталкиваться с настройкой системы компьютера.

Ещё одна интересная способность Typle — возможность открывать избранные интернет-сайты. Для этого нужно установить галочку на пункте «Фавориты Интернета» и выбрать из списка нужный сайт.

Как только вы выбрали подходящее действие, для его выполнения потребуется записать команду. Для этого нажимаем на значок записи рядом с полем, в котором написано название выбранного действия (программы, сайта и тому подобное), а затем произносим любую фразу. В нашем случае — это «Опера».

После успешного сохранения записи вы можете проверить правильность выполнения команды с помощью программы Typle. Для этого вам нужно проговорить в микрофон слово «Открой», а затем сразу фразу, которая была записана вами на последнем шаге для запуска той или иной программы. В нашем случае команда звучит как «Открой Опера». После этих слов программа автоматически запустит браузер.

Как видите, управлять компьютером средствами программы Typle не так уж и сложно. Вы можете создать множество различных команд, при произнесении которых будут запускаться те или иные приложения, открываться документы либо начинаться воспроизведение видео или музыки.

Typle — ое управление компьютером

Сегодня речь пойдет о нашей речи. Хотелось бы вам управлять компьютером голосом, без помощи пальцев? А, как это говорят, — силой мысли! Правда, мы не будем управлять компьютер силой мысли, но вот силой голоса вполне реально.

Как управлять компьютером при помощи ых команд?

Взаимодействовать с компьютером можно не только при помощи клавиатуры и мыши. Доступно также управление ыми командами. Существуют специальные утилиты, которые позволяют это сделать.

В их функции входит не только запись текста под диктовку или расшифровка аудиозаписей. Через них можно запускать приложения, использовать их, да и вообще — делать что угодно. Управление компьютером голосом облегчает работу с ПК.

Команды передаются оперативно и без лишних усилий. Конечно, если у вас есть микрофон.

Мы познакомим вас с приложениями с подобным функционалом

Такая функция встроена в англоязычную версию Windows. Для её использования у вас должна быть лицензия Enterprise или Ultimate. Но и в русифицированных операционных системах можно настроить управление голосом и диктовку текста. Воспользуйтесь одним из следующих приложений.

Speechka

Еще одно приложение для управления компьютером

Теперь о том, как управлять компьютером голосом, используя приложение Speechka.

1. При первом запуске откроется окно с выбором категории: ПК или интернет.
2. Там же есть пояснение, каким сочетанием клавиш надо активировать утилиту. Это можно изменить в настройках.
3. Нажмите, к примеру, на «Интернет». Откроется окно с несколькими полями для ввода: для текста команды и для URL сайта. Можно написать слово «Яндекс» и адрес этой страницы.
4. Кликните «Добавить».
5. Зажмите клавиши, указанные на главном окне.
6. Произнесите команду, чтобы утилита её «запомнила».

Плюсы:

• Активация как клавишами, так и по громкости звука.
• При запуске можно откалибровать микрофон.

Минусы:

Горыныч

Герой русских народных сказок поможет вам

Программа для управления компьютером голосом «Горыныч» — отечественный продукт. Поэтому там «родной» модуль распознавания речи. Он «приспосабливается» к тембру и интонациям пользователя. С утилитой можно полноценно работать в системе, а не просто открывать файлы и веб-страницы.

Плюсы:

• Есть поддержка русского и английского языков.
• Распознавание текста, ой ввод в любые редакторы.
• Расширенный функционал.

Минусы:

• Надо самостоятельно создавать команды для каждого процесса. В буквальном смысле придётся записывать словарь.

Windows Speech Recognition

Встроенная в английскую ОС программа. Для её использования у вас должен быть установлен соответствующий языковой пакет. Русские команды с ней работать не будут. Чтобы управлять ПК с её помощью, придётся говорить на её языке.

Для получения доступа к ней в Панели настроек Windows откройте меню «Язык и региональные стандарты» (оно находится в категории «Часы, язык, регион») и во всех вкладках установите «Английский».

Если всё правильно, и у вас установлен необходимый языковой пакет, Windows «превратится» в английскую, и утилита станет доступна. Лучше не пробовать данные метод, если вы плохо знаете чужой язык.

Данный способ подойдет в том случае, если вы владеете английским

Прочие утилиты

Есть ещё ряд приложений для управления такими командами:

• Расширения для браузеров. Облегчают сёрфинг по сети. В Google Chrome уже встроена подобная функция — ой ввод в поисковые формы. Эта опция есть на некоторых онлайн-картах. Она позволяет быстрее найти адрес.
• VoiceType.
• RealSpeaker.
• Web Speech.

Список программ для распознавания текста и записи под диктовку

Управлять голосом — это, конечно, хорошо. Но могут оказаться полезными утилиты для распознавания текста и печати под диктовку. При составлении объёмных докладов, дипломов легче записывать свои мысли, озвучивая их в микрофон на компьютере. Вот несколько таких утилит:

• Диктограф.
• Dragon Naturally Speaking.
• Перпетуум-Мобиле.

Продукт, позволяющий диктовать текст компьютеру

В ОС можно настроить ые команды. Для этого на компьютере должна быть установлена соответствующая программа. С ней вы сможете работать на ПК, лёжа на диване или развалившись в кресле. У вас будут свободны руки.

Если микрофон хороший и улавливает даже отдалённые или тихие звуки, вам не потребуется рядом с ним сидеть. Вы можете одновременно «разговаривать» с компьютером и записывать конспект в тетради, рисовать, держать что-то. Да хоть шить и вязать. С командами взаимодействовать с ПК намного легче.

Для активации некоторых подобных утилит нужно нажимать кнопки на клавиатуре, что не очень удобно.

Но есть и отрицательные аспекты. Если вы случайно скажете слово-команду, откроется совершенно не нужное сейчас приложение или обозреватель не к месту перейдёт на какой-то сайт. Чем пользоваться и пользоваться ли вообще — решать вам.

Простейшее управление компьютером при помощи голоса

Если вас интересует, как помочь обездвиженному человеку управлять компьютером для общения с внешним миром – вам сюда. Если вам интересно, какое отношение к этому имеют мел-частотные кепстральные коэффициенты и нейронные сети – вам тоже сюда.

Часть I. Программа для управления компьютером при помощи голоса

Ко мне обратился человек с просьбой написать программу, которая позволила бы управлять компьютерной мышью при помощи голоса.

Тогда я и представить себе не мог, что, практически полностью парализованный человек, который даже не может сам повернуть голову, а может лишь разговаривать, способен развить бурную деятельность, помогая себе и другим жить активной жизнью, получать новые знания и навыки, работать и зарабатывать, общаться с другими людьми по всему свету, участвовать в конкурсе социальных проектов. Позволю себе привести здесь пару ссылок на сайты, автором и/или идейным вдохновителем которых является этот человек – Александр Макарчук из города Борисов, Беларусь:

«У Совы» — школа дистанционного обучения для людей с ограниченными возможностями. sova.by

«Без ограничений» — советы для тех, кому нужно работать на компьютере без рук bezogranicheniy.ru

Для работы на компьютере Александр использовал программу «Vocal Joystick» — разработку студентов Университета штата Вашингтон, выполненную на деньги Национального Научного Фонда (NSF). См. melodi.ee.washington.edu/vj Не удержалсяКстати, на сайте университета (http://www.washington.edu/) 90% статей именно про деньги. Трудно найти что-нибудь про научную работу. Вот, например, выдержки с первой страницы: «Том, выпускник университета, раньше питался грибами и с трудом платил за квартиру. Теперь он старший менеджер ИТ-компании и кредитует университет», «Большие Данные помогают бездомным», «Компания обязалась заплатить 5 миллионов долларов за новый учебный корпус».

Это одному мне режет глаз?

Программа была сделана в 2005-2009 годах и хорошо работала на Windows XP. В более свежих версиях Windows программа может зависнуть, что неприемлемо для человека, который не может встать со стула и её перезапустить. Поэтому программу нужно было переделать. Исходных текстов нет, есть только отдельные публикации, приоткрывающие технологии, на которых она основана (MFCC, MLP – читайте об этом во второй части). По образу и подобию была написана новая программа (месяца за три).

Собственно, посмотреть, как она работает, можно здесь:

Скачать программу и/или посмотреть исходные коды можно здесь.

Никаких особенных действий для установки программы выполнять не надо, просто щёлкаете на ней, да запускаете. Единственное, в некоторых случаях требуется, чтобы она была запущена от имени администратора (например, при работе с виртуальной клавиатурой “Comfort Keys Pro”): Пожалуй, стоит упомянуть здесь и о других вещах, которые я ранее делал для того, чтобы можно было управлять компьютером без рук. Если у вас есть возможность поворачивать голову, то хорошей альтернативой eViacam может послужить гироскоп, крепящийся к голове. Вы получите быстрое и точное позиционирование курсора и независимость от освещения.

Подробнее – здесь.

Если вы можете двигать только зрачками глаз, то можно использовать трекер направления взгляда и программу к нему (могут быть сложности, если вы носите очки).

Подробнее – здесь.

Часть II. Как это устроено?

Из опубликованных материалов о программе «Vocal Joystick» было известно, что работает она следующим образом:

1. Нарезка звукового потока на кадры по 25 миллисекунд с перехлёстом по 10 миллисекунд
2. Получение 13 кепстральных коэффициентов (MFCC) для каждого кадра
3. Проверка того, что произносится один из 6 запомненных звуков (4 гласных и 2 согласных) при помощи многослойного персептрона (MLP)
4. Воплощение найденных звуков в движение/щелчки мыши

Первая задача примечательна лишь тем, что для её решения в реальном времени пришлось вводить в программу три дополнительных потока, так как считывание данных с микрофона, обработка звука, проигрывание звука через звуковую карту происходят асинхронно. Последняя задача просто реализуется при помощи функции SendInput. Наибольший же интерес, мне кажется, представляют вторая и третья задачи. Итак.

Задача №2. Получение 13 кепстральных коэффициентов

Если кто не в теме – основная проблема узнавания звуков компьютером заключается в следующем: трудно сравнить два звука, так как две непохожие по очертанию звуковые волны могут звучать похоже с точки зрения человеческого восприятия. И среди тех, кто занимается распознаванием речи, идёт поиск «философского камня» — набора признаков, которые бы однозначно классифицировали звуковую волну. Из тех признаков, что доступны широкой публике и описаны в учебниках, наибольшее распространение получили так называемые мел-частотные кепстральные коэффициенты (MFCC). История их такова, что изначально они предназначались совсем для другого, а именно, для подавления эха в сигнале (познавательную статью на эту тему написали уважаемые Оппенгейм и Шафер, да пребудет радость в домах этих благородных мужей. См. A. V. Oppenheim and R.W. Schafer, “From Frequency to Quefrency: A History of the Cepstrum”). Но человек устроен так, что он склонен использовать то, что ему лучше знакомо. И тем, кто занимался речевыми сигналами, пришло в голову использовать уже готовое компактное представление сигнала в виде MFCC. Оказалось, что, в общем, работает. (Один мой знакомый, специалист по вентиляционным системам, когда я его спросил, как бы сделать дачную беседку, предложил использовать вентиляционные короба. Просто потому, что их он знал лучше других строительных материалов). Являются ли MFCC хорошим классификатором для звуков? Я бы не сказал. Один и тот же звук, произнесённый мною в разные микрофоны, попадает в разные области пространства MFCC-коэффициентов, а идеальный классификатор нарисовал бы их рядом. Поэтому, в частности, при смене микрофона вы должны заново обучать программу. Это всего лишь одна из проекций 13-мерного пространства MFCC в 3-мерное, но и на ней видно, что я имею в виду – красные, фиолетовые и синие точки получены от разных микрофонов: (Plantronix, встроенный массив микрофонов, Jabra), но звук произносился один. Однако, поскольку ничего лучшего я предложить не могу, также воспользуюсь стандартной методикой – вычислением MFCC-коэффициентов. Чтобы не ошибиться в реализации, в первых версиях программы в качестве основы был использован код из хорошо известной программы CMU Sphinx, точнее, её реализации на языке C, именующейся pocketsphinx, разработанной в Университете Карнеги-Меллона (мир с ними обоими! (с) Хоттабыч). Исходные коды pocketsphinx открыты, да вот незадача – если вы их используете, то должны в своей программе (как в исходниках, так и в исполняемом модуле) прописать текст, содержащий, в том числе, следующее: * This work was supported in part by funding from the Defense Advanced* Research Projects Agency and the National Science Foundation of the* United States of America, and the CMU Sphinx Speech Consortium. Мне это показалось неприемлемым, и пришлось код переписать. Это сказалось на быстродействии программы (в лучшую сторону, кстати, хотя «читабельность» кода несколько пострадала). Во многом благодаря использованию библиотек “Intel Performance Primitives”, но и сам кое-что оптимизировал, вроде MEL-фильтра. Тем не менее, проверка на тестовых данных показала, что получаемые MFCC-коэффициенты полностью аналогичны тем, что получаются при помощи, например, утилиты sphinx_fe. В программах sphinxbase вычисление MFCC-коэффициентов производится следующими шагами:

Шаг Функция sphinxbase Суть операции

1	fe_pre_emphasis	Из текущего отсчёта вычитается большая часть предыдущего отсчета (например, 0.97 от его значения). Примитивный фильтр, отбрасывающий нижние частоты.
2	fe_hamming_window	Окно Хемминга – вносит затухание в начале и конце кадра
3	fe_fft_real	Быстрое преобразование Фурье
4	fe_spec2magnitude	Из обычного спектра получаем спектр мощности, теряя фазу
5	fe_mel_spec	Группируем частоты спектра [например, 256 штук] в 40 кучек, используя MEL-шкалу и весовые коэффициенты
6	fe_mel_cep	Берём логарифм и применяем DCT2-преобразование к 40 значениям из предыдущего шага. Оставляем первые 13 значений результата. Есть несколько вариантов DCT2 (HTK, legacy, классический), отличающихся константой, на которую мы делим полученные коэффициенты, и особой константой для нулевого коэффициента. Можно выбрать любой вариант, сути это не изменит.

В эти шаги ещё вклиниваются функции, которые позволяют отделить сигнал от шума и от тишины, типа fe_track_snr, fe_vad_hangover, но нам они не нужны, и отвлекаться на них не будем. Были выполнены следующие замены для шагов по получению MFCC-коэффициентов:

Шаг Функция sphinxbase Переделка

1	fe_pre_emphasis	cas_pre_emphasis (через frame[i] -= frame[i — 1] * pre_emphasis_alpha;)
2	fe_hamming_window	for(i=0;i0, и часть, где Y

NPointer: управление компьютером с помощью жестов и ых команд

Управление компьютером Windows с помощью Gestures and Voice Commands стало разговором о городе на некоторое время.

Технология распознавания жестов и голоса может помочь революционизировать то, как мы взаимодействуем с нашим компьютером, не говоря уже о невероятной помощи, которую это может быть для людей с разным видом.

Сегодня мы поговорим о NPointer, приложение для жест и ое управление. Ваши движения руки или головы записываются веб-камерой и транслируются в перемещения указателей, с помощью которых вы можете управлять своим компьютером.

Программное обеспечение Gesture and Voice Control

NPointer помогает управлять компьютером с помощью движений рук в качестве команд ввода. Используя обычную веб-камеру, направленную к столу, где вы можете поместить свою руку и перемещать ее, вы можете управлять движениями указателей на экране компьютера.

Вы можете запустить приложение, запустив его запускаемый файл, Он должен открыть интерфейс приложения, где вы можете настроить параметры приложения.

Вы можете настроить несколько параметров, таких как скорость движения указателя и ускорение для калибровки перемещения указателя на экране компьютера.

Кроме того, вы также можете таймаут меню и максимальная скорость движения который управляет указателем, когда вы удаляете руку из поля просмотра камеры.

Опции NPointer

NPointer поставляется с различными режимами для управления указателем. Вы можете настроить параметры приложения для переключения между различными параметрами управления.

• Управление камерой — Используйте встроенную или установленную веб-камеру для управления указателем
  • Рука — Используйте свою руку для управления указателем. Удобно, если у вас установлена ​​веб-камера.
  • Головной / фронтальный контроль — Используйте головку / лобную поверхность для управления указателем. Удобно при использовании встроенной камеры для ноутбука.
• управление голосом — Включает выбор меню указателя с помощью ых команд.

Разбивка меню действий

Когда вы держите голову / руку неподвижно какое-то время (время, определяемое таймаутом меню), появляется меню действий, которое выглядит как показано ниже, предлагая множество функций, имитирующих обычное использование мыши.

Реклама

Как видно из изображения выше, после появления меню действий вы можете переместить руку / голову, чтобы воспроизвести движение на экране компьютера и поместить указатель выбора действия на нужную функцию. Выбранная функция будет активирована после того, как указатель выбора действия будет перемещен в эту функцию и останется неподвижным на мгновение.

Для прокрутки вам необходимо выбрать действие колеса прокрутки который активирует режим прокрутки и отображает приведенное ниже меню действий.

Когда выбран режим прокрутки, вы можете переместить свою руку / голову, чтобы прокручивать страницы на экране компьютера. Если вы хотите отключить режим прокрутки, просто поместите указатель выбора действия в положение «Прокрутка» и пусть он останется там на мгновение.

Управление голосом

Если вы выбрали управление голосом как метод по умолчанию для управления указателем, вам нужно будет настроить параметры голоса и записать ые команды для нескольких функций указателя.

Для этого нажмите Настройки голоса в правом нижнем углу. Это должно вызвать меню настроек ого управления, в котором вы можете записать ую команду для таких функций, как щелчок правой кнопкой мыши, щелчок левой кнопкой мыши и т. Д. Команды настраиваются, чтобы вы могли их удалить и записать снова.

Обертывание вещей

NPointer это легкое приложение, которое может оказаться весьма полезным для людей с ограниченными возможностями. Как только вы получаете зависание движений указателя и его функций, становится весело работать с ним.

Для лучшей точности качество веб-камеры должен быть достаточно хорош с более высокой частотой кадров. Также, надлежащие условия освещения одинаково важны.

Если вы используете свою руку для жестов, вам нужно держать руку на устойчивой поверхности стола и указывать веб-камеру прямо поверх нее.

Вы можете загрузить исполняемый файл из Официальный сайт, Сообщите нам, если вы сочтете это полезным или столкнетесь с любыми проблемами при его использовании.

Источник

Скачать лучшие темы WordPress бесплатноСкачать WordPress Темы БесплатноСкачать бесплатные темы WordPress бесплатноlynda курс скачать бесплатно

Как настроить ое управление компьютером

Существует несколько причин, по которым пользователи не могут управлять компьютером с помощью штатных средств — клавиатуры и мыши. Во-первых, это может быть связано с поломкой названных устройств.

Во-вторых, такая необходимость возникает у людей с ограниченными возможностями.

И наконец, в-третьих, пользователи просто хотят как-то облегчить себе задачу работы с компьютером, отдавая ему команды голосом.

Голосовое управление компьютером выполняется при помощи специального программного обеспечения.

ОС Windows располагает штатным приложением распознавания речи, но к сожалению, оно не поддерживает русский язык, а только — английский, французский, испанский, немецкий, японский и китайский.

Если интерфейс вашего дистрибутива Windows рассчитан для носителей одного из вышеперечисленных языков и, конечно, вы говорите на нём, тогда вы сможете использовать штатную программу распознавания речи.

Для этого нужно проделать 3 шага: настроить микрофон, пройти несложный учебный курс по управлению компьютером при помощи голоса (он также включен в Windows) и настроить саму программу распознавания речи.

Чтобы сделать это, необходимо (описание разделов ОС будет вестись на русском языке):

• В меню «Пуск» находим раздел «Панель управления» и открываем его. Далее ищем «Распознавание речи».
• Чтобы начать настройку микрофона, зайдите в соответствующий раздел — «Настройка микрофона». Запуститься мастер, который поможет вам произвести необходимые настройки.
• Теперь необходимо запустить учебник. Для этого также заходим в раздел «Распознавание речи», а затем запускаем команду «Использование речевых учебников». Снова следуйте инструкциям мастера.
• Для настройки программы распознавания речи следует запустить команду «Научите компьютер лучше понимать вас» в том же разделе «Специальные возможности» панели управления. По окончанию процедур вы сможете использовать ваш микрофон в качестве средства для управления компьютером.

А что же делать русскоязычным пользователям Windows? К счастью, выход есть — использование сторонних программ. Подобных приложений существует множество — и платных, и бесплатных. Среди всех приложений для ого управления компьютером с системой Windows особенно выделяется Typle. О ней и пойдёт речь далее.