Ученые из КНР научили голосовой помощник распознавать беззвучные команды

Ученые из КНР научили голосовой помощник распознавать беззвучные команды

06.11.2018      10991

Специалисты китайского университета Цинхуа представили программу «голосовой помощник», которая распознает беззвучный запрос, анализируя двадцать контрольных точек на губах пользователя.   

Не надо даже шептать

Техническими деталями разработчики поделились на международной конференции UIST-2018 (User Interface Software and Technology-2018). Для того, чтобы распознавать беззвучные команды, голосовой помощник использует фронтальную камеру устройства. Нейросеть отслеживает не только 20 контрольных точек, но и анализирует расстояние между губами для фиксации окончания и начала слов. В тестовых испытаниях использовали 44 команды, среди которых как конкретизированные, например, «включить Wi-Fi», так и общие – «ответ на сообщение».  

 

 

Для тестирования, которое проводилось в пекинской подземке, программу «обучили» голосу и речи 21 добровольца. В итоге точность распознавания команд, которые отдавались даже не шепотом, а просто шевелением губ, составила 95,5%. При этом практически все участники тестирования признали такой способ управления голосовым помощником удобным.

Однако не стоит ждать выхода нового приложения в ближайшей перспективе. Для расшифровки данных требуется мощный ПК, что делает проблематичным использование программы вне дома или работы.

Я слушаю ваше дыхание

В том же направлении, но другим путем движутся специалисты компании Microsoft Research, которые неделей ранее представили технологию распознавания речи SilentVoice.

Метод разработчиков Microsoft основан на фиксации и анализе воздушных колебаний в непосредственной близости от ротовой полости. Колебания воздуха улавливаются специальным датчиком, затем полученные данные расшифровываются и трансформируются в текстовый формат, либо в сообщение с хорошо слышимым и различимым голосом. В процессе работы приложения осуществляется фильтрация эфира – удаляются посторонние шумы.  

 

 

По утверждениям специалистов Microsoft Research, программа может распознавать звук ниже 39 дБ. Насколько ниже, не уточняется, но если принять во внимание содержание СНиП 23-03-2003 «Защита от шума», в котором регламентирован максимально допустимый шум с 23-00 до 7-00 не выше 30 дБ (громкое тиканье маятника, настенных часов), то результаты тестов, во время которых точность распознавания составила 98,9%, не впечатляют.

На этом фоне программа пекинского университета выглядит предпочтительней, однако на этом ее преимущества заканчиваются. Продукт Microsoft Research – обычное приложение, которое не требует дополнительных мощностей для обработки информации. Но главное, используя эту программу, пользователь сможет не только отдавать команды, но и шепотом общаться с другими абонентами. Впрочем, и этот проект пока находится в разработке и на рынок выйдет нескоро.

Аргументы против

Сложно сказать, насколько популярными будут приложения распознавания голоса по шевелению губ или улавливанию шепота, но некоторые специалисты уже бьют тревогу.

Такие программы смогут использовать мошенники. Если управление домом или машиной будет осуществляться голосовыми командами, преступники, отсканировав движение губ, получат доступ к имуществу пользователя.

Разработчики на эти вопросы прямого ответа не дают, но регулярно заявляют, что безопасность пользователей – главный приоритет при создании программ.



Источник: https://infostart.ru/journal/news/tekhnologii/uchenye-iz-knr-nauchili-golosovoy-pomoshchnik-raspoznavat-bezzvuchnye-komandy_937280/
Автор:
Обозреватель


Пользуетесь ли вы голосовыми помощниками?


Да, это удобнее «ручного управления» (0%, 0 голосов)
0%
Да, но только за рулем (0%, 0 голосов)
0%
Мне проще пользоваться клавиатурой (100%, 11 голосов)
100%
Нет, эта технология еще плохо работает (0%, 0 голосов)
0%
Свой вариант (в комментарии) (0%, 0 голосов)
0%

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. Timur.V 57 06.11.18 11:51 Сейчас в теме
Метод разработчиков Microsoft основан на фиксации и анализе воздушных колебаний в непосредственной близости от ротовой полости. Колебания воздуха улавливаются специальным датчиком, затем полученные данные расшифровываются и трансформируются в текстовый формат, либо в сообщение с хорошо слышимым и различимым голосом.

Так микрофоны (гарнитура) так и работают.

В процессе работы приложения осуществляется фильтрация эфира – удаляются посторонние шумы.

Кажется первые придумали Apple, когда у iPhone сделали два микрофона.
Один микрофон записывает речь человека и шумы, а второй микрофон расположен
в другом месте (противоположном) устройства - и записывает шумы.
Потом, это оцифровывается, звук из одного микрофона вычитают второй - и получается чистый голос без шумов.
Которой можно уже распознавать.
SKravchenko; +1 Ответить
Оставьте свое сообщение

См. также

GitHub опубликовал статистику по языкам и проектам за 2022 год

Новость ИТ-новость Языки программирования Разработка

В статистическом отчете репозитория названы самые популярные языки программирования среди пользователей платформы, а также данные об активности аудитории сервиса.

вчера в 13:00    1046    VKuser24342747    11       

Инспекторы смогут проводить дистанционные проверки через смартфон

Новость ИТ-новость Мобильные приложения

Минэкономразвития представило мобильное приложение, которое позволит осуществлять надзорные мероприятия бизнеса без посещения офиса. Программа работает через Госуслуги.

28.11.2022    1113    VKuser24342747    0       

«Яндекс» представил бесплатный сервис для быстрого поиска в облаке

Новость ИТ-новость Облачные технологии

Сервис Managed Service for OpenSearch от платформы Yandex Cloud предназначен для оптимизации поисковых систем и проверки стабильности и безопасности работы приложений. Услуга доступа в режиме Public Preview.

24.11.2022    1385    VKuser24342747    1       

В декабре начнут действовать новые правила регистрации доменов .RU и .РФ

Новость ИТ-новость Роскомнадзор

С 12 декабря Роскомнадзор получит право прекращать делегирование домена, если он оформлен нелегально, или на сайте содержится запрещенная в России информация.

23.11.2022    1138    VKuser24342747    1       

Stack Overflow запустил проект для оффлайн-доступа к форуму

Новость ИТ-новость Разработка

Проект под названием Overflow Offline позволяет скачать актуальную версию архива вопросов и ответов по разработке ПО. По объему данных база форума уступает только «Википедии».

02.11.2022    1139    VKuser24342747    1       

Минцифры запустило магазин российского ПО из реестра ИТ-решений

Новость Импортозамещение ИТ-новость

Маркетплейс «Руссофт» стал доступен для всех пользователей. С его помощью можно подобрать программы от отечественных разработчиков для решения корпоративных задач бизнеса.

21.10.2022    1624    VKuser24342747    4       

В ноябре начнется создание российского государственного аналога GitHub

Новость ИТ-новость

Правительство озвучило дату запуска эксперимента по разработке отечественного репозитория ПО. Исходники программ, в том числе разработанных для госорганов, будут публиковаться в нем под открытой лицензией.

19.10.2022    2364    VKuser24342747    14       

OpenAI опубликовала код системы распознавания речи Whisper

Новость Искусственный интеллект ИТ-новость

OpenAI открыла исходный код эталонной реализации на базе фреймворка PyTorch и набор уже обученных моделей для использования под лицензией MIT. Нейросеть используется для перевода речи в текст.

28.09.2022    2561    VKuser24342747    0       

Вторая версия среды разработки для плат Arduino вышла из бета-теста

Новость ИТ-новость Микроэлектроника

Arduino IDE 2.0 получила стабильную версию, в которой появилась поддержка автодополнения кода и темная тема. Разработка заняла несколько лет. Программа распространяется бесплатно.

23.09.2022    2628    VKuser24342747    0       

Основатель движения свободного ПО выпустил руководство по языку C

Новость Linux ИТ-новость Языки программирования

Ричард Мэттью Столлман, основатель Фонда свободного программного обеспечения, представил руководство по языку C и расширениям GNU. Пособие доступно всем желающим и предназначено как для опытных, так и начинающих программистов.

19.09.2022    2190    VKuser24342747    0       

«Ростелеком» предложил создать национальную экосистему на базе «Авроры»

Новость Импортозамещение ИТ-новость Мобильные приложения

Провайдер считает, что государственная мобильная экосистема поможет обеспечить технологическую независимость и экономический подъем страны. А ОС «Аврора» наиболее перспективная разработка для достижения этих целей.

15.09.2022    2149    VKuser24342747    5       

Яндекс выложил в открытый доступ инструмент для разработки мобильных приложений

Новость ИТ-новость Мобильные приложения Яндекс

Фреймворк DivKit от Яндекса стал доступен как open source решение. Инструмент позволяет менять интерфейс приложений без скачивания обновлений и значительно ускоряет мобильную разработку.

02.09.2022    1810    VKuser24342747    0       

Группа компаний «Астра» представила собственную мобильную ОС

Новость Linux ИТ-новость Мобильные приложения

Доработанная ОС Astra Linux Special Edition может быть запущена на большом числе мобильных устройств, в том числе на планшетах и смартфонах с процессорами на архитектурах ARM, «Эльбрус» и x86-64.

25.08.2022    1474    VKuser24342747    1       

В России разработаны меры для решения проблемы нехватки ИТ-специалистов

Новость ИТ-новость

Вице-премьер Дмитрий Чернышенко сообщил, что сейчас экономике страны не хватает 1 млн ИТ-специалистов. Способы преодоления дефицита закреплены в программе нацпроекта «Цифровая экономика»

05.08.2022    1651    VKuser24342747    11       

Яндекс открыл доступ к фреймворку для создания приложений с микросервисной архитектурой

Новость GitHub ИТ-новость Яндекс

Инструмент Userver опубликован как бесплатное open source решение. Яндекс уже несколько лет эффективно его использует в своих приложениях Go, «Еда», «Лавка», «Доставка» и другие. Фреймворк находится в стадии бета – переезда на открытую разработку.

02.08.2022    2495    VKuser24342747    19       

Бизнес сможет использовать повышающий коэффициент для расходов на покупку ПО

Новость ИТ-новость

Принят закон, который позволяет компаниям учитывать расходы на отечественные программы и радиоэлектронное оборудование с коэффициентом 1,5. Решения должны быть включены в соответствующие реестры и относиться к ИИ.

26.07.2022    2265    VKuser24342747    0       

Минэкономразвития тестирует миграцию с Windows 10 на Astra Linux

Новость ИТ-новость

Министерство проводит эксперимент, в ходе которого сотрудники используют российскую ОС Astra Linux вместо Windows 10. По словам главы департамента, эксперимент проходит успешно.

11.07.2022    1821    VKuser24342747    0       

Вышла версия открытого текстового редактора Vim 9.0

Новость ИТ-новость

В приложение добавлен скриптовый язык с поддержкой компилируемых функций для создания плагинов, улучшена проверка правописания и автодополнения, предоставлен выбор цветовых схем.

07.07.2022    1992    VKuser24342747    0       

 «Яндекс» открыл доступ к SmartCaptcha и нейросети по генерации текстов 

Новость ИТ-новость Яндекс

Компания открыла доступ к алгоритму SmartCaptcha, который защищает сайт от спама и DDoS-атак, а также к проекту YaLM 100B, способному писать тексты на английском и русском языках. 

29.06.2022    2232    VKuser24342747    0       

«Яндекс» предложил разработчикам пройти диагностику технических навыков

Новость Кадровые агентства, подбор персонала ИТ-новость Яндекс

Компания запустила сервис, при помощи которого можно получить оценку своих технических навыков от специалистов «Яндекса». Тестирование включает онлайн-интервью и решение задач с реальных собеседований. 

27.06.2022    2101    VKuser24342747    1       

GitHub открыл доступ всем разработчикам к ИИ-помощнику Copilot по подписке

Новость GitHub Искусственный интеллект ИТ-новость

Github Copilot стал общедоступным, но для его использования пользователю репозитория нужно приобрести подписку. Хотя некоторые разработчики могут пользоваться инструментом бесплатно.

24.06.2022    3785    VKuser24342747    1       

В России планируют учредить Федерацию спортивного программирования

Новость ИТ-новость

Минцифры и Минспорта подписали меморандум, в котором закреплено сотрудничество ведомств по развитию в стране спортивного программирования и проведение первого официального чемпионата.

21.06.2022    2747    VKuser24342747    6       

Microsoft окончательно прекратила поддержку Internet Explorer

Новость Интернет ИТ-новость

Microsoft прекратила выпуск обновлений для своего браузера Internet Explorer, а с августа начнет удалять приложение из актуальных версий Windows. Эксперты полагают, что из-за этого пострадает много бизнес-пользователей.

17.06.2022    3228    VKuser24342747    4       

В России начал работу отечественный сервис мониторинга сбоев

Новость Импортозамещение Интернет ИТ-новость

Российская компания BrandAnalytics запустила платформу «Детектор сбоев», предназначенную для отслеживания работоспособности сайтов и сервисов, в том числе русскоязычных.

16.06.2022    2090    VKuser24342747    0       

Минцифры запустило систему отслеживания поддельных сайтов

Новость Безопасность Интернет ИТ-новость

Информационная система под названием «Антифишинг» способна обнаруживать мошеннические веб-ресурсы, которые выглядят как официальные сайты госорганов, компаний и соцсетей.

14.06.2022    2945    VKuser24342747    0