Исследователи синтезировали выразительную устную речь

Исследователи синтезировали выразительную устную речь

10.09.2021      31107

Голосовые помощники и автопереводчики становятся все точнее, но синтетическое воспроизведение обычно не передает эмоций и интонаций. Специалисты NVIDIA разработали систему искусственного интеллекта, которая решает эту проблему: ее речь сложно отличить от естественной.

Особенности системы

У каждого человека свой тембр голоса, ритм и интонации, которые меняются в зависимости от ситуации и настроения. Синтезировать все это достаточно сложно – вот почему мы достаточно быстро понимаем, что общаемся с программой, а не с живыми людьми. Искусственная речь информативна, но не вызывает эмоционального отклика.

Исследователи NVIDIA создали модели и инструменты для высококачественного управляемого синтеза голоса. Они передают богатство человеческой речи без звуковых артефактов. Систему представили на конференции Interspeech 2021.

Модель синтеза речи RAD-TTS ранее победила в профильном конкурсе SIGGRAPH Real-Time Live. После обучения на примере речи конкретного человека она может воспроизвести любую текстовую подсказку голосом говорившего.

Рассматривая человеческий голос как музыкальный инструмент, ученые создали для RAD-TTS интерфейс для точного управления высотой, длительностью и энергией синтезированного звукового потока. В результате система научилась передавать речь или даже пение одного человека голосом другого.

Первые эксперименты проводили над сотрудниками компании. Так, видеопродюсер NVIDIA прочитал вслух сценарий видеоролика, а затем использовал модель искусственного интеллекта для преобразования своей речи в голос женщины-рассказчицы. После этого видеопродюсер смог работать с моделью искусственного интеллекта как с актером озвучки: настроить синтезированную речь, чтобы выделить определенные слова, и изменить темп повествования, чтобы лучше передать тон видео.

 

 

Применение

Модели синтеза человеческой речи, разработанные NVIDIA, могут помочь автоматическим линиям обслуживания клиентов для банков и интернет-магазинов, оживить персонажей книг, наделить голосом цифровые аватары в реальном времени. Их можно будет использовать для дубляжа фильмов и видеоигр. Креативная команда NVIDIA уже использует эту технологию для создания выразительного повествования в серии видеороликов о возможностях искусственного интеллекта.

Но возможности модели искусственного интеллекта выходят за рамки озвучивания. Например, преобразование текста в речь можно использовать в играх, чтобы помочь людям с нарушениями голоса, или дать персонажу голос геймера, который им управляет. Система даже может воссоздать выступления известных певцов, передавая и мелодию, и эмоциональное наполнение вокала.

Исследователи подчеркнули: выразительный синтез речи – лишь одно из направлений исследований NVIDIA в области разговорного искусственного интеллекта. Специалисты также занимаются созданием моделей для эффективной обработки естественного языка, автоматического распознавания речи, обнаружения ключевых слов, улучшения звука.

Готовые инструменты для разработчиков

Часть технологий, оптимизированных для запуска на графических процессорах NVIDIA, легла в основу NVIDIA NeMo. Это набор инструментов с открытым исходным кодом, написанный на Python. Он доступен на GitHub и в виде Docker-контейнера. Инструменты можно использовать для экспериментов с синтезом голоса и точной настройки речевых моделей для собственных приложений.

API и модели, предварительно обученные в NeMo, помогают исследователям разрабатывать и адаптировать средства преобразования текста в речь, обработки естественного языка и автоматического распознавания речи в реальном времени. Некоторые модели обучаются с использованием десятков тысяч часов аудиоданных в системах NVIDIA DGX. Ускорить обучение можно с помощью вычислений со смешанной точностью на графических процессорах NVIDIA Tensor Core.

В NVIDIA NeMo также есть модели, обученные на наборе данных Mozilla Common Voice. Это крупнейший в мире открытый голосовой датасет – около 14 тыс. часов речевых данных на 76 языках, собранных с помощью краудсорсинга от энтузиастов по всему миру.


Источник: https://infostart.ru/journal/news/tekhnologii/issledovateli-sintezirovali-vyrazitelnuyu-ustnuyu-rech_1513791/
Автор:
Обозреватель


В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
В этой теме еще нет сообщений.
Оставьте свое сообщение

См. также

«Сбер» начнет использовать российские TLS-сертификаты для платежного шлюза

Новость Безопасность ИТ-новость Минцифры

Банк запланировал переход на сертификаты, выпущенные Национальным удостоверяющим центром (НУЦ) Минцифры, на 30 января 2023 года. Клиентам необходимо добавить на свои серверы корневой сертификат ведомства.

сегодня в 09:45    523    VKuser24342747    0       

Минцифры подготовило правила отказа от передачи биометрических данных

Новость ИТ-новость Минцифры

Гражданин имеет право отказаться от сбора и распространения своих биометрических данных. Отказ можно оформить в МФЦ только при личном присутствии.

24.01.2023    974    VKuser24342747    0       

Банки смогут получить право на передоверие полномочий по электронной подписи

Новость ИТ-новость Цифровая подпись Цифровая экономика

Комитет Госдумы рекомендует принять соответствующий законопроект. Документ позволит компаниям финансового сектора использовать электронную подпись наравне с другими организациями.

20.01.2023    857    VKuser24342747    0       

«ВКонтакте» начал поддерживать получение уведомлений от Госуслуг

Новость Госуслуги ИТ-новость Мессенджеры Налоги

Оповещения с Единого портала госуслуг будут отображаться в Вконтакте и приложении «VK Мессенджер». Кроме того, стала доступна оплата штрафов ГИБДД прямо в VK.

19.01.2023    974    VKuser24342747    0       

Минцифры подготовило правила аккредитации госорганов на владение информсистемами для биометрии

Новость Законодательство ИТ-новость Минцифры

Проект постановления содержит требования к Цетробанку и госорганам, а также к сторонним организациям, которые будут привлекаться ведомствами в качестве операторов. Требования согласованы с ФСБ.

19.01.2023    887    VKuser24342747    0       

Утвержден профстандарт специалиста по информационной безопасности

Новость Безопасность ИТ-новость

Новый профстандарт вступит в силу 1 сентября 2023 года. А пока у работодателей в кредитно-финансовой сфере есть время проанализировать трудовой функционал специалистов по ИБ и при необходимости уточнить его.

17.01.2023    1536    user1816563    0       

Национальная система пространственных данных начала работу в России

Новость ИТ-новость Цифровая экономика

Пилотный проект по запуску цифровой платформы стартовал в четырех регионах РФ. При помощи системы можно получать актуальные данные о земле и недвижимости, пользоваться электронными сервисами.

12.01.2023    1739    VKuser24342747    0       

Госдума рассмотрит законопроект о цифровом рубле

Новость Законодательство ИТ-новость Цифровая экономика

Документ определяет выпуск и обращение цифрового рубля на территории России, назначает оператора нового платежного средства и его полномочия и обязанности по сохранности денег пользователей.

11.01.2023    3485    VKuser24342747    2       

Оператором Единой биометрической системы стал «Центр Биометрических Технологий»

Новость ИТ-новость

Ранее за работу платформы отвечал «Ростелеком». На «Центр Биометрических Технологий» возложены задачи по развитию в России цифровых технологий идентификации и аутентификации, в том числе на основе биометрических персональных данных.

22.12.2022    2408    VKuser24342747    2       

GitHub бесплатно проверит репозитории на наличие секретных токенов

Новость GitHub Безопасность ИТ-новость

ИТ-хостинг запустил систему сканирования общедоступных репозиториев, чтобы предотвратить случайное раскрытие конфиденциальной информации, такой как учетные данные и токены аутентификации.

22.12.2022    1756    VKuser24342747    1       

GitHub к концу 2023 года введет обязательную двухфакторную аутентификацию

Новость GitHub Безопасность ИТ-новость

Веб-хостинг потребует от всех пользователей, загружающих код, включить двухфакторную аутентификацию (2FA) для дополнительной защиты своих аккаунтов.

21.12.2022    2047    VKuser24342747    0       

Госдума рассмотрит законопроект о провайдере для госсайтов

Новость Государственные, бюджетные структуры Законодательство ИТ-новость

Документ предусматривает запрет на размещение государственных информационных ресурсов на хостингах, не включенных в специальный реестр. Сейчас около 20% ресурсов госорганов размещены на иностранных площадках.

20.12.2022    1665    VKuser24342747    1       

«Яндекс» открыл доступ к фреймворку Yatagan для сборки Android-приложений

Новость ИТ-новость Яндекс Разработка

Инструмент свободно распространяется через GitHub. Перед публикацией в открытом доступе фреймворк долгое время применялся во внутренних проектах компании. Решение основано на API Dagger.

16.12.2022    2473    VKuser24342747    1       

В России появится национальная издательская система вместо иностранных аналогов

Новость Импортозамещение ИТ-новость

Программный комплекс будет создан на базе существующего отечественного решения Axiocat. Сейчас это приложение не внесено в Единый реестр российского ПО, хотя применяется некоторыми компаниями.

15.12.2022    1705    VKuser24342747    0       

Google рассказала о проблемах и преимуществах поддержки разработки на Rust в Android 13

Новость Google ИТ-новость Языки программирования

По итогам внедрения поддержки разработки на Rust снизилось число уязвимостей, связанных с управлением памятью. Инженеры считают, что основное внимание нужно уделить написанию нового кода, а не переписыванию старого.

14.12.2022    1780    VKuser24342747    0       

Банки обяжут принимать оплату по картам «Мир» с QR-кодом в смартфоне

Новость Банки ИТ-новость

Оператор платежной системы «Мир» разослал российским банкам документ с требованием обеспечить прием платежей по новой технологии. Первый этап внедрения завершится в апреле 2023 года.

14.12.2022    1991    VKuser24342747    1       

Госдума рассмотрит законопроект о создании Национального удостоверяющего центра

Новость Законодательство Интернет ИТ-новость

Информационная система позволит российским сайтам получать сертификаты безопасности без участия иностранных организаций. Для их выдачи будет применяться отечественная криптография.

09.12.2022    1835    VKuser24342747    0       

Госдума планирует отложить срок обязательного перехода на машиночитаемые доверенности

Новость Законодательство ИТ-новость

Госдума в первом чтении одобрила законопроект, который продлевает переходный период для машиночитаемых доверенностей. Еще полгода организации смогут не применять МЧД при использовании электронных подписей.

08.12.2022    1918    VKuser24342747    0       

GitHub опубликовал статистику по языкам и проектам за 2022 год

Новость ИТ-новость Языки программирования Разработка

В статистическом отчете репозитория названы самые популярные языки программирования среди пользователей платформы, а также данные об активности аудитории сервиса.

01.12.2022    2295    VKuser24342747    11       

Инспекторы смогут проводить дистанционные проверки через смартфон

Новость ИТ-новость Мобильные приложения

Минэкономразвития представило мобильное приложение, которое позволит осуществлять надзорные мероприятия бизнеса без посещения офиса. Программа работает через Госуслуги.

28.11.2022    2270    VKuser24342747    0       

«Яндекс» представил бесплатный сервис для быстрого поиска в облаке

Новость ИТ-новость Облачные технологии

Сервис Managed Service for OpenSearch от платформы Yandex Cloud предназначен для оптимизации поисковых систем и проверки стабильности и безопасности работы приложений. Услуга доступа в режиме Public Preview.

24.11.2022    3014    VKuser24342747    1       

В декабре начнут действовать новые правила регистрации доменов .RU и .РФ

Новость ИТ-новость Роскомнадзор

С 12 декабря Роскомнадзор получит право прекращать делегирование домена, если он оформлен нелегально, или на сайте содержится запрещенная в России информация.

23.11.2022    2208    VKuser24342747    1       

Stack Overflow запустил проект для оффлайн-доступа к форуму

Новость ИТ-новость Разработка

Проект под названием Overflow Offline позволяет скачать актуальную версию архива вопросов и ответов по разработке ПО. По объему данных база форума уступает только «Википедии».

02.11.2022    2059    VKuser24342747    1       

Минцифры запустило магазин российского ПО из реестра ИТ-решений

Новость Импортозамещение ИТ-новость

Маркетплейс «Руссофт» стал доступен для всех пользователей. С его помощью можно подобрать программы от отечественных разработчиков для решения корпоративных задач бизнеса.

21.10.2022    2462    VKuser24342747    4       

В ноябре начнется создание российского государственного аналога GitHub

Новость ИТ-новость

Правительство озвучило дату запуска эксперимента по разработке отечественного репозитория ПО. Исходники программ, в том числе разработанных для госорганов, будут публиковаться в нем под открытой лицензией.

19.10.2022    3355    VKuser24342747    14