Что такое rtx voice
Что такое rtx voice
На прошлой неделе Nvidia выпустила новую эксклюзивную функцию шумоподавления RTX Voice для продуктов GeForce RTX 20-й серии. Тем не менее, пользователь форума Guru3D нашел способ обойти это ограничение при работе с видеокартами без RTX и даже на ОС Windows 7.
Простой обходной путь состоит в том, чтобы запустить установщик RTX Voice обычным образом, пока не появится сообщение об ошибке, сообщающей, что приложение не поддерживается на вашей видеокарте. Хотя установка не происходит, установщик распаковывает все необходимые файлы во временную папку с именем «NVRTXVoice» на диске C: (C: \ temp \ NVRTXVoice).
Как поясняется в постере форума, пользователю нужно открыть файл RTXVoice.nvi в текстовом редакторе с правами администратора. Файл находится в папке NvAFX (C: \ temp \ NVRTXVoice \ NvAFX \ RTXVoice.nvi). После того, как файл открыт, необходимо просто удалить раздел «constraints».
После удаления всего раздела «constraints», необходимо перейти к сохранению файла и запустить приложение setup.exe, после чего RTX Voice должен быть установлен без каких-либо сбоев.
До сих пор пользователь Guru3D мог использовать функцию RTX Voice для работы на GeForce GTX 1080 и Titan V. Однако многочисленные отчеты показывают, что обходной путь работает на всех видеокартах GeForce GTX 10-й и 16-й серий.
RTX Voice использует AI для выполнения функции шумоподавления и сильно зависит от тензорных ядер, которые встроены в видеокарты GeForce RTX 20 компании Nvidia на основе архитектуры Turing. Последнее открытие поднимает вопрос о том, действительно ли для RTX Voice требуются ядра Tensor. Похоже, что в настоящее время функция RTX Voice работает только на ядрах CUDA. Тем не менее, еще неизвестно, окажет ли RTX Voice какое-либо влияние на производительность видеокарт GeForce, в которых отсутствуют соответствующие ядра Tensor.
NVIDIA RTX Voice для интеллектуального шумоподавления официально заработало на видеокартах GeForce GTX
По какой-то причине NVIDIA без лишнего шума исправила своё приложение RTX Voice, добавив в него официальную совместимость со всеми видеокартами GeForce GTX, поддерживаемыми драйвером NVIDIA 410.18 или более свежим. Это означает, что RTX Voice теперь работает со всеми продуктами — от новейших видеокарт серии GeForce RTX 3000 до GeForce GTX 600.
NVIDIA выпустила RTX Voice год назад в качестве новой особой функциональности графических процессоров GeForce RTX 20-й серии — оно позволяет улучшать качество аудиосвязи за счёт интеллектуального снижения нежелательного фонового шума на основе машинного обучения. NVIDIA заявила, что для выполнения этой работы приложение задействует тензорные ядра, встроенные в её последние продукты.
Но, по иронии судьбы, сразу после выхода приложения появилась крайне простая модификация, позволяющая запускать RTX Voice на Windows 7 и, что интереснее всего, на отличных от семейства RTX графических ускорителях. Поэтому неудивительно, что NVIDIA в конце концов сама подправила RTX Voice для поддержки видеокарт GTX.
Владельцы старых карт GeForce GTX могут загрузить утилиту RTX Voice с официального сайта. Но тем, у кого в распоряжении имеется ускоритель RTX 20-й серии или RTX-30-й серии, лучше загрузить уже более совершенное ПО — RTX Broadcast, которое включает в себя и RTX Voice, и функцию веб-камеры с интеллектуальной заменой фона.
Стоит напоследок отметить, что и в RTX Voice, и в RTX Broadcast шумоподавление работает на удивление хорошо — ИИ отлично справляется с удалением фонового шума, не уничтожая и не приглушая при этом голос.
Обзор технологии шумоподавления Nvidia RTX Voice
В конце апреля компания Nvidia представила технологию шумоподавления RTX Voice, призванную улучшить качество звука во время голосового общения в разного рода мессенджерах. По сообщениям разработчиков, новый продукт использует искусственный интеллект для борьбы с различными фоновыми шумами — от щелчков клавиатуры до гула офиса, шума машин за окном и прочего. Звучит многообещающе, презентации и промо-материалы выглядят отлично — посмотрим, насколько эффективно система работает на самом деле.
Установка и настройка
Дистрибутив можно скачать с сайта Nvidia, там же есть очень подробная инструкция по установке и настройке, поэтому мы сегодня остановимся лишь на ключевых моментах. Сразу заметим, что утилита работает под Windows 10 и изначально предназначена исключительно для взаимодействия с видеокартами серии GeForce RTX. Однако пользователям очень быстро удалось добиться ее работы с другими моделями видеокарт Nvidia — поиск соответствующей инструкции в сети занимает пару минут. Разработчики пока не торопятся закрыть эту лазейку — вероятно, дают пользователям вдоволь поиграться с новинкой и сформировать у себя желание использовать ее в дальнейшем.
После запуска программы видим весьма лаконичный интерфейс. В двух выпадающих меню нам предлагается выбрать устройства, которые будут использоваться для записи и воспроизведения через RTX Voice — технология может работать с обоими, о чем мы еще поговорим.
Параллельно в системе появляются два новых аудиоустройства: микрофон и динамики Nvidia RTX Voice. Можно поставить их как устройства по умолчанию, в таком случае действие системы распространится на звук во всех используемых приложениях.
Но, скорее всего, гораздо удобнее будет использовать шумоподавление лишь в некоторых программах. В таком случае системные настройки не трогаем, а виртуальные устройства RTX Voice выбираем в нужных нам программах. Например, в Skype.
Skype в качестве примера был выбран совершенно случайно — просто оказался под рукой. На сайте компании также заявлена поддержка OBS Studio, XSplit Broadcaster, XSplit Gamecaster, Twitch Studio, Discord, Google Chrome, WebEx, Skype, Zoom и Slack. Но «виртуальное устройство» Nvidia RTX Voice можно без проблем выбрать и в любой другой программе — к примеру, в ходе тестирования оно прекрасно работало с Audacity и Adobe Audition.
Тестирование шумоподавления
Как уже упоминалось выше, система может подавлять шумы как исходящие от пользователя через микрофон, так и входящие — идущие из колонок/наушников. Чтобы пропустить входящий сигнал через Nvidia RTX Voice, просто выбираем его в качестве источника воспроизведения. Функция крайне удобная: часто бывает, что собеседник находится в шумной обстановке, да еще и микрофон использует слабенький — и вот вы вынуждены терпеть плохое качество звука, но ничего поделать с этим не можете. Теперь можете.
Ну и просторы для тестирования открываются безграничные: достаточно, например, открыть любое видео на YouTube, включить шумоподавление и посмотреть на результат. Этим и займемся. Для примера мы выбрали три видео с нашего YouTube-канала, записанные в крайне шумной обстановке — на выставках. Со звуком в наших роликах все очень даже неплохо — пришлось покопаться и найти что-нибудь пошумнее. Кстати, если вы еще не подписаны на наш канал — самое время это сделать, у нас там много всего интересного. На этом минутку саморекламы будем считать оконченной, вернемся к тесту.
В целом, для демонстрации работы системы можно было просто записать звук на выходе RTX Voice, выбрав ее в любом аудиоредакторе. Но получился бы совсем уж сферический конь в вакууме. Для несколько более полной симуляции реального пользовательского опыта мы решили подавлять шумы в гарнитуре, звук из которой записать с помощью стенда MiniDSP E.A.R.S. Естественно, наушники для таких целей стоит выбрать качественные. Мы использовали Audeze Mobius, которые тестировали чуть меньше года назад.
Первое видео с IFA 2019 не особо-то и шумное. Но шум есть, плюс присутствует негромкая фоновая музыка, которую RTX Voice успешно убирает. Голос при этом продолжает звучать более-менее натурально, хотя некоторые изменения ощущаются. С помощью ползунка в утилите можно регулировать степень шумоподавления и подобрать режим, в котором и шум уже не раздражает, и голос звучит в достаточной степени разборчиво.
Второе видео, на котором Стюарт Эштон рассказывает о продуктах Blackmagic Design, содержит типичный фоновый шум большого скопления людей, причем весьма ярко выраженный. С ним система справилась очень неплохо. На третьем видео — просто праздник: голоса, гул, фоновая музыка… И вот только тут RTX Voice немного спасовала: голос пару раз прерывался, появился «металлический» призвук, ни о какой естественности звучания говорить уже не приходится. Но с учетом сложности поставленной задачи — все равно очень впечатляет.
Ну и для еще большей наглядности приведем пару картинок. На первой — спектрограмма небольшого фрагмента аудиодорожки среднего видео без шумоподавления, на второй — с шумоподавлением. Разница очевидна, особенно хорошо заметно, насколько эффективно RTX Voice отрабатывает паузы между словами. При этом часть дорожки, содержащая речь, остается практически без изменений.
С подавлением шума на выходе более-менее разобрались, настало время попробовать подавлять его на входе. Для этого мы использовали микрофон все той же Audeze Mobius, в который были прочитаны несколько строф из «Евгения Онегина» (качество чтения — в меру скромных возможностей автора, который не читатель, а писатель). Из стоящей поблизости акустической системы были запущены четыре вида шума: гул города и офиса, звуки ремонта и, конечно, его величество перфоратор.
Микрофон у Audeze Mobius, как и у ряда других качественных игровых решений, устойчив к посторонним шумам сам по себе, пришлось довольно основательно поднять громкость, чтобы сделать эффект максимально заметным. В нижней части кадра расположена генерируемая с небольшой задержкой, но не менее от этого интересная спектрограмма. В общем, все можно услышать и увидеть.
Некоторые пользователи Nvidia RTX Voice отмечают довольно высокую прожорливость системы — мол, программа может «стоить» до 10 fps в играх. Мы попробовали поиграть в ряд игр со средними для сегодняшнего дня системными требованиями, параллельно ведя разговор с использованием шумоподавления. Никаких серьезных изменений в производительности, достойных обсуждения, отмечено не было. Возможно, в более требовательных играх ситуация может оказаться чуть иной.
Пока RTX Voice официально находится в стадии бета-тестирования, но работает уже весьма впечатляюще. Учитывая, что возможность воспользоваться системой (пока пусть и не совсем официальная) есть у широкого круга обладателей видеокарт Nvidia, имеет смысл хотя бы попробовать. По словам разработчиков, приложение функционирует на основе ИИ, а значит, со временем «научится» работать еще более эффективно. Будем ждать с нетерпением.
А живую демонстрацию работы технологии Nvidia RTX Voice можно увидеть (и услышать) в видео Виталия Казунова на канале iXBT.Games:
Что такое NVidia RTX Voice и как эта технология изменит компьютерные игры
Последняя конференция NVidia произвела много шума, а новые видеокарты стали технологическим прорывом года. Но пока большинство людей смотрит всего лишь на прирост производительности в играх и улучшение графики, они упускают то, что сделает новое поколение видеокарт настоящим прорывом — программные решения на основе тензорных ядер. NVidia представила целый ряд перспективных технологий, которые они будут развивать в будущем поколении. Я постараюсь пройтись по всем продемонстрированным технологиям, но в данной статье хотел бы подробнее рассмотреть NVidia RTX Voice.
Доступ к данном программе NVidia предоставила ещё весной и на данный момент уже имеется множество статей и видео, которые ярко демонстрируют возможности данной программы. Так что же в ней такого особенного, почему она работает лучше любых других программ шумоподавления, причём тут RTX в названии, и что эта технология даст играм?
Ответом на первую часть вопросов будет — снова нейронные сети. Да, они затесались даже сюда. Правда, на этот раз это очень специфическая и крайне интересная архитектура сетей, название которой — вариационный автоэнкодер (или же автокодировщик).
Обычные нейронные сети имеют множество нейронов в своих скрытых слоях. Это необходимо для того, чтобы установить все взаимосвязи между входными и выходными параметрами в сети. Ведь, по сути, каждый нейрон скрытого слоя является отображением «понятия», которое связывает между собой входные и выходные параметры. И чем сильнее вес связи этого нейрона, тем сильнее это «понятие» оказывает влияние на эти самые параметры. В качестве примера можно рассмотреть условную сеть, которая распознаёт листья деревьев на фотографии. Один условный нейрон такой сети будет определять, является ли предмет на фотографии зелёным и если да, именно этот нейрон будет считать, что это лист. Другой условный нейрон будет проверять, является ли предмет овальным. Третий будет проверять текстуру объекта, четвёртый наличие черешка и так далее. И такая сеть распознает лист, если большинство нейронов ответят, что они считают объект листом. Но «мнения» нейронов неравнозначны. Ведь цвет и форма важнее наличия черешка. С другой стороны, лягушки тоже могут быть зелёными, а листья могут быть оранжевыми и красными, поэтому исключительно на цвет такая сеть не полагается, а учитывает совокупность мнений всех нейронов. И именно поэтому подобные сети имеют множество скрытых нейронов, что бы охватить все возможные «понятия», которые связывают между собой входные и выходные параметры. А вот автоэнкодер устроен по другому.
Своё название автоэнкодер получил от название классов задач, которые он решает в процессе работы — кодировка и декодировка сигнала. И устроен он ровно противоположным образом — в скрытых слоях у него нейронов существенно меньше, чем входных и выходных параметров. Казалось бы, какой в этом смысл?
А вот тут и начинается магия. Автоэнкодер «запоминает» не все ключевые особенности, чтобы распознать в точности какой то объект. Вместо этого он «выбрасывает» все данные, которые не являются обязательными для распознавания. Он запоминает только ключевые «понятия». То есть, он убирает из данных весь шум. И вот на этом моменте, полагаю, некоторые уже начали правильно догадываться, как использует автоэнкодеры NVidia RTX Voice (очевидно, в их случае это намного более сложная модель). Именно так — сеть NVidia обучалась на распознавание человеческого голоса. Но, поскольку эта не классическая сеть, она обучалась так, что «выбрасывала» из звуковой дорожки все те звуки, которые не относятся к человеческому голосу. И запустив такую сеть «в обратную сторону» можно добиться от неё не распознавания голоса, а фильтрацию звуковой дорожки. Магия работает, остаются только звуки человеческой речи.
Но автоэнкодер всё ещё остаётся нейронной сетью, со всеми своими недостатками. В частности, у него всё ещё очень специфические вычисления, которые не характерны для классического процессора и хорошо работают только на тензорных ядрах. Более детально специфику работы нейронных сетей я описал в одной из предыдущих своих статей. Для автоэнкодера все ограничения те же самые и поэтому NVidia RTX Voice требует для работы именно видеокарты с RTX.
Это всё конечно же очень интересно, но что за кликбейт в заголовке? Причём тут непосредственно игры? А для объяснения этого стоит рассмотреть ещё одну магию автоэнкодеров. Они ведь запоминают лишь ключевые особенности, но при этом отсеивают все детали. Но совсем не обязательно, что эти детали должны полностью отрезаться. Их можно достраивать случайным образом. При этом автоэнкодеры совершенно не привязаны к аудио данным, они могут работать с чем угодно. И вот тут мы приходим к идее случайного генератора нового поколения.
Классический случайный генератор игровой карты создаёт просто бесконечное поле из заготовленных ассетов, для каждого из которых вручную прописаны варианты соединения с другими ассетами. Но в случае с автоэнкодером мы получаем программу, которая «помнит», что реки берут начало в горах и должны течь обязательно вниз, что шоссейные дороги не ведут в тупик, а связывают между собой крупные города, что сами города проектируют исходя из вполне конкретных принципов. Мы получаем генератор, который строит логический каркас карты по вполне определённым и логичным принципам, а детали заполняет случайным образом. Вместо сотен «разных» карт, куски которых топорно и заметно соединены между собой и довольно скоро начинают повторяться, мы получаем бесконечное количество действительно уникальных карт, которые сразу создаются как одно целое, а не собираются из кубиков.
А ведь генерация карт это только первое, что приходит на ум. Генерация персонажей, генерация транспорта, генерация игровых сценариев, действительно уникальные и живые миры. И кто знает, какие варианты использования данной технологии ещё придумают. NVidia уже продемонстрировала, что на современных видеокартах спокойно можно запустить сложные автоэнкодеры, которые работают лучше классических алгоритмов. И, возможно, когда технология RTX и аналогичные плотнее войдут в повседневную жизнь, большинство игр станут немного «рогаликами» (где мир перестраивается после смерти героя).
Как включить и настроить шумоподавление с помощью RTX Voice
Каждый из нас сталкивался с видеозаписями, особенно любительскими, на которых голоса людей были трудноразличимы из-за фоновых шумов. Такие ситуации нередки даже на телевидении, когда интервью, к примеру, берётся прямо на улице. Есть ли способ борьбы с этим явлением? Безусловно, и речи не идёт о дорогом профессиональном оборудовании – существует немало программных способов решения проблемы. Один из них – использование утилиты nVidia RTX Voice, которая умеет выполнять анализ входного звука и отделять от голоса большинство посторонних шумов. Этот плагин применим и в целом, и для отдельных приложений, включая Google Chrome, Discord, Skype и другие популярные программы. RTX Voice распространяется бесплатно, но официально поддерживаются только видеокарты последних поколений, с наличием функции трассировки.
Однако впоследствии было установлено, что обработка входного аудиопотока производится не с использованием RT-ядер, а на обычных ядрах CUDA, где происходит фильтрация и разделение звука по частотам с их последующим анализом с использованием технологии нейросетей. Это означает, что теоретически плагин может работать и со старыми видеокартами типа GTX 500. И эти ожидания оправдались, но с некоторыми оговорками, и сегодня вы узнаете, как воспользоваться RTX Voice обладателям новых и старых видеоадаптеров от nVidia.
Как запустить RTX Voice на видеокартах nVidia RTX/GTX
Плагин RTX Voice является составной частью приложения nVidia Broadcast, а также распространяется в виде отдельной программной единицы. Для видеокарт нового поколения от nVidia (Titan RTX, Quadro 3000, RTX 2060) желательно инсталлировать nVidia Broadcast, при этом обязательной является установка драйвера nVidia Display, начиная с версии 456.38.
С точки зрения операционной системы плагин RTX Voice – это новое виртуальное устройство, которое желательно активировать в конкретном приложении. В противном случае оно будет использоваться глобально, заглушая любые фоновые аудиопотоки, включая видео, транслируемое с YouTube, звуки запущенной игры или прослушиваемую на Spotify музыку.
Перечень приложений, в которых можно использовать эту технологию шумоподавления, достаточно обширен. В принципе это любые программы, позволяющие выбирать источник звука.
Установка, настройка nVidia RTX Voice
Для новых видеокарт nVidia RTX желательно использовать RTX Voice в составе nVidia Broadcast, что позволит вам избавляться не только от звуковых шумов, но и подавлять шумы визуальные. Скачать утилиту можно на официальном сайте: ссылка на nVidia Broadcast, ссылка на RTX Voice для видеокарт GTX.
Установка RTX Voice на GTX, как и стримингового приложения, не вызовет затруднений, достаточно придерживаться подсказок.
Теперь о настройке утилиты:
Рассмотрим, как осуществляется настройка RTX Voice в некоторых наиболее популярных программах.
Google Chrome
В самом востребованном интернет-обозревателе активация шумоподавления, которая будет работать при использовании микрофона, достигается следующим образом:
Skype
В не менее популярном приложении для осуществления видеозвонков и интернет-телефонии настройки RTX Voice осуществляются аналогичным способом:
Некоторые приложения, в числе которых находится и Skype, имеют собственные функции шумоподавления. При использовании утилиты от nVidia желательно этот режим отключить, поскольку он будет накладываться на RTX Voice с непредсказуемыми результатами. Возможно, в используемых программах или драйверах для устройств ввода/вывода звука присутствуют похожие эффекты, их желательно тоже деактивировать.
Discord
В этом востребованном среди геймеров мессенджере принцип включения RTX Voice тот же: заходим в настройки, кликнув по иконке шестерёнки, выбираем вкладку «Голос и видео» и меняем стандартные микрофон и динамик на RTX Voice, убедившись, что встроенные эффекты подавления шумов деактивированы.
Тестирование
Для более точной настройки эффекта шумоподавления (для этого имеется ползунок, по умолчанию сдвинутый вправо до упора, то есть выставленный на 100%) желательно протестировать режим подавления фоновых шумов, придерживаясь следующей очерёдности шагов:
После завершения тестирования не забудьте в настройках операционной системы вернуть в качестве источника звука стандартные динамики. Если этого не сделать, шумоподавление будет работать в отношении любых звуков. Использовать функцию желательно на уровне приложений.
Тестирование микрофона осуществляется по такой же схеме, как и динамиков: открываем настройки звука и выбираем в качестве входного устройства микрофон RTX Voice.
После этого открываем любую программу записи аудио (можно встроенную утилиту Windows «Запись голоса») и записываем свою речь, желательно идентичную, с фоновыми шумами и без них, а затем сравниваем обе записи и делаем вывод о качестве шумоподавления.
Как включить RTX Voice на старых видеокартах
Мы уже отмечали, что плагин вполне может работать и на видеокартах десятилетней давности, при условии установки драйвера версии 410.18 или свежее.
Правда, попытка инсталляции напрямую приведёт к появлению ошибки, но она достаточно легко устраняется. Возможно, в nVidia эту лазейку в будущем устранят, и если предложенный способ не сработает, вам нужно будет поискать в интернете инсталлятор версии 0.5.12.6 или близкой к этому, поскольку на данный момент он с задачей шумоподавления справляется отлично.
Безусловно, нет никакой гарантии, что именно с вашим оборудованием функция будет работать, но с видеокартами Nvidia GTX 10XX/16XX проблем не наблюдалось, чего не скажешь про серию 9XX – имеются сообщения, что не все установки завершились удачно. В любом случае попробовать стоит, и вот что для этого необходимо сделать:
Если всё сделано правильно, процедура завершится успешно, и вы получите возможность управлять шумоподавлением глобально или в рамках отдельных приложений.
Заключение
Если верить большинству пользователей, использование шумоподавления посредством применения технологии RTX Voice позволяет получить действительно неплохие результаты. По крайней мере, для стримеров и геймеров эта функция будет очень полезной, особенно если им приходится работать в не самых благоприятных шумовых условиях. И даже если вам покажется, что в результате голос будет звучать немного искусственно, этот недостаток с лихвой компенсируется отличным качеством фильтрации шумов.