NVIDIA сегодня анонсировала платформу NVIDIA Maxine, которая предоставляет разработчикам облачное GPU-ускоренное программное обеспечение на базе искусственного интеллекта (ИИ) для видеоконференций, созданное для улучшения потокового видео — источника трафика № 1 в интернете.
NVIDIA Maxine - это облачная платформа искусственного интеллекта для потоковой передачи видео, которая позволяет поставщикам услуг использовать новые возможности ИИ для более чем 30 миллионов веб-встреч, проходящих каждый день. Провайдеры видеоконференцсвязи, использующие платформу на графических процессорах NVIDIA в облаке, могут предложить пользователям новые возможности искусственного интеллекта, включая коррекцию взгляда, сверхвысокое разрешение, шумоподавление, повторное освещение лица и другие.
Так как данные обрабатываются в облаке, а не локально, то конечные пользователи могут наслаждаться этими возможностями без специального аппаратного обеспечения.
“Видеоконференции стали частью нашей жизни, помогая миллионам людей работать, учиться и играть, и даже консультироваться у врачей, - говорит Ян Бак (Ian Buck), вице-президент и директор NVIDIA по ускоренным вычислениям. – NVIDIA Maxine объединяет наши самые передовые возможности видео, аудио и разговорного ИИ, чтобы обеспечить революционную эффективность и новые возможности платформ, позволяющих нам всем оставаться на связи.”
Платформа Maxine значительно уменьшает требуемую для видеозвонков полосу пропускания. Вместо потоковой передачи всех пикселей экрана умное программное обеспечение анализирует ключевые черты лица каждого человека, участвующего в звонке, и затем интеллектуально воссоздает лицо с другой стороны. Это позволяет сильно сократить объем данных потокового видео, пересылаемых по Сети туда и обратно.
Используя эту новую технологию сжатия видео на основе ИИ, работающую на графических процессорах NVIDIA, разработчики могут снизить нагрузку на полосу пропускания до одной десятой от требований стандарта сжатия потокового видео H.264. Это сократит расходы для поставщиков и обеспечит более плавную видеоконференцию для конечных пользователей, которые получат еще больше сервисов на базе ИИ при меньшем объеме данных, пересылаемых на компьютеры, планшеты и телефоны.
Новые разработки исследователей NVIDIA, которые будут включены в Maxine, сделают видеоконференцсвязь более похожей на личную беседу. Поставщики услуг видеоконференцсвязи смогут воспользоваться исследованиями NVIDIA в генеративно-состязательных сетях (GAN), чтобы предложить множество новых функций.
Например, функция выравнивания лица позволяет автоматически выравнивать позицию лица таким образом, чтобы казалось, что во время разговора люди смотрят друг другу в лицо, а функция коррекции взгляда помогает имитировать зрительный контакт, даже если камера не совмещена с экраном пользователя. Поскольку объем видеоконференций с начала года увеличился в 10 раз, эти функции помогают людям сосредоточиться на разговоре, а не на камере.
Разработчики также могут добавлять функции, которые позволяют участникам звонка выбирать собственные анимированные аватары с реалистичной анимацией, автоматически управляемой их голосом и эмоциональным тоном в реальном времени. Опция автоматического кадра позволяет видеопотоку отслеживать того, кто говорит в данный момент, даже если он удаляется от экрана.
Используя функции диалогового ИИ на базе SDK NVIDIA Jarvis, разработчики могут интегрировать виртуальных помощников, использующих современные языковые модели ИИ для распознавания речи, понимания языка и генерации речи. Виртуальные помощники могут делать заметки, задавать действия и отвечать на вопросы человеческим голосом. Дополнительные сервисы диалогового ИИ, такие как переводы, субтитры и транскрипция, помогают участникам понять, что обсуждается во время видеоконференции.
Спрос на видеоконференцсвязь трудно предсказать на определенный момент времени, если к звонку будут пытаться присоединиться сотни или даже тысячи пользователей. NVIDIA Maxine использует микросервисы ИИ, работающие в кластерах контейнеров Kubernetes на графических процессорах NVIDIA, чтобы помочь разработчикам масштабировать свои услуги в соответствии с текущими потребностями. Пользователи могут запускать несколько функций ИИ одновременно, совершенно не превышая требований приложений по задержкам.
Поставщики услуг видеоконференций могут использовать Maxine, чтобы предоставить передовые возможности ИИ сотням тысяч пользователей, выполняя инференс на графических процессорах NVIDIA в облаке. Модульная конструкция платформы Maxine позволяет разработчикам легко выбирать возможности ИИ для интеграции в свои решения для видеоконференцсвязи.
Платформа Maxine объединяет технологии из нескольких SDK NVIDIA и API. В дополнение к NVIDIA Jarvis, платформа Maxine также использует SDK NVIDIA DeepStream для высокоскоростной потоковой передачи аудио и видео и SDK NVIDIA TensorRTTM для высокопроизводительного инференса.
Возможности искусственного интеллекта для аудио, видео и естественного языка в SDK NVIDIA, используемом в платформе Maxine, были разработаны в ходе сотен тысяч учебных часов на системах NVIDIA DGXTM - ведущей в мире платформе для обучения, инференса и обработки данных.
Разработчики ИИ-приложений компьютерного зрения, партнеры по программному обеспечению, стартапы и производители компьютеров, создающие аудио- и видео-приложения и сервисы, могут подать заявку на ранний доступ к платформе NVIDIA Maxine.
Последние новости
- Безопасность | Вчера, 16:15
Умер самый крупный в мире крокодил, которого держали в неволе - Технологии | Вчера, 15:45
Український БПЛА "Flamingo VB140" успішно пройшов міжвідомчі випробування - Бизнес | Вчера, 15:25
Консультація юриста: чому варто звернутися за професійною допомогою? - Связь | Вчера, 15:15
Європейська комісія планує створити аналог Starlink та Kuiper - Бизнес | Вчера, 14:45
Hisense представила инновационные решения для дома и развлечений на выставке IFA - Безопасность | Вчера, 14:15
Bolt інвестує 100 мільйонів євро у покращення функцій безпеки - Технологии | Вчера, 13:45
Як шахраї виманюють ПІН-код до картки та інші дані на торговельних майданчиках? - Технологии | Вчера, 13:15
Украина совместно с Бельгией будет производить ракеты для противодействия БПЛА - Технологии | Вчера, 12:45
Австралія передавала Україні плануючі авіабомби JDAM-ER, — Australian Defence
Последние материалы
- Обзоры | Позавчера, 20:01
be quiet! Pure Wings 3 140 – 140-мілліметровий вентилятор для прогресивних систем - Обзоры | 27 октября, 20:58
Gelius Nexus Magnetic Wireless Charge GP-PBW100i – бездротовий 15Вт повербанк - Обзоры | 26 октября, 15:28
Gelius GP-FK001 – ліхтарик - брелок за 149 гривень - Обзоры | 22 октября, 13:04
RIVACASE 7661 – практично "армійський" рюкзак для великого міста - Фотогалереи | 16 октября, 13:29
Важкий бомбардувальний дрон використовують наші воїни проти окупанта - Фотогалереи | 15 октября, 21:29
На "Академик Вернадский" фиксируют масовое возвращение пингвинов - Обзоры | 15 октября, 10:40
Gelius Shark X KZBS-003i – захищена "розкладна" колонка з підсвіткою та вбудованим МР3 - Обзоры | 3 октября, 21:44
ColorWay USB-C 6-в-1 Type C PD 100W/USB3.0х3/HDMI 4К/RJ45 (CW-HUB02) – більше, ніж просто хаб - Обзоры | 28 сентября, 10:18
be quiet! Silent Wings PRO 4 (140 мм) – "король" серед вентиляторів
Популярные новости
- Бизнес | 2 ноября, 23:17
Топ-менеджер з TikTok очолить продуктовий напрямок Binance 3.00 - Безопасность | Вчера, 16:15
Умер самый крупный в мире крокодил, которого держали в неволе 0.00 - Технологии | Вчера, 15:45
Український БПЛА "Flamingo VB140" успішно пройшов міжвідомчі випробування 0.00 - Бизнес | Вчера, 15:25
Консультація юриста: чому варто звернутися за професійною допомогою? 0.00 - Связь | Вчера, 15:15
Європейська комісія планує створити аналог Starlink та Kuiper 0.00 - Бизнес | Вчера, 14:45
Hisense представила инновационные решения для дома и развлечений на выставке IFA 0.00 - Безопасность | Вчера, 14:15
Bolt інвестує 100 мільйонів євро у покращення функцій безпеки 0.00 - Технологии | Вчера, 13:45
Як шахраї виманюють ПІН-код до картки та інші дані на торговельних майданчиках? 0.00 - Технологии | Вчера, 13:15
Украина совместно с Бельгией будет производить ракеты для противодействия БПЛА 0.00