Plain Concepts сотрудничает с корпорацией Майкрософт в разработке Virtual Stage

Эти виртуальные сценарии, используется в сборке Майкрософт 2020, были разработаны с помощью приложения Speaker Recorder, Что позволяет записывать конференцию с помощью одного или двух устройств Azure Kinect, и матирование фона, который удаляет фон с помощью модели ИИ и информации датчика.

Испанская компания Простые концепции сотрудничал с командой исследователей и искусственного интеллекта (искусственный интеллект) из Корпорация Майкрософт в разработке виртуальных сценариев (Виртуальная сцена) которые позволили праздновать онлайн Сборка Майкрософт 2020, большое свидание с разработчиками редмондской компании, в котором раскрываются последние обновления его инструментов и служб.

Построен на искусственном интеллекте и Azure Kinect, Это решение позволило спикерам Build выступать с презентациями из дома, как если бы они были на сцене.. Вдоль 48 часы живых и открытых сессий для всех регистрантов, Разработчики смогли насладиться презентациями экспертов с качеством изображения и звука, идентичным тому, которое достигается на съемочной площадке.

Эта веха была достигнута благодаря Virtual Stage, приложение, которое использует возможности Azure Kinect и последние достижения в области искусственного интеллекта для записи динамиков в своих домах, как если бы они были в профессиональной студии звукозаписи, выступая перед chroma. Эти записи отправляются на пост-продакшн, где могут быть сделаны виртуальные сценарии., анимации или различные композиции.

Виртуальная сцена состоит из двух компонентов: Приложение для записи динамиков, Что позволяет записывать конференцию с помощью одного или двух устройств Azure Kinect, и матирование фона, Приложение, которое удаляет фон с отличным качеством, использование сложной модели искусственного интеллекта и информации от датчиков Azure Kinect.

Приложение Speaker Recorder захватывает информацию о цвете и глубине с одной или двух камер Azure Kinect (две камеры могут быть использованы для записи двух ракурсов одной и той же конференции). В дополнение, Динамик может использовать докладчика для прокрутки слайдов PowerPoint и беспроводного микрофона. Когда они закончат, Видео передаются в Azure, где они обрабатываются.

In Azure, Приложение background Matting использует сведения о глубине, полученные от Azure Kinect, для создания маски путем сегментации тела, а затем модели AI для повышения точности указанной маски и обеспечения лучшей обрезки в областях с волосами или пальцами. Эта маска будет использоваться на последнем этапе для вырезания информации о цвете динамика и создания нового видео с прозрачным фоном, который уже может быть заменен виртуальным сценарием..

Фоновое матирование основано на новой методике вашингтонского университета. Из-за отсутствия помеченных обучающих данных, изображающих стоящих людей, оригинальный ИИ был обучен с квадратными изображениями / видео от 512×512 до бедра или колена.

Для достижения высококачественного крупного плана в таких областях, как волосы, Руки или ноги внесли два важных вклада в оригинальный метод.

Первый, Исходный шаг сегментации был заменен моделями искусственного интеллекта из пакета SDK для отслеживания тела Azure, достижение более толерантной сегментации с цветовыми сходствами и неоднозначными областями изображения.

После, тело было разделено на два квадратных изображения с небольшим перекрытием и обработано отдельно. Это позволяет модели лучше «видеть» в сложных областях, таких как тень между ногами., без потери точности в волосах или руках.

Другие статьи о Корпорация Майкрософт, Простые концепции