Augmented Reality zur Rettung. Die Aufhebung der NAB 2022-2023 aufgrund der COVID-19-Pandemie hat in der gesamten Rundfunkbranche Schockwellen ausgelöst. Die NAB Show findet jährlich in Las Vegas statt und ist mit über 90.000 Teilnehmern aus über 160 Ländern die größte Rundfunkmesse. Die Mehrheit der 1.600 Aussteller bringt neue Produkte und Technologien auf den Markt, und für viele große Unternehmen ist eine Planung von bis zu sechs Monaten vorgesehen. Innerhalb kürzester Zeit musste das Panasonic Pro Video-Team Alternativen finden, um seine Botschaft zu verbreiten, während es von zu Hause aus arbeitete.
Audio + Video + IT. Unsere Redakteure sind Experten für die Integration von Audio, Video und IT. Erhalten Sie tägliche Einblicke, Neuigkeiten und professionelles Networking. Abonnieren Sie Pro AV noch heute
In den Tagen vor der Absage der NAB Show begann das Panasonic-Team, nach Optionen für eine Ersatzveranstaltung zu suchen, einschließlich der Idee, einen physischen Stand zu bauen, an dem Kunden online vorbeischauen können. Das Pro Video-Team von Panasonic führte auch Gespräche mit Paul Lacombe, CEO von DisruptAR in New England, der sich auf die Erstellung virtueller Produktionen spezialisiert hat. Nachdem Lacombe seine Karriere nach dem College bei General Motors begonnen hatte, war er 30 Jahre lang in der Produktionsbranche tätig, beginnend bei Silicon Graphics Ende der 80er Jahre, bevor er sich selbständig machte, um virtuelle Produktionen zu verfolgen. DisruptAR konzentriert sich darauf, die Produktionskosten für AR und VR für den breiteren Markt zu senken.
- Streaming-Infrastruktur der Esports Training Factory
- Citizen Cope debütiert mit Covid-sicherem Konzertraum
- Remote Learning: Wie man ein Remote-Orchester zum Laufen bringt
- Beste PTZ-Kameras für Live-Streaming
Am 16. März wurde New Jersey, wo sich der Hauptsitz von Panasonic in den USA befindet, offiziell gesperrt. Am 18. März plante Lacombe die erste Demo für das Panasonic-Team. Die NAB Show 2022-2023 wurde am 20. März abgesagt. “
Wir mussten uns sehr schnell zwischen den beiden Optionen entscheiden “, verrät Harry Patel, technischer Leiter von Panasonic. „Die erste Option bestand darin, einen Stand physisch zu bauen, das Produkt einzubringen und gleichzeitig die Anforderungen an die soziale Distanzierung (jeweils weniger als 10 Personen) zu erfüllen und ein Filmteam hinzuzuziehen. Es war nicht praktisch und wir wollten etwas mit höherer Qualität machen, obwohl wir unsere Häuser nicht verlassen konnten. Schließlich wurde diese Idee einer virtuellen Veranstaltung weiter diskutiert und bis Ende März genehmigt. “
Augmented Reality und Remote Production
Fernproduktion ist kein neues Konzept. Der Regisseur Francis Ford Coppola hat viele Szenen aus seinem Film One From the Heart von 1982 aus einem Trailer in der Nähe des Sets gedreht und bearbeitet. Aber eine Produktion aus der Ferne während einer globalen Pandemie zu erstellen, ist eine andere Geschichte. Dies war nur mit modernster Kameratechnologie, VR-Gaming-Engines und Cloud-basierten Apps möglich.
Für Panasonic bestand das erste Ziel darin, eine klare Botschaft mit mündlicher und schriftlicher Kommunikation zu erstellen, die in ein visuelleres Videoformat übersetzt wurde. Bei NAB kommunizieren Vertriebsmitarbeiter in der Regel mit Kunden auf der Ausstellungsfläche, um Lösungen für die Probleme jeder Person zu besprechen. Jim Wickizer, Marketing Group Manager, und Racepoint Global, P. R. Agency, konnten eine konsistente Botschaft entwickeln und mit einzelnen Produktmanagern zusammenarbeiten, um die richtigen Diskussionspunkte zu präsentieren.
Patel und Wickizer begannen auch, von seinem Heimstudio aus mit Lacombe zusammenzuarbeiten, um Videointerviews zwischen Produktmanagern und einer Studiomoderatorin, Zoe Laiz, zu erstellen, die über neue Produkte und Technologien diskutieren sollten. „Wir hatten alle herausfordernde Produktionsumgebungen, aber dies aus der Ferne mit diesem Zeitplan zu tun, war definitiv ein Vertrauenssprung“, erklärt Lacombe. "In meinem Bauch wusste ich, dass dies funktionieren könnte, aber es war ein Problem, es noch nie zuvor getan zu haben."
Für die Fernaufnahme erhielten alle Produktmanager einen Laptop, ein Blue Yeti USB-Mikrofon und eine professionelle Full-HD-PTZ-Kamera AW-HE42 von Panasonic. Der HE42 wurde über Ethernet und den virtuellen PTZ-USB-Treiber verbunden, und das Video wurde mithilfe von OBS zur Aufzeichnung und TeamViewer zur Fernsteuerung auf den Laptop übertragen.
Augmented Reality- und MS-Teams
Für die Kommunikation, das Teilen von Dateien, das Anzeigen von Demos und das Überwachen von Remote-Produktionsaufnahmen setzte Panasonic Microsoft Teams ein, eine Kommunikations- und Kollaborationsplattform. Über Nacht haben Plattformen wie Teams, Zoom, Ring Central und viele andere es Menschen und Unternehmen ermöglicht, sicher von zu Hause aus mit der Außenwelt zu kommunizieren.
Um zu sehen, was Lacombe während der Produktion am Set aufgenommen hat, hat Patel mithilfe der Team-Bildschirmfreigabe einen Quad-Split mithilfe eines AV-UHS500-Switcher-Ausgangs für eine Konverterbox von SDI zu USB erstellt. Der USB-Feed wurde in Windows als Kamera-Feed dargestellt, den sie über Teams gemeinsam nutzten.
Während Patel und Wickizer die Aufzeichnung der Eröffnungsrede von John Baisley, Senior Vice President, Professional Imaging & Visual Systems, überwachten, konnten sie über Teams Baisleys Wohnzimmer live betrachten und Anweisungen geben, ob es sich um einen Zeilenlesefehler, eine Hintergrundänderung oder eine technische Störung handelte Klangproblem. Durch Teams war Patel auch in der Lage, die Bildschirmrichtung bereitzustellen, indem sowohl Green-Screen- als auch virtuelle Set-Ansichten beobachtet wurden. „Wenn Zoey direkt hinter einer Tür stand und eintrat, konnten wir wirklich sehen, ob der Schuss gut war oder nicht“, erklärt Patel. "Ich würde Paul durch Teams sagen:" Es könnte besser funktionieren, wenn sie sich ein bisschen nach rechts bewegt. "In Bezug auf die Remote-Zusammenarbeit denke ich nicht, dass dies ohne den Einsatz von Teams möglich gewesen wäre."
"Es war ziemlich cool, dies aus der Ferne zu tun", fügt Wickizer hinzu. „Wir hatten eine Person in Boston, Harry und ich waren in unseren Häusern in New Jersey und wir hatten eine andere Person an der Westküste. Meine Tochter kam einmal in unseren Keller und fragte, was ich mache. "Wir machen eine Remote-Produktion", sagte ich ihr. Sie konnte es wirklich nicht glauben. "
Free-D und die unwirkliche Engine
Um realistische VR-Studio-Sets in eine Live-Produktion zu integrieren, ist die Erfassung genauer Kamerapositionierungsdaten unerlässlich. Bevor DisruptAR seine erste Demo für Panasonic vorstellte, entwickelte er einen Free-D-Treiber, mit dem die 4K Pro PTZ-Kamera AW-UE150 4K Pro direkt an die Unreal Engine angeschlossen werden konnte, sodass er Pan / Tilt / Zoom / Iris-Informationen ausgeben konnte über IP (UDP) direkt von der Kamera zum Unreal-Tracking-System live, ohne dass zusätzliche Sensoren oder Encoder erforderlich sind.
"Free-D kam Anfang der 90er Jahre von der BBC als Tracking-Protokoll für eines ihrer Kamera-Tracking-Systeme", erklärt Lacombe. „Es definiert die sechs Freiheitsgrade - Schwenken, Neigen, Rollen, X, Y, Z sowie Sichtfeld, Zoom und Fokus. Diese Werte werden an die virtuelle Rendering-Engine gesendet und mit einer virtuellen Kamera verbunden, sodass Ihr Hintergrund in Echtzeit mit 60 Bildern pro Sekunde entsprechend reagiert. “
Laut Lacombe wurde die Unreal Engine in zahlreichen Produktionen eingesetzt - vom König der Löwen bis zum Mandalorianer. "Es ist die zugrunde liegende Technologie, die derzeit in den meisten Teilen Hollywoods verwendet wird", sagt Lacombe. "Sie verwenden es größtenteils als Proxy, aber das Ziel ist" Endpixel ". Was auch immer Sie in Echtzeit sehen, ist das, was auf dem Bildschirm angezeigt wird."
„Die Unreal Engine ist eine Gaming-Engine, die in anderen Märkten eingesetzt wurde, einschließlich Architektur, CAD-Visualisierung und in diesem Fall Broadcast und Film“, sagt Lacombe. „Wir verwenden es, um ein Höchstmaß an Fotorealismus zu erreichen, indem wir Assets von traditionellen DCC-Tools wie Maya, 3D Studio Max und Blender verwenden und NVIDIA-Grafikkarten mit 60 Bildern pro Sekunde verwenden, um den Zuschauern die Wiedergabetreue von Objektiveigenschaften wie z Blühen, Fackeln und De-Fokussieren. Die Qualität, die Sie benötigen, um Fotorealismus und Rendering mit 60 Bildern pro Sekunde zu erreichen, ist im Wesentlichen das, was die Unreal Engine leistet. “
Eine virtuelle Welt schaffen… in einer Garage
Lacombes Studio befindet sich in seiner umgebauten Garage, die nur 20 x 24 misst, und seine Crew bestand nur aus einem Assistenten. Für den grünen Bildschirm verwendete er einen Pro Cyc Portable-Hintergrund. Aufgrund der Platzbeschränkungen konnte Laiz nur wenige Schritte gehen, sodass nur wenige Kameras zur Verfügung standen. Damit war die AW-UE150 das perfekte Werkzeug für diesen Job. Bei der Beleuchtung seines grünen Bildschirms verwendete Lacombe 14-Zoll-LED-Panels. „Die Idee ist, dass Sie wirklich einen Grünton haben und alle Flecken entfernen möchten, damit Ihr Keyer diese Schatten behalten kann“, erklärt Lacombe. "Sie wählen ein Grün aus, das Sie ausschalten möchten, und die dunkleren Grüns sind die Schatten, die in Ihrem virtuellen Set überlagert sind."
Obwohl er in den kleinen Räumen seiner Garage arbeitete, musste er sein Talent mit dem motivierten Licht eines großen Studios beleuchten. Um Laiz anzuzünden, verwendete Lacombe zwei LED-Panels sowohl für seinen Schlüssel als auch für seine Füllung. Er benutzte auch ein paar Scheinwerfer von oben, um ein rötliches Licht aus den Fenstern zu simulieren. „Grundsätzlich versuchen wir, diese Richtung und diese Farbtemperatur anzupassen, ohne den grünen Bildschirm zu beeinflussen“, verrät Lacombe. „Das ist eine Herausforderung, weil Sie versuchen, das Talent getrennt vom grünen Bildschirm zu beleuchten. Die Scheunentore an diesen LEDs gaben uns mehr Platz, aber wir kämpften darum, vom Grün wegzukommen und nur minimal vom Grün auf ihre Kleidung und Haut zu springen. “
Am Set verwendete Lacombe zwei UE150-Kameras: Kamera 1 befand sich auf der linken Seite und Kamera 2 auf der rechten Seite. Wenn Zoe an die Reihe kam, um sich einem Produktmanager zu stellen, der auf einem vertikalen Monitor angezeigt wurde, wechselte er auf Laiz 'Augenhöhe zu Kamera zwei, um die Sicht des simulierten Produktmanagers zu erhalten. Das Anpassen der Augenlinien ist eine Herausforderung, aber Lacombe sagt, er könnte ein wenig schummeln, wenn er weiß, wo seine Ausgangsposition war. „Wenn Sie zwei Kameras hatten, eine war in einem Abstand von acht Fuß um 90 Grad zur anderen und die andere in einem Abstand von vier Fuß, können Sie mit einem Maßband messen und sie in derselben Position in der virtuellen Welt platzieren. Sie werden durch die Gesetze der Physik aneinander haften, so dass sie aussehen, als wären sie genau in dieser Position. Und dann kannst du innerhalb dieser Richtlinien ein bisschen schummeln. “
Produktionsdesign auf Knopfdruck
Für das Design des virtuellen Sets verwendete Lacombe ein modifiziertes Design, das er im vergangenen Jahr mit einem anderen Kunden zusammenarbeitete. Das Design wurde in Maya erstellt und nach Unreal exportiert. Da das virtuelle Set nachts stattfindet, sahen sie zuerst dunkler aus, aber dann beschlossen sie, es etwas heller zu machen. Er fügte das Panasonic-Logo hinzu und entfernte Elemente, die für das Panasonic-Set nicht unbedingt erforderlich waren. Er fügte auch einen Monitor hinzu, der aus dem Boden kommt und hinter dem Laiz hervorkommt.
Laut Lacombe stehen beim Erstellen Ihres eigenen virtuellen Sets mehr 3D-Assets zur Verfügung, da sich die Online-Architekturvisualisierung wirklich verbessert hat. Sie können in eine 3D-Bibliothek gehen, 3D-Assets oder -Modelle suchen und diese je nach Ihren Anpassungsanforderungen erstellen. "Es ist wirklich ein Hin und Her mit dem Kunden", erklärt Lacombe. „Sie fügen Ihre Marketingkomponenten, das Branding sowie alle Farben und Materialien hinzu. Sobald Sie das Asset dort haben, können Sie Wände mit einer Schaltfläche abreißen, klicken oder Dinge verschieben und Monitore in Echtzeit anpassen. In der "physischen Welt" würde dies viel Zeit und Geld kosten. Sobald Sie das Ding gebaut haben, ist es einfach, es anzupassen und darauf zurückzukommen. “
Sicherheitsabstand einhalten
Die virtuelle Produktion hat sich im Laufe der Jahrzehnte durch Erfahrung und Verfeinerung weiterentwickelt. Obwohl die Rollen einer physischen Produktion und einer virtuellen Produktion im Wesentlichen gleich sind, besteht der größte Unterschied darin, dass alle im selben physischen Raum arbeiten. Sobald die Verordnung über den Aufenthalt zu Hause aufgehoben ist, wird noch entschieden, ob eine echte Fernproduktion zur Norm wird oder nicht.
"Es gibt einen Grund, warum jemand auf den Schlüssel schaut, jemand auf das Drehbuch schaut, jemand auf die Kamerawinkel und die Garderobe schaut", sagt Lacombe. All diese Rollen müssen noch erfüllt werden, und wir versuchen nur, den besten Weg zu finden, dies aus der Ferne zu tun. Bisher hat es erstaunlich gut geklappt und wir sind alle überrascht, wie schnell dies zusammengekommen ist und sich auf natürliche Weise entwickelt hat. Obwohl wir mehr Hüte tragen mussten, als wir uns für diese Produktion gewünscht hätten, besteht der nächste logische Schritt darin, diese noch weiter zu verteilen, damit andere daran beteiligt sind, den Prozess zu verfeinern und zu verbessern. Aber zum ersten Mal aus dem Tor bin ich sehr zufrieden mit den Ergebnissen und bin gespannt darauf, den nächsten Schritt zu tun. "
Um das virtuelle Ereignis von Panasonic zu sehen, Die Zukunft der Videoproduktion Klicken Sie sich hier durch.
Weitere Informationen zu DisruptAR finden Sie unter www.disruptar.com.