Die Codec-Landschaft ändert sich mit sechs neuen Codecs bis Ende 2022-2023. Anfang 2022-2023 codierten die meisten Streaming-Videoproduzenten ausschließlich mit dem 2003 erstmals vorgestellten H.264-Codec. Einige größere Verlage wie Netflix, Amazon, YouTube und Facebook setzten auch den auf Standards basierenden Nachfolger von H.264, den HEVC-Codec und / oder den VP9-Codec von Google, ein. Eine Reihe von Produzenten experimentierte mit dem AV1-Codec der Alliance for Open Media. Über diese vier vorhandenen Codecs hinaus wird MPEG im Jahr 2022-2023 drei neue Codecs einführen: Versatile Video Coding (VVC), Essential Video Coding (EVC) und Low Complexity Enhancement Video Coding (LCEVC).
Mit sechs neuen Codecs, die bis Ende 2022-2023 in Betracht gezogen werden müssen, lohnt es sich, Faktoren zu überprüfen, die zur erfolgreichen Einführung eines Codecs beitragen. In diesem Artikel werde ich diese Faktoren mithilfe von H.264 und HEVC überprüfen und ein Analyserahmenwerk erstellen, das ich in zukünftigen Artikeln verwenden werde, um den potenziellen Erfolg von AV1 und den drei neuen MPEG-Codecs zu beeinträchtigen.
Beachten Sie, dass ich hauptsächlich aus der Perspektive des Herausgebers schreibe. nicht aus der Sicht des Players oder Encoder-Anbieters.
- Grundlegendes zu Streaming-Lösungen mit geringer Latenz
- Beste PTZ-Kameras, Erfassungs- und Streaming-Geräte
1. Wie ist die vergleichende Effizienz des Codecs?
Die wichtigste Aufgabe eines Codecs besteht darin, die Größe des Streams zu reduzieren, der für die Bereitstellung von Videos für unsere Zuschauer erforderlich ist. In vielen Fällen wird die Effizienz gegen H.264 gemessen. Sie sehen dies in Abbildung 1 aus dem HEVC-Vergleichsbericht 2015 der Moskauer Staatlichen Universität (MSU). Zur Erklärung präsentiert die MSU ihre Daten immer mit x264, einem von mehreren H.264-Codecs, in 100% iger Qualität. Dann zeigt es für jeden anderen Codec die prozentuale Verringerung oder Erhöhung der Datenrate an, die erforderlich ist, um die gleiche Qualität wie x264 zu erzielen.
In der Tabelle kann der x265-Codec beispielsweise die gleiche Qualität wie x264 bei 74% der Bitrate oder eine Einsparung von ca. 26% liefern. Der VP9-Codec liegt mit 77% oder einer Einsparung von 23% gegenüber x264 nicht weit dahinter.
Diese Einsparungen stellen einen primären monetären Vorteil dar, den die neueren Codecs bieten. Die Implementierung von x265 im Jahr 2015 hätte die Bandbreitenkosten für die Lieferung von Videos gleicher Qualität an HEVC-fähige Player um 26% gesenkt. VP9 hätte die Bandbreitenkosten um 23% gesenkt.
Stellen Sie sich die Codec-Anpassung als Break-Even-Analyse vor. Es gibt zwei Zuflussquellen; Einsparungen bei der Lieferung an bestehende Kunden, die wir gerade abgedeckt haben, und zusätzliche Einnahmen für Kunden in neuen Märkten, die ich im nächsten Abschnitt behandeln werde. Mit Codec-Implementierungen sind mehrere Kosten verbunden. Sie werden auf absehbare Zeit H.264-codiertes Video liefern, sodass sowohl die Codierungs- als auch die Speicherkosten für die neuen Codecs additiv sind. Sie müssen auch Ihren Player aktualisieren und einige Tests und Qualitätskontrollen durchführen.
Die Bandbreiteneinsparungen beziehen sich offensichtlich auf die Anzahl der Zuschauer für jedes Video. Hier ist ein einfaches Beispiel. Angenommen, die Codierung in eine HEVC-Codierungsleiter kostet 20 US-Dollar, und Sie haben 0,01 US-Dollar an Bandbreitenkosten pro Viewer eingespart. Sobald 2.000 Zuschauer das Video gesehen haben, haben Sie diese Kosten wieder aufgeholt. Wenn 2 Millionen Zuschauer das Video ansehen, haben Sie 20.000 US-Dollar an Bandbreitenkosten gespart. Aus diesem Grund ist es für große Unternehmen wie Netflix, YouTube, Amazon und Facebook einfacher, neue Codes bereitzustellen.
Unabhängig von der Größe ist es finanziell sinnvoll, einen neuen Codec bereitzustellen, wenn die mit dem neuen Codec verbundenen Einsparungen oder neuen Einnahmen die Implementierungs- und sonstigen Kosten übersteigen. Je höher die Komprimierungseffizienz gegenüber der vorhandenen Lösung ist, desto größer sind natürlich die Bandbreiteneinsparungen.
Abgesehen davon dient die überwiegende Mehrheit der neuen Codec-Bereitstellungen nicht dazu, Bandbreiteneinsparungen oder andere Effizienzsteigerungen zu erzielen. Nur ein Tipp der Pyramiden-Publisher wie Netflix, Facebook und YouTube hat VP9 bereitgestellt, obwohl es derzeit etwa 35-40% effizienter als x264 ist. Vielmehr verwenden Verlage in der Regel neue Codecs wie HEVC, da dies Märkte für neue Kunden öffnet.
Dies führt zur nächsten Frage.
PRO NEWSLETTERAudio + Video + IT. Unsere Redakteure sind Experten für die Integration von Audio / Video und IT. Erhalten Sie tägliche Einblicke, Neuigkeiten und professionelles Networking. Abonnieren Sie Pro AV noch heute.
2. Welche neuen Märkte oder Plattformen ermöglicht der Codec?
Als Adobe 2007 die H.264-Wiedergabe zu Flash hinzufügte, war H.264 nur etwa 15% effizienter als der VP6-Codec, der vor H.264 der am häufigsten verwendete Flash-Codec war. Warum haben die meisten Verlage trotz dieser geringen Einsparungen schnell und vollständig auf H.264 umgestellt? Denn während VP6 nicht auf iPods, iPhones oder anderen Mobilgeräten abgespielt wurde, war dies bei H.264 der Fall. Mit H.264 in Flash und dem vorherrschenden Codec auf Mobilgeräten könnten Publisher VP6 fallen lassen und mit einem einzigen Codec zwei Märkte erreichen - ein Kinderspiel.
In ähnlicher Weise haben die meisten Verlage HEVC eingesetzt, um 4K- und / oder HDR-Videos (High Dynamic Range) an Smart-TVs, Set-Top-Boxen und OTT-Geräte zu liefern. In ihrem Global Media Format Report 2022-2023, der über ihre Produktion 2022-2023 berichtete, berichtete encoding.com beispielsweise: „Wir erwarten für 2022-2023 einen sehr deutlichen Anstieg des Volumens, der durch UHD-HDR-Inhalte verursacht wird, da sowohl die Premium-HDR-Standards Dolby Vision als auch HDR + zugeordnet sind das HEVC-Videoformat. “ Leider hat encoding.com diesen Bericht für die Ergebnisse von 2022-2023 nicht aktualisiert.
In ähnlicher Weise hat Apple endlich begonnen, entweder VP9 oder AV1 auf seinen 4K-AppleTV-Geräten zu unterstützen, damit die Zuschauer 4K-Videos auf YouTube ansehen können. Dies lässt darauf schließen, wie wichtig Alliance for Open Media-Anbieter wie Facebook, Netflix, YouTube und Amazon für die Einführung von AV1 sein werden.
Unter dem Strich sind Bandbreiteneinsparungen der einzige Vorteil, wenn der Codec keine neuen Märkte ermöglicht. Wie bereits erwähnt, haben nur wenige andere außerhalb der größten Videoverlage festgestellt, dass diese Einsparungen eine ausreichende Motivation für die Bereitstellung neuer Codecs darstellen.
3. Wie ist die Codierungszeit?
Wir haben über die Breakeven-Analyse gesprochen. Ich stelle diese Frage, weil die Codierungszeit direkt zu den Codierungskosten führt und je höher die Kosten sind, desto schwieriger ist es, eine Gewinnschwelle zu erreichen.
Beispielsweise berechnet AWS Elemental MediaConvert 0,024 USD pro Minute für die H.264-Codierung, 0,048 USD pro Minute für die HEVC-Codierung und 0,864 USD pro Minute für die AV1-Codierung. Glücklicherweise sind die AV1-Codierungszeiten in den letzten Monaten erheblich gesunken, und ich bin sicher, dass die Preisgestaltung für Elemental folgen wird. Wenn die Codierungszeiten jedoch so hoch sind wie früher bei AV1s, benötigen Sie Millionen von Ansichten, um die Bandbreiteneinsparungen zu erzielen, die zur Erzielung der Gewinnschwelle erforderlich sind.
4. Kann es in Software auf relevanten Plattformen implementiert werden?
Diese Frage spricht dafür, wie schnell ein Codec auf für Ihren Dienst relevanten Plattformen implementiert werden kann. Als Adobe 2007 H.264 zu Flash hinzufügte, war die Wiedergabe auf allen Computern und Mobilgeräten nahezu universell. Im Gegensatz dazu war bei HEVC Hardware-Unterstützung auf Mobilgeräten für eine batterieeffiziente Wiedergabe erforderlich, und auf den meisten Smart-TVs, Set-Top-Boxen und OTT-Geräten war dedizierte HEVC-Decodierungshardware erforderlich.
Im Laufe der Zeit unterstützten immer mehr Geräte HEVC und jetzt ist es in Produkten der aktuellen Generation nahezu allgegenwärtig, wobei VP9 nur geringfügig dahinter liegt. Neue Codecs, die Hardware für eine effiziente Wiedergabe benötigen, beginnen jedoch bei Null.
Als Faustregel gilt, dass es ungefähr zwei Jahre dauert, bis die ersten Consumer-Geräte mit Hardware-Unterstützung angezeigt werden. Als Beispiel wurde die AV1-Spezifikation Mitte 2022-2023 fertiggestellt und die ersten Smart-TVs mit AV1-Unterstützung wurden Mitte 2022-2023 ausgeliefert. Offensichtlich spielt es keine Rolle, wie effizient ein Codec beim Start ist. Dies wird nur relevant, wenn die Wiedergabe auf einer beträchtlichen Anzahl von Plattformen verfügbar ist, an die Sie liefern.
Was zur nächsten Frage führt.
5. Unterstützt die Alliance for Open Media den Codec?
Während die Hardwareunterstützung zwei Jahre dauert, kann die Wiedergabe in einem Browser oder einem mobilen Betriebssystem bei bescheidenen Wiedergabeanforderungen einige Wochen dauern. Alliance for Open Media-Mitglieder Microsoft, Google, Mozilla und Apple steuern jedoch die meisten Browser und Betriebssysteme sowie die von ihnen unterstützten Formate. Aus diesem Grund wird HEVC sieben Jahre nach seiner Einführung nur in 16,99% aller von www.caniuse.com erfassten Browser und mobilen Betriebssysteme unterstützt (Abbildung 2).
Die vergleichbare Zahl für AV1, die fünf Jahre später eingeführt wurde? 36,56%. Was ist mit VP9, das ungefähr zur gleichen Zeit wie HEVC gestartet wurde? 94,52%.
Wenn eine beträchtliche Anzahl Ihrer Zuschauer auf Browsern und Mobilgeräten zuschaut, macht die Plattformunterstützung einen großen Unterschied in der Wirtschaftlichkeit. Dies gilt insbesondere, weil die Softwareunterstützung so schnell erreicht werden kann.
Derzeit ist es unwahrscheinlich, dass AOM-Mitglieder einen MPEG-Codec unterstützen, egal ob HEVC, VVC, EVC oder LCEVC. Wo einst standardbasierte Codecs wie H.264 und MPEG-2 die Oberhand hatten, sind MPEG-Codecs in traditionellen Computer- und Mobilfunkmärkten jetzt deutlich benachteiligt.
6. Ist der Codec ein MPEG-Standard?
Die Motion Pictures Experts Group (MPEG) hat mehrere Audio- und Video-Codecs erstellt und beworben, mit denen analoges Video in digitales umgewandelt werden konnte. Zu einem bestimmten Zeitpunkt hatten MPEG-Standards wie MPEG-2 und H.264 viel klarere Wege zum Erfolg als proprietäre Codecs wie VP9. Diese Dynamik hat sich heute geändert. Der Standardisierungsprozess bietet zwar Glaubwürdigkeit für bestimmte Technologien, ist jedoch keine Erfolgsgarantie.
Was hat sich geändert? Beinahe alles. Als H.264 2003 auf den Markt kam, war die Sendung König und Streaming war nicht der Schwanz des Hundes, sondern ein Fingernagel. Jetzt ist Streaming eindeutig das A und O. und Unternehmen, die die Codec-Bereitstellung in Browsern und mobilen Betriebssystemen steuern, sowie Content-Unternehmen wie Netflix und YouTube haben einen unglaublichen Einfluss auf die Codec-Bereitstellung.
Wie ich gleich noch näher erläutern werde, gab es mit MPEG-2 und H.264 eine klare und kohärente Lizenzgebührenpolitik, die mit HEVC, das über drei Patentpools verfügt, aus dem Fenster ging. Zwei der Pools haben Zinssätze veröffentlicht, und die jährlichen Obergrenzen steigen von rund 10 Mio. USD für H.264 auf über 60 Mio. USD für HEVC. Der andere Pool veröffentlicht seine Preise nicht und hat mehr als sieben Jahre nach der Veröffentlichung von HEVC noch nicht angegeben, ob Lizenzgebühren für Inhalte erhoben werden.
Angesichts des zweijährigen Entwicklungszyklus für Codec-Bereitstellungen entschieden sich viele Hardware-Unternehmen für die Bereitstellung von H.264 und HEVC, bevor die Lizenzgebührenpolitik klar war. Nach HEVC können große Unternehmen wie Apple und Samsung die Einführung von Technologien verzögern, bis das Bild der Lizenzgebühren klarer ist, was den Einführungszyklus um weitere 24 Monate verlängern könnte.
Aus Sicht des Videocodecs hat sich MPEG schließlich von einem etwa zehnjährigen Zyklus zwischen MPEG-2, H.264 und HEVC zu einem siebenjährigen Zyklus für drei weitere Videocodecs zusammengeschlossen, die 2022-2023 fertiggestellt werden sollen Der Codec bietet eine Reihe unterschiedlicher Funktionen, Leistungen und anderer Merkmale, und es ist unwahrscheinlich, dass alle die gleiche kommerzielle Akzeptanz erzielen.
7. Was ist das Technologieeigentums- und Monetarisierungsmodell?
Die meisten Codecs sind das Ergebnis einer Zusammenarbeit zwischen mehreren Parteien. Bei einigen Codecs führt dies zu einem oder mehreren Patentpools, damit Unternehmen die Kosten ihrer F & E-Investitionen amortisieren können. Im Gegensatz dazu wurde VP9 exklusiv von Google entwickelt, während AV1 von der Alliance for Open Media-Unternehmen entwickelt wurde, die alle ihre Patente lizenzgebührenfrei an AOM weitergaben.
Nur weil ein Unternehmen oder eine Organisation behauptet, alle Rechte an einer Technologie zu besitzen, ist dies nicht der Fall. Obwohl Google behauptet, VP9 sei Open Source, ebenso wie die Alliance for Open Media für AV1, hat der Patentpooladministrator Sisvel Patentpools für VP9 und AV1 eingeführt und erklärt, dass diese Codecs Erfindungen verwenden, die von Patentinhabern in ihren Pools abgedeckt werden (beachten Sie, dass Der Autor konsultiert Sisvel bezüglich dieser Pools.
Natürlich sind sowohl H.264 als auch HEVC sowohl für Encoder als auch für Decoder und einige Inhaltstypen lizenzpflichtig, sodass die bloße Existenz einer Lizenzgebühr keine Technologie zum Scheitern verurteilt. Potenzielle Lizenzgeber kümmern sich vielmehr um den Zusammenhalt dieser Gruppe, die Klarheit ihrer Lizenzbedingungen und wie schnell sie verfügbar sind.
8. Wie festgelegt ist die Lizenzgebührenstruktur?
Im Jahr 2017 erstellte Jonathan Samuelsson, CEO des Codec-Entwicklers Divideon, die in Abbildung 3 gezeigte Grafik, die zum Aushängeschild für die Funktionsstörung wurde, die von Inhabern von HEVC-bezogenen Patenten dargestellt wird. Sie sehen die drei Pools und mehrere zusätzliche Unternehmen, von denen einige sehr bedeutsam sind, in keinem Pool. Beachten Sie, dass dies die Originalgrafik von Samuelsson ist. Das Eigentümerbild hat sich seitdem etwas verändert.
Wenn Sie ein potenzieller Lizenzgeber sind, bevorzugen Sie natürlich einen einzigen Pool, der alle bekannten Technologieanbieter enthält, was bei EVC und LCEVC tatsächlich der Fall sein kann. Die meisten wichtigen Standards haben jedoch mehr als einen Pool. Was die Lizenzgeber wollen, ist eine zeitnahe und bekannte Struktur für alle wichtigen Mitwirkenden. Obwohl der VVC-Standard im Juli 2022-2023 fertiggestellt wurde, ist es bezeichnenderweise unwahrscheinlich, dass die Lizenzbedingungen bis Mitte 2022-2023 bekannt sein werden. Wenn sie ungefähr so aussehen wie in Abbildung 3, schafft es VVC möglicherweise nie vom Boden auf.
9. Gibt es eine Lizenzgebühr für Inhalte?
Wenn Sie ein Streaming-Publisher sind, bestimmen die Fragen 4 bis 8, wie schnell ein Codec von Hardware- und Softwareentwicklern übernommen werden kann. Dadurch wird gesteuert, wie schnell Sie den Codec verwenden können, um ihn Ihren Zuschauern zu liefern. Diese Frage bestimmt, wie viel es Sie als Streaming-Publisher kostet, Inhalte mit diesem Codec bereitzustellen.
Auch hier sind Lizenzgebühren für Inhalte keine Seltenheit und machen einen Codec nicht zum Scheitern verurteilt. Sowohl HEVC als auch H.264 haben einige Lizenzgebühren für Inhalte. Offensichtlich müssen diese Kosten jedoch in das Breakeven-Modell eingefügt werden, um festzustellen, wann und ob die Bereitstellung des neuen Codecs wirtschaftlich sinnvoll ist.
Vorwärts und rückwärts schauen
Rückblickend ist leicht zu erkennen, warum H.264 so erfolgreich war (ist): Es bot bescheidene Bandbreiteneinsparungen, spielte aber dank Flash sofort auf Computern und bot den Eintritt in einen neuen Markt (mobil). Die Lizenzierung wurde von einem einzigen Patentpool gesteuert, der einen Großteil der damit verbundenen Patente besaß. Obwohl für die H.264-Wiedergabe auf Mobilgeräten eine Hardwarewiedergabe erforderlich war, war die Hardwareunterstützung zunächst nahezu universell und wurde bald allgegenwärtig.
Im Gegensatz dazu debütierte HEVC mit einer sehr unzusammenhängenden Lizenzstruktur, die die Einführung von Technologien behinderte. Obwohl die HEVC-Unterstützung auf Mobilgeräten, Smart-TVs und den neuesten Generationen von OTT-Geräten nahezu universell ist, verringert die mangelnde Browserunterstützung die Gesamtrendite, während die mangelnde Klarheit über die Lizenzgebühren für Inhalte für viele Verlage ein großes Problem darstellt. Infolgedessen wurde HEVC hauptsächlich von Verlagen implementiert, die 4K- und HDR-Videos an das Wohnzimmer verteilen.