Adobe breidt Firefly uit naar AI-video – Dit kun je verwachten

Adobe heeft aangekondigd dat het zijn Firefly AI-technologie uitbreidt naar videoproductie met het Firefly Video Model. Dit model zal worden geïntegreerd in Adobe Premiere Pro en Adobe's generatieve kunstservice Firefly. In tegenstelling tot de AI-gegenereerde afbeeldingen van Firefly, zal deze videofunctie niet gratis beschikbaar zijn.

AI-video en authenticiteit

AI-gegenereerde video is niet nieuw. OpenAI introduceerde in december 2023 Sora, waarmee korte videoclips op basis van tekstprompts konden worden gemaakt. Adobe richt zich echter op authenticiteit en betrouwbaarheid. Net als bij de AI-afbeeldingen in Firefly en Photoshop is het Firefly Video Model getraind op gelicentieerde clips, wat het onderscheidt van sommige andere AI-videogeneratoren.

Voorlopig positioneert Adobe zijn AI-video's voornamelijk als b-roll-materiaal, bedoeld als achtergrondvideo’s of overgangen tussen scènes. Tijdens een demonstratie toonde Adobe bijvoorbeeld een door AI gegenereerde clip van gloeiend hete vonken als achtergrond voor een titelscherm. Daarnaast liet het bedrijf een volledig door AI gecreëerde "dronevlucht" over een uitbarstende vulkaan zien. Dit roept de vraag op in hoeverre kijkers nog vertrouwen kunnen hebben in de authenticiteit van wat ze zien.

Functionaliteiten in Premiere Pro

Firefly Video-modellen kunnen video's genereren en direct downloaden. Net als bij Photoshop kunnen gebruikers binnen Premiere Pro AI-content creëren en moeiteloos in hun workflow opnemen. Naast video-generatie biedt Adobe ook geavanceerde bewerkingsopties. Gebruikers kunnen onder andere:

• Filters toepassen
• Camerapaden creëren voor dynamische bewegingsopnamen
• Kleurcorrecties uitvoeren voor consistentie binnen een project
• Overgangen soepeler maken door eerste en laatste frames te vergrendelen

Prijzen en abonnementsmodellen

Om Firefly Video te gebruiken, moeten gebruikers een betaald abonnement nemen. Adobe biedt op dit moment twee opties:

• Firefly Standard ($9,99 per maand): 2.000 videocredits, goed voor maximaal 20 video's van 5 seconden in 1080p.
• Firefly Pro: 7.000 video- en audiocredits per maand, waarmee gebruikers tot 70 AI-video's van 5 seconden kunnen genereren.
• Firefly Premium: Een abonnement voor frequente gebruikers is in ontwikkeling, maar prijzen zijn nog niet bekend.

Adobe maakt gebruik van een creditsysteem om AI-content te genereren. Een hergeneratie van een video, bijvoorbeeld een wijziging in het camerastandpunt, kost nieuwe credits. Kleine bewerkingen zoals kleurcorrecties lijken echter geen extra credits te verbruiken.

Geen AI-audio, wel AI-vertalingen

Adobe zal geen AI-audio genereren, maar biedt wel de mogelijkheid om vooraf opgenomen audio automatisch te vertalen naar 20 talen. Dit gebeurt met behoud van stem, toon, cadans en akoestiek, waardoor de vertalingen natuurlijk blijven klinken.

Concurrentie en de toekomst van AI-video

Adobe is niet de enige speler in de markt van AI-gegenereerde video. Diensten zoals Sora (OpenAI), Pika Labs en Runway bieden vergelijkbare mogelijkheden. Platforms als Invideo.ai combineren AI-videoclips met gegenereerde scripts en stockmateriaal.

Lokaal AI-video genereren is momenteel nog lastig vanwege de hoge hardware-eisen. Bijvoorbeeld, het AI-model Mochi heeft maar liefst 60 GB VRAM nodig om 480p-video's te maken, wat zelfs krachtigere grafische kaarten overtreft. De meeste gebruikers zullen voorlopig dus afhankelijk blijven van cloudgebaseerde oplossingen zoals Firefly.

Op de lange termijn is het grootste voordeel van Firefly de integratie met Adobe's bestaande software. Net zoals Firefly-afbeeldingen naadloos werken binnen Photoshop, zal Firefly Video waarschijnlijk een belangrijke rol spelen in Premiere Pro. Dit gebruiksgemak kan een doorslaggevend argument zijn voor videomakers die AI-tools in hun workflow willen opnemen.

Door: Drifter