Ein Text-zu-Video-Generator ist eine Form generativer KI, die eine Beschreibung in natürlicher Sprache als Eingabe nutzt, um ein Video zu erzeugen, das dem Eingabetext entspricht. Die Fortschritte in den 2020er Jahren bei der Erzeugung hochwertiger, textbasierter Videos sind größtenteils auf die Entwicklung von Video-Diffusionsmodellen zurückzuführen.
Es gibt verschiedene Architekturen, die zur Erstellung von Text-zu-Video-Modellen verwendet wurden. Ähnlich wie Text-zu-Bild-Modelle können diese Modelle mithilfe rekurrenter neuronaler Netze (RNNs) trainiert werden, beispielsweise mit Long-Short-Term-Memory-Netzwerken (LSTM), die für Pixel-Transformationsmodelle und stochastische Videogenerierungsmodelle verwendet wurden, welche jeweils zur Konsistenz bzw. zum Realismus beitragen. Eine Alternative dazu sind Transformer-Modelle. Generative Adversarial Networks (GANs), Variational Autoencoder (VAEs) – die bei der Vorhersage menschlicher Bewegungen helfen können – sowie Diffusionsmodelle wurden ebenfalls zur Entwicklung der Bildgenerierungsaspekte des Modells eingesetzt.
Zu den Text-Video-Datensätzen, die zum Trainieren von Modellen verwendet werden, gehören unter anderem WebVid-10M, HDVILA-100M, CCV, ActivityNet und Panda-70M. Diese Datensätze enthalten Millionen von relevanten Originalvideos, generierten Videos, Videos mit Untertiteln sowie Textinformationen, die dazu beitragen, Modelle auf Genauigkeit zu trainieren. Zu den Text-Video-Datensätzen, die zum Trainieren von Modellen verwendet werden, gehören unter anderem PromptSource, DiffusionDB und VidProM. Diese Datensätze bieten die Bandbreite an Texteingaben, die erforderlich ist, um Modellen beizubringen, wie sie eine Vielzahl von Textanweisungen interpretieren können.
Bei der Videogenerierung werden die Texteingaben mit den Einzelbildern des Videos synchronisiert, um die Ausrichtung und Konsistenz über die gesamte Sequenz hinweg sicherzustellen. Dieser prädiktive Prozess unterliegt aufgrund begrenzter Ressourcen einem Qualitätsverlust, je länger das Video wird. Der „Will-Smith-Spaghetti-Test“ dient als Benchmark für Modelle.
Trotz der rasanten Leistungssteigerung bei Text-zu-Video-Modellen besteht eine wesentliche Einschränkung darin, dass sie sehr rechenintensiv sind, was ihre Fähigkeit einschränkt, qualitativ hochwertige und umfangreiche Ergebnisse zu liefern. Zudem benötigen diese Modelle eine große Menge spezifischer Trainingsdaten, um qualitativ hochwertige und kohärente Ergebnisse generieren zu können, was das Problem der Zugänglichkeit mit sich bringt.
Zudem können Modelle textuelle Eingaben falsch interpretieren, was zu Videoausgaben führt, die von der beabsichtigten Bedeutung abweichen. Dies kann auf Einschränkungen bei der Erfassung des im Text eingebetteten semantischen Kontexts zurückzuführen sein, was die Fähigkeit des Modells beeinträchtigt, das generierte Video an die vom Nutzer beabsichtigte Botschaft anzupassen. Verschiedene Modelle, darunter Make-A-Video, Imagen Video, Phenaki, CogVideo, GODIVA und NUWA, werden derzeit getestet und weiterentwickelt, um ihre Anpassungsfähigkeiten und ihre Gesamtleistung bei der Text-zu-Video-Generierung zu verbessern.
Ein weiteres Problem bei den Ergebnissen besteht darin, dass Text oder feine Details in KI-generierten Videos oft verzerrt erscheinen – ein Problem, mit dem auch Stable-Diffusion-Modelle zu kämpfen haben. Beispiele hierfür sind verzerrte Hände und unlesbarer Text.
Eine qualitative Studie aus dem Jahr 2026 über die Produktion von KI-generierten viralen Kurzvideos in China beschrieb, wie Creator chinesische Tools zur Videogenerierung wie Jimeng und Kling nutzten und Inhalte plattformübergreifend auf Plattformen wie Douyin, Kuaishou, WeChat Channels, TikTok und Instagram verbreiteten. Die Studie berichtete, dass einige Creator bereits virale Videos als Maßstab heranzogen und Variationen testeten, um wiederholbare Formate zu entwickeln, mit denen sie ihr Publikum erreichen konnten.
Eine qualitative Interviewstudie mit Nutzern der Generation Z in Vietnam ergab, dass der visuelle Stil, der Tonfall, die Erzählweise und die Offenlegung der KI-Urheberschaft die Einschätzung der Teilnehmer hinsichtlich der Authentizität und ihres Vertrauens in KI-generierte Kurzvideos in sozialen Medien beeinflussten.
Während des russisch-ukrainischen Krieges wurden im Rahmen einer Propagandakampagne gegen die Ukraine mit künstlicher Intelligenz gefälschte Videos erstellt und in den sozialen Medien verbreitet. Dazu gehörten unter anderem Darstellungen von Kindern in ukrainischer Militäruniform, Videos, die fälschlicherweise dem ukrainischen Fernsehen zugeschrieben wurden und in denen Kinder dazu aufgefordert wurden, Geschwister zu melden, die russische Musik hören, sowie erfundene Aussagen des ukrainischen Präsidenten Wolodymyr Selenskyj über die Kapitulation des Landes.