Framerate verdoppeln

[Kaumzuglauben]

Ich habe bei einem ausführlichen Vergleich mit Topaz Video AI keine wesentlichen Vorteile gegenüber Speed Warp gefunden 

Ich auch nicht, allerdings habe ich Topaz nur einen Tag lang getestet und habe aufgrund der Performance natürlich nur an der Oberfläche gekratzt. Wenn aber schon die ersten drei, vier Versuche keine augenscheinlichen Verbesserungen bringen, hat das für mich keinen Sinn gemacht. 

Stattdessen  bin ich aktuell dabei, Speed Warp näher zu testen. Bis jetzt kann ich generell sagen, dass es bei einer Verdopplung/Halbierung recht gute Ergebnisse liefert, solange die Bewegungen im Bild nicht zu stark sind. Bei einem Clip mit 100 FPS auf einer 25 FPS Timeline ist  "nativ" eine 4-fach Zeitlupe möglich (auch ohne Spped Warp). (Diese Erkenntnis ist natürlich nicht neu). Und 8-fach funktioniert mit Speed Warp auch noch sehr ansehnlich. Darüber hinaus wird es schlechter, aber zum Teil nicht völlig unbrauchbar.

Etwas anders sieht es aus, wenn das Originial z.B. schon nur 25 FPS hat. Auf einer 25 FPS Timeline sieht dabei eine 2-fach Zeitlupe mit Speed Warp so gerade noch gut aus, wenn, wie gesagt, die Bewegungen nicht zu schnell werden. Bei einer 4-fach Zeitlupe zerfällt, bzw. verformt sich das Bild dagegen bis ins Lächerliche. 

Heute Abend teste ich noch Frameverdopplung, was ja hier das eigentliche Thema ist. (Aber halt "artverwandt" zur Zeitlupe).

[Johann]

Es gibt ein Programm das sich Flowframes nennt, AIbasiert arbeitet und sowohl mit AMD (NCNN/Vulkan)
und Nvidia (cudabasiert) Grafikkarten zusammenarbeitet.
Ich hatte es mal ausprobiert um einen schnellen Schwenk mit 30f/s der ruckelte auf 60f/s zu pushen und das Ergebnis war aus meiner Sicht ganz ordentlich.
Durch die Unterstützung mit einer Grafikkarte ist die Arbeit ziemlich zügig.
Das Programm ist free bis zur Version 1.36. 1.37-1.40 ist nicht kostenlos aber ab 5$ schon zu haben. Vorher aber erst mit der V1.36 mal ausprobieren.

https://nmkd.itch.io/flowframes

In dem Zusammenhang: ich bin nicht in irgendeiner vorteilhaften Weise für mich mit dem Programm liiert.

LG Johann

[Kaumzuglauben]

Hallo zusammen,

nachdem ich jetzt mal etwas intensiver mit Optical Flow und Speed Warp im Kontext mit Zeitlupen und Frameverdopplung experimentiert habe, muss ich meine Meinung ein wenig revidieren. Es funktioniert ziemlich gut und bringt ne ganze Menge.

Beispiel Zeitlupe:
100 FPS Clip auf 25 FPS Timeline: 4-fach Zeitlupe geht logischerweise ganz normal (auch ohne Speedwarp), 8-fach Zeitlupe sieht mit Speed Warp erstaunlich gut aus und selbst 16-fach Zeitlupe geht mit Einschränkungen noch.

25 FPS Clip auf 25 FPS Timeline: 2-fach Zeitlupe ist noch ansehnlich, allerdings nicht perfekt, 4-fach Zeitlupe bringt schon deutlich sichtbare Bildfehler und 8-fach Zeitlupe ist indiskutabel, was aber auch nicht wirklich überrascht, da ja nur 25 Frames vorhanden sind.

Fazit Zeitlupe: je höher die Ursprungsframerate, desto besser, bei 25 FPS ist eigentlich nur 50% Zeitlupe sinnvoll, bei 100 FPS gehen durchaus 25%. Es hängt aber auch stark davon ab, wieviel Bewegung im Bild ist und wie der Hintergrund aussieht.

https://youtu.be/wBypgGoVNU4

Beispiel Frameverdopplung:
25 FPS Clip auf 50 FPS Timeline. Da hier der direkte Vergleich nicht möglich ist (ich kann ja die Framerate nicht innerhalb einer Timeline ändern) habe ich zwei Clips hochgeladen. Dafür habe ich einen Schwenk genommen, damit man auch was sieht. Ich weiß nicht, ob es über Youtube noch gut rüber kommt, aber hier am heimischen Bildschirm ist der Unterschied deutlich sichtbar. Der Schwenk ist bei 50 FPS naturgemäß deutlich sanfter und die Zwischenbildberechnung mit Speed Warp hat sehr gut funktioniert.

https://youtu.be/eC8Ef9bL7aM

https://youtu.be/AxvQaa3m7sA

[nomade]

Danke für all die Tests. Das deckt sich weitgehend mit meinen Erfahrungen. Letztlich hängt es immer stark vom Inhalt ab.

Ein Beispiel: Ich habe hier Drohnenaufnahmen, die verlangsamt werden sollten, ein Flug über Reisfelder.
Wenn die Drohne senkrecht aufsteigt, geht es wunderbar. Das hat sicher auch mit der fehlenden Bewegungsunschärfe zu tun (es war kein ND drauf).
Wenn sie quer fliegt, klappt es überhaupt nicht, weil so ein Reisfeld repetitive Muster enthält und der Algorithmus dann keine Vektoren ermitteln kann.

[Kaumzuglauben]

Das sind exakt auch meine Erfahrungen. Ein ruhiger, idealerweise komplett einfarbiger Hintergrund hilft sehr. Bei meinem Beispiel ist teilweise fließendes Wasser hinter/unter dem Objekt (Hund) - da wird es echt schwierig.

Hervorragend funktioniert es bei Material, was schon von vornherein mit mindestens 50 oder 60 FPS aufgenommen wurde, keine zu schnellen Bewegungen enthält und einen ruhigen, gleichmäßigen Hintergrund hat. Dann geht eine 25%ige Verlangsamung schon sehr gut.

Überrascht hat mich aber tatsächlich auch die Frameverdopplung bei Normalgeschwindigkeit (was ja eigentlich hier das Thema ist). Da muss ich unbedingt nochmal wieder forschen ...