NVIDIA kini memperluas teknologi GPU Frame Interpolation ke dunia pemrosesan video melalui FFmpeg. Dukungan tersebut telah terintegrasi ke FFmpeg menggunakan Vulkan API, memungkinkan GPU GeForce RTX menghasilkan frame tambahan secara hardware tanpa harus melakukan rendering ulang video melalui pipeline grafis tradisional.
FFmpeg sendiri merupakan salah satu software multimedia paling banyak digunakan di dunia dan menjadi fondasi berbagai platform, layanan, serta aplikasi pemrosesan video, termasuk layanan streaming dan platform seperti YouTube.
Dengan integrasi baru ini, pengguna GPU GeForce RTX dapat memanfaatkan Optical Flow Accelerator (NVOFA) untuk meningkatkan frame rate video secara otomatis.
Menggunakan Optical Flow Accelerator NVIDIA
Teknologi yang digunakan NVIDIA disebut Engine-assisted Frame-rate Up Conversion (FRUC).
Berbeda dari sekadar metode frame smoothing konvensional, FRUC memanfaatkan hardware khusus pada GPU NVIDIA untuk menganalisis pergerakan objek di antara dua frame video yang berurutan.
Prosesnya melibatkan beberapa komponen hardware:
- NVENC menyediakan informasi frame dari proses encoding.
- Optical Flow Accelerator menganalisis pergerakan antara frame yang berurutan.
- Hardware tersebut menghasilkan motion vectors yang menggambarkan arah dan pergerakan objek.
- FFmpeg menggunakan informasi tersebut untuk membuat frame baru di antara dua frame asli.
Dengan cara tersebut, FFmpeg dapat meningkatkan frame rate video tanpa perlu melakukan rendering ulang seluruh konten.
Video 30 FPS Bisa Menjadi 60 FPS
Salah satu manfaat paling mudah dilihat adalah kemampuan menggandakan frame rate video.
Video dengan sumber 30 FPS dapat dikonversi menjadi 60 FPS, sementara video sinematik dengan frame rate 24 FPS dapat ditingkatkan menjadi 48 FPS.
Frame tambahan tersebut bukan berasal dari sumber video asli, melainkan dihasilkan berdasarkan prediksi pergerakan objek menggunakan informasi motion vector dari Optical Flow Accelerator.
Hasil akhirnya adalah gerakan yang terlihat lebih halus dibandingkan video sumber.
| Frame Rate Asli | Frame Rate Setelah Interpolasi |
|---|---|
| 24 FPS | 48 FPS |
| 30 FPS | 60 FPS |
Teknologi ini dapat berguna untuk berbagai skenario, termasuk meningkatkan kelancaran playback video atau melakukan pemrosesan ulang konten dengan frame rate yang lebih tinggi.
Lebih Ringan Dibandingkan Interpolasi Berbasis CPU
Sebelumnya, frame interpolation dapat dilakukan sepenuhnya menggunakan software. Namun, pendekatan tersebut dapat memberikan beban komputasi yang cukup besar pada CPU.
Implementasi baru di FFmpeg memanfaatkan hardware khusus NVIDIA secara langsung. Optical Flow Accelerator menangani perhitungan pergerakan antar-frame, sehingga pekerjaan tersebut tidak sepenuhnya dibebankan kepada CPU.
Hal ini membuat proses interpolasi lebih efisien untuk sistem yang memiliki GPU NVIDIA RTX kompatibel.
Yang menarik, implementasi terbaru menggunakan Vulkan API. Pendekatan tersebut memungkinkan FFmpeg mengakses hardware NVIDIA tanpa ketergantungan pada software proprietary yang menjadi salah satu kendala pada patch sebelumnya.
Sebelumnya Pernah Diajukan pada 2023
Dukungan frame interpolation NVIDIA sebenarnya bukan konsep baru untuk FFmpeg.
Patch terkait sudah pernah diajukan pada 2023, tetapi implementasi tersebut tidak berhasil masuk ke proyek utama karena memiliki ketergantungan terhadap software proprietary.
Implementasi berbasis Vulkan yang kini diterima ke FFmpeg mengatasi hambatan tersebut dengan menyediakan jalur akses langsung ke hardware yang diperlukan melalui API yang lebih sesuai dengan kebutuhan proyek open-source.
Dengan demikian, fitur tersebut kini dapat menjadi bagian dari FFmpeg secara lebih resmi dan terintegrasi.
RTX 30 Series dan Lebih Baru
Meskipun Optical Flow Accelerator pertama kali diperkenalkan NVIDIA pada arsitektur Turing yang digunakan GeForce RTX 20 Series, implementasi Vulkan yang baru ini secara resmi mendukung GPU mulai dari GeForce RTX 30 Series.
Artinya, GPU yang kompatibel mencakup:
- GeForce RTX 30 Series — Ampere
- GeForce RTX 40 Series — Ada Lovelace
- GeForce RTX 50 Series — Blackwell
Pemilik RTX 20 Series tidak termasuk dalam daftar dukungan resmi implementasi baru tersebut meskipun generasi Turing sudah memiliki Optical Flow Accelerator.
Frame Generation Kini Tidak Hanya untuk Gaming
Masuknya teknologi interpolasi NVIDIA ke FFmpeg menunjukkan bahwa konsep frame generation tidak lagi terbatas pada game.
Dalam game, teknologi frame generation digunakan untuk membuat frame tambahan di antara frame hasil rendering GPU. Pada pemrosesan video, konsep yang serupa digunakan untuk membuat frame baru berdasarkan pergerakan objek dari frame video yang sudah tersedia.
Perbedaannya adalah FFmpeg dapat melakukan proses tersebut pada video yang sudah direkam, sehingga pengguna tidak perlu merender ulang konten asli untuk mendapatkan frame rate yang lebih tinggi.
Dengan dukungan Vulkan ini, pengguna cukup menjalankan FFmpeg pada sistem dengan GPU GeForce RTX yang kompatibel untuk memanfaatkan akselerasi tersebut.
Sumber: NVIDIA, FFmpeg, Phoronix
