FFmpeg Tambal Celah Keamanan PixelSmash pada Video Decoder Populer

Sebuah celah keamanan baru yang ditemukan pada framework multimedia FFmpeg, dijuluki PixelSmash, mengancam ratusan aplikasi yang bergantung pada pustaka pemrosesan video tersebut. Kerentanan ini berpotensi dimanfaatkan oleh penyerang untuk mengeksekusi kode jarak jauh (Remote Code Execution/RCE) pada server media seperti Jellyfin, serta memicu kondisi kelumpuhan sistem (Denial of Service/DoS) pada platform populer lain seperti Kodi, Emby, Nextcloud, PhotoPrism, hingga OBS Studio.

Celah keamanan yang diidentifikasi sebagai CVE-2026-8461 ini mendapatkan skor keparahan tinggi sebesar 8.8. Kerentanan ini masuk dalam kategori heap out-of-bounds write yang tertanam pada dekoder MagicYUV. Penyerang dapat memicu eksploitasi ini cukup dengan menggunakan file video manipulatif berformat AVI, MKV, atau MOV. Seluruh aplikasi yang mengintegrasikan libavcodec, pustaka inti FFmpeg untuk proses dekode dan enkode video, dinyatakan terdampak oleh risiko keamanan ini.

Akar Masalah dan Mekanisme Serangan

Berdasarkan investigasi dari tim periset keamanan rantai pasok perangkat lunak JFrog, PixelSmash berakar dari cara dekoder MagicYUV memproses komponen slices—yaitu wilayah independen pada bingkai video (video frame) yang dapat didekode secara terpisah dari sisa gambar lainnya. Kerentanan ini merupakan one-row heap buffer overflow pada penanganan slice dekoder MagicYUV. Masalah tersebut dipicu oleh ketidaksesuaian kalkulasi tinggi chroma plane antara komponen frame allocator dan bagian dekoder.

Eksploitasi PixelSmash dapat aktif secara otomatis dalam beberapa skenario operasional normal, seperti saat pengguna membuka file video AVI, MKV, atau MOV yang telah dimodifikasi, memicu pembuatan gambar mini (thumbnail) saat menjelajahi direktori penyimpanan, atau ketika sistem menjalankan alur kerja penyerapan media otomatis (automated media ingestion).

Dalam simulasi serangan yang dilakukan terhadap server media Jellyfin versi 10.11.9, periset berhasil mendemonstrasikan eksekusi kode penuh tanpa interaksi pengguna. Skenario ini memanfaatkan fitur pemantauan sistem file real-time milik Jellyfin:

• Penyerang menyebarkan file video MagicYUV AVI berbahaya melalui jaringan unduhan (seperti torrent) yang diarahkan langsung ke pustaka media Jellyfin.
• Sistem Jellyfin mendeteksi file baru dan secara otomatis memicu utilitas ffprobe untuk mengekstrak metadata video.
• Proses pemindaian tersebut memicu out-of-bounds write, membajak instruksi fungsi AVBuffer.free menuju fungsi system(), dan mengeksekusi perintah sewenang-wenang dengan hak akses pengguna layanan Jellyfin.

Meskipun potensi dampak RCE terbukti nyata, keberhasilan eksploitasi ini membutuhkan prasyarat khusus di mana pertahanan memori Address Space Layout Randomization (ASLR) dinonaktifkan. Namun, penyerang secara teoritis tetap dapat menembus proteksi tersebut dengan merangkai celah CVE-2026-8461 bersama dengan bug kebocoran informasi (information-disclosure) terpisah yang ada pada dekoder FlashSV milik FFmpeg. Jika proteksi memori gagal ditembus untuk skenario RCE, celah keamanan ini masih sangat memadai untuk melumpuhkan target melalui serangan DoS yang stabil.

Dampak Rantai Pasok dan Langkah Mitigasi

Investigasi lebih lanjut menunjukkan bahwa PixelSmash memiliki cakupan serangan (attack surface) yang sangat masif karena dekoder MagicYUV aktif di ratusan proyek perangkat lunak. Aplikasi komunikasi populer seperti Slack, Discord, Telegram, dan WhatsApp juga memiliki potensi kerentanan serupa mengingat platform tersebut menggunakan FFmpeg untuk memproses pratinjau video di sisi server, meski pengujian langsung belum dilakukan pada layanan-layanan tersebut.

Sebaliknya, platform server media Plex dilaporkan aman dari ancaman ini. Plex menggunakan kompilasi FFmpeg kustom yang secara ketat menonaktifkan dekoder yang tidak diperlukan dan menerapkan allowlist minimal, sehingga risiko serangan PixelSmash berhasil diredam sejak awal.

Sebagai langkah penanganan, tim pengembang FFmpeg telah resmi merilis pembaruan keamanan dalam versi 8.1.2 untuk menutup celah tersebut. Menyusul langkah tersebut, Jellyfin telah memperbarui paket bundel FFmpeg internal mereka, sementara PhotoPrism tengah menyiapkan mekanisme pemblokiran format file tertentu (file format blocklist) guna mencegah potensi eksploitasi. Di sisi lain, tim Nextcloud yang menerima laporan ini melalui program HackerOne memilih untuk tidak merilis perbaikan khusus karena kelemahan keamanan tersebut berada di luar basis kode orisinal Nextcloud.