NewsSecurity

Peneliti Ambil Alih Akun Model AI Kokoro di Hugging Face

Peneliti keamanan yang dipimpin Alon Hertz melaporkan bahwa mereka berhasil mengambil alih akun penerbit model AI Kokoro di Hugging Face. Dalam pengujian terpisah di lingkungan lokal, mereka menunjukkan bahwa perubahan bobot model bisa membuat Kokoro mengucapkan kalimat yang berbeda dari teks masukan. Bobot hasil eksperimen tidak diunggah ke Hugging Face.

Kokoro adalah model berbobot terbuka untuk mengubah teks menjadi suara. Model ini mendukung beberapa bahasa dan memiliki lebih dari 50 pilihan suara. Dokumentasi dan perangkat pengembang dari sejumlah perusahaan, termasuk Google, NVIDIA, Intel, AMD, dan Amazon Web Services, menampilkan atau mendukung penggunaannya. Integrasi tersebut menunjukkan bagaimana satu model bisa menjadi bagian dari banyak aplikasi.

Akun penerbit model AI Kokoro tetap penting setelah proyek jarang diperbarui

Menurut Hertz, pengambilalihan terkait dengan akses ke identitas yang dipakai untuk pemulihan akun. Peneliti menyoroti perlunya memastikan akun penerbit tetap berada di bawah kendali pemilik yang sah, termasuk ketika proyek sudah lama tidak menerbitkan versi baru.

Pembaruan terakhir Kokoro tercatat pada April 2025, tetapi modelnya masih digunakan. Akun penerbit yang jarang aktif tetap bernilai karena pengguna dan sistem otomatis dapat mengandalkannya sebagai sumber rilis resmi.

Perubahan bobot dapat mengubah ucapan tanpa mengubah aplikasi

Dalam uji lokal, peneliti mempertahankan teks masukan, profil suara, konfigurasi, dan kode aplikasi. Perubahan dilakukan pada bobot, yaitu parameter numerik yang menentukan perilaku model. Keluaran audionya kemudian berbeda dari teks yang diberikan.

Temuan tersebut menunjukkan keterbatasan pemeriksaan yang hanya mencari kode berbahaya. Perilaku model dapat berubah walaupun kode aplikasi tetap sama. Pada aplikasi suara, pengujian keluaran penting karena pengguna mendengar hasil yang dihasilkan model dan mungkin tidak melihat teks sumber.

Distribusi model menjadi bagian dari risiko rantai pasok

Aplikasi yang otomatis mengambil revisi terbaru dapat menerima perubahan sebelum pengelolanya sempat menguji keluaran. Pengelola sistem dapat mengunci versi model yang digunakan di produksi, mencatat asal dan checksum artefaknya, serta memeriksa keluaran terhadap sampel yang sudah diketahui sebelum menyetujui pembaruan.

Hertz mengatakan telah melaporkan temuannya kepada Hugging Face. Saat laporan awal diberitakan, tanggapan platform belum tersedia. Demonstrasi lokal tersebut menunjukkan risiko terhadap penerbitan model. Peneliti tidak melaporkan distribusi bobot hasil uji kepada pengguna Kokoro.

Sumber: Alon Hertz – One Click From 180 Million Downloads

Leave a Reply

Your email address will not be published. Required fields are marked *


Back to top button