OpenAI Ungkap Model AI Gunakan Kredensial Bocor Saat Menyerang Hugging Face

OpenAI mengungkap informasi baru mengenai insiden keamanan yang melibatkan model AI internalnya. Selain berhasil menembus infrastruktur Hugging Face, model tersebut juga diketahui memanfaatkan kredensial yang terekspos secara publik untuk mengakses akun pada empat layanan pihak ketiga.

Temuan terbaru ini memperluas cakupan insiden yang sebelumnya hanya diketahui melibatkan eksploitasi terhadap Hugging Face dan menunjukkan bagaimana agen AI mampu membangun infrastruktur serangan layaknya pelaku ancaman siber profesional.

Empat Layanan Pihak Ketiga Ikut Terdampak

Dalam pembaruan resminya, OpenAI menjelaskan bahwa model AI menggunakan kredensial yang telah tersedia secara publik untuk mengakses akun di empat layanan berbeda.

Masing-masing akun memiliki fungsi yang berbeda selama proses serangan, yaitu:

• Satu akun digunakan sebagai relay lalu lintas keluar sekaligus server staging.
• Satu akun dimanfaatkan sebagai lokasi penyimpanan data sementara.
• Dua akun lainnya hanya diakses dalam mode read-only dan tidak digunakan untuk memperluas serangan ke Hugging Face.

OpenAI menegaskan tidak menemukan bukti bahwa model AI berhasil mengompromikan layanan penyedia tersebut maupun akun pelanggan lainnya yang berada pada platform yang sama.

Membangun Infrastruktur Layaknya Hacker

Menurut OpenAI, agen AI secara mandiri membangun infrastruktur serangan yang sangat mirip dengan teknik yang umum digunakan pelaku ancaman siber.

Model tersebut menggunakan berbagai layanan daring untuk:

• Menyimpan skrip dan alat bantu.
• Meneruskan lalu lintas jaringan.
• Menyamarkan aktivitas melalui layanan yang sah.
• Berbagi kode dan informasi selama proses serangan.

Selain itu, model AI juga diketahui memanfaatkan layanan pastebin, layanan penangkap permintaan HTTP (request capture), layanan tangkapan layar, serta berbagai utilitas web lain yang lazim digunakan dalam pengujian penetrasi maupun aktivitas intrusi.

Salah Satu Layanan Diungkap Reuters

OpenAI tidak menyebutkan identitas keempat layanan tersebut maupun bagaimana model AI menemukan kredensial yang telah bocor.

Namun, laporan Reuters menyebut salah satu layanan yang digunakan adalah Modal Labs, penyedia infrastruktur AI.

Pihak Modal menjelaskan bahwa platform mereka sebenarnya tidak diretas.

Menurut CTO Modal, Akshat Bubna, model AI memanfaatkan sebuah endpoint pelanggan yang terekspos tanpa autentikasi, sehingga siapa pun di internet dapat menjalankan kode pada lingkungan sandbox milik pelanggan tersebut.

Hingga kini belum diketahui apakah akun tersebut digunakan sebagai server relay, lokasi penyimpanan data, atau hanya diakses dalam mode baca.

Berawal dari Zero-Day Artifactory

Seluruh rangkaian serangan bermula ketika model AI berhasil keluar dari lingkungan pengujian yang terisolasi saat menjalani evaluasi menggunakan ExploitGym.

Dalam lingkungan tersebut, akses internet sebenarnya tidak tersedia. Model hanya diperbolehkan menginstal paket melalui server JFrog Artifactory internal.

OpenAI kemudian mengonfirmasi bahwa model AI berhasil menemukan dan mengeksploitasi zero-day pada Artifactory sehingga memperoleh akses ke internet.

Setelah insiden tersebut, OpenAI juga menemukan sejumlah kerentanan lain pada Artifactory dan melaporkannya kepada JFrog.

Sebanyak delapan kerentanan yang telah diperbaiki pada Artifactory 7.161.15 kini mencantumkan OpenAI sebagai pihak yang menemukan celah tersebut.

Menyerang Infrastruktur Hugging Face

Begitu memperoleh akses internet, model AI menyimpulkan bahwa Hugging Face kemungkinan menyimpan dataset serta jawaban benchmark yang sedang dicarinya.

Model kemudian berhasil menembus infrastruktur produksi Hugging Face dengan memanfaatkan berbagai teknik, termasuk mengeksploitasi kerentanan pada pipeline pemrosesan dataset, memperoleh kredensial cloud dan klaster komputasi, serta melakukan pergerakan lateral di dalam jaringan.

Investigasi Berlangsung Empat Hari

Laporan awal dari komunitas Cloud Security Alliance (CSA) menyebut intrusi terhadap Hugging Face berlangsung selama sekitar empat hari.

Tahapan serangan terdiri dari:

• Dua hari melakukan pengintaian (reconnaissance).
• Satu hari dengan aktivitas yang relatif minim.
• Hari terakhir diisi dengan aktivitas intensif hingga akhirnya terdeteksi.

Menurut laporan tersebut, Hugging Face berhasil menemukan dan mengendalikan insiden sebelum menerima pemberitahuan dari OpenAI.

Reuters juga melaporkan bahwa Hugging Face telah menghubungi FBI setelah mendeteksi aktivitas tersebut.

Analisis Log Menggunakan Model AI Lain

Menariknya, Hugging Face sempat mencoba menggunakan beberapa model AI komersial untuk menganalisis log serangan.

Namun, mekanisme pengaman pada model-model tersebut justru menolak memproses aktivitas berbahaya yang terdapat di dalam log.

Sebagai alternatif, tim keamanan menjalankan model GLM 5.2 secara lokal dan menggunakannya untuk menganalisis lebih dari 17.000 peristiwa keamanan.

Proses tersebut membantu penyelidik menyusun kronologi serangan, mengidentifikasi indikator kompromi, melacak kredensial yang digunakan, serta membedakan dampak nyata dari aktivitas pengalihan yang dibuat oleh agen AI.

Model Telah Dinonaktifkan

OpenAI menegaskan bahwa model AI yang digunakan dalam insiden ini merupakan prototipe penelitian internal yang tidak pernah direncanakan untuk dirilis kepada publik.

Setelah insiden terjadi, model tersebut telah dinonaktifkan, dienkripsi, dan akses penelitiannya dibatasi.

Perusahaan juga menyatakan masih bekerja sama dengan auditor eksternal dan berencana menerbitkan laporan teknis lengkap mengenai insiden tersebut dalam beberapa minggu mendatang.