OpenAI Perkenalkan Jalapeno, Akselerator Inferensi LLM Hasil Kolaborasi Bersama Broadcom
OpenAI secara resmi memperkenalkan Jalapeno, chip akselerator khusus (purpose-built) pertama besutan internal mereka yang dirancang spesifik untuk menangani beban kerja inferensi model bahasa raksasa (LLM). Dalam proyek ambisius ini, OpenAI menggandeng raksasa semikonduktor Broadcom sebagai mitra kolaborasi utama dalam merancang arsitektur silikon tersebut.
Chip Jalapeno mengintegrasikan kombinasi komponen perangkat keras komputasi fixed-function serta perangkat keras yang dapat diprogram (programmable compute hardware). Arsitektur ini dirancang khusus untuk mempercepat proses inferensi dari seluruh ekosistem LLM milik OpenAI, mulai dari mesin utama yang mentenagai ChatGPT, Codex, OpenAI API, hingga jajaran produk kecerdasan buatan berbasis agen (agentic AI products) masa depan mereka.
Secara konsep, Jalapeno memiliki kemiripan fungsional dengan unit prosesor tensor TPU (Tensor Processing Unit) milik Google, namun dengan optimasi arsitektur yang sepenuhnya disesuaikan untuk kebutuhan software stack OpenAI. Perbedaan mendasar lainnya terletak pada segmentasi tugas: jika TPU milik Google dirancang multifungsi untuk proses pelatihan (training) sekaligus inferensi, Jalapeno tampaknya dikembangkan secara eksklusif hanya untuk kebutuhan inferensi data. Sementara untuk proses pelatihan model-model AI berskala masif, OpenAI dilaporkan masih akan mengandalkan kekuatan komputasi dari unit kartu grafis (GPU) konvensional.
Siklus Pengembangan Kilat dan Target Implementasi
Salah satu pencapaian paling mengesankan yang diungkapkan oleh OpenAI adalah kecepatan durasi riset perangkat keras ini. Berkat kemitraan strategis bersama Broadcom, cetak biru chip Jalapeno berhasil dirancang hingga mencapai tahap finalisasi siap produksi (manufacturing tape-out) hanya dalam kurun waktu sembilan bulan saja. Durasi tersebut menjadikannya sebagai salah satu siklus pengembangan chip ASIC (Application-Specific Integrated Circuit) tercepat di industri semikonduktor canggih dunia.
Jalapeno sendiri diposisikan sebagai langkah awal dari platform komputasi jangka panjang OpenAI yang nantinya akan mencakup beberapa generasi chip lanjutan di masa mendatang. Infrastruktur platform komputasi baru ini dijadwalkan untuk mulai diimplementasikan secara perdana pada pusat data OpenAI menjelang akhir tahun 2026.
Arsitektur Fisik Berbasis Memori HBM3E Berskala Masif
Meskipun OpenAI masih menyimpan rapat detail spesifikasi teknis mendalam mengenai performa komputasi riil dari chip ini, bocoran mengenai struktur fisik komponen utamanya telah dipublikasikan ke publik. Jalapeno mengadopsi desain modul multi-chip (multi-chip module) kontemporer yang memanfaatkan teknologi lapisan interposer canggih.
Struktur internal chip ini didominasi oleh sebuah ubin logika (logic tile) berukuran besar yang diposisikan tepat di bagian tengah bodi silikon. Guna memfasilitasi jalur komunikasi data berkecepatan tinggi tanpa hambatan (bottleneck), komponen ubin logika utama tersebut diapit secara masif oleh delapan tumpukan memori ber-bandwidth tinggi berteknologi terbaru, yaitu HBM3E (High Bandwidth Memory 3E). Kehadiran delapan tumpukan HBM3E ini memastikan transfer parameter model LLM dapat diproses secara instan dengan efisiensi daya yang jauh lebih optimal.
Sumber: OpenAI Official Announcement, Steve Morin via Twitter
