NVIDIA dilaporkan menghidupkan kembali proyek GPU AI khusus bernama Rubin CPX yang sebelumnya sempat ditunda. Dalam desain terbarunya, accelerator ini mengalami perubahan besar pada sistem memori, dari yang awalnya dirancang menggunakan GDDR7 menjadi HBM4 berkapasitas 168 GB.
Informasi tersebut disampaikan oleh analis rantai pasok Ming-Chi Kuo. Rubin CPX merupakan bagian dari keluarga GPU Rubin yang dirancang NVIDIA untuk menangani beban kerja agentic AI berskala besar, terutama model bahasa berukuran sangat besar dengan konteks panjang.
Rubin CPX Kini Menggunakan 168 GB HBM4
Pada rancangan sebelumnya, Rubin CPX disebut akan menggunakan 128 GB GDDR7. Namun, NVIDIA kini dikabarkan mengganti konfigurasi tersebut dengan 168 GB HBM4.
Perubahan ini bukan sekadar penggantian jenis memori. Karena HBM membutuhkan integrasi yang berbeda dengan GPU, NVIDIA juga harus mendesain ulang package accelerator tersebut. Untuk mengakomodasi HBM4, NVIDIA kemungkinan menggunakan teknologi packaging dari TSMC seperti CoWoS-S atau CoWoS-L.
Rubin CPX nantinya ditempatkan dalam rack terpisah dengan konfigurasi mulai dari 64 hingga 256 GPU CPX per rack.
Salah satu konfigurasi tray yang terdiri dari delapan GPU CPX mampu menangani sekitar 1,34 TB data untuk long-context prefill beserta KV cache. Seluruh kapasitas tersebut memanfaatkan HBM4 untuk memperoleh bandwidth memori yang jauh lebih tinggi dibandingkan penggunaan GDDR7.
Memisahkan Proses Prefill dan Decode
Salah satu konsep utama Rubin CPX adalah pemisahan antara proses prefill dan decode dalam pemrosesan Large Language Model (LLM).
Pada sistem AI konvensional, GPU yang sama dapat menangani kedua tahapan tersebut. NVIDIA justru merancang arsitektur baru di mana Rubin CPX menangani prefill, sedangkan GPU Rubin reguler digunakan untuk menjalankan proses decode.
Prefill merupakan tahap ketika sistem memproses input atau context yang diberikan kepada model. Tahapan ini menjadi semakin berat ketika model AI menggunakan context window yang sangat panjang dan memiliki parameter hingga skala triliunan.
Setelah proses tersebut selesai, informasi yang dihasilkan, termasuk KV cache, diteruskan untuk digunakan pada tahap decode. Dengan memisahkan kedua jenis workload ini ke GPU berbeda, NVIDIA berharap sistem dapat menghasilkan token dengan lebih cepat sekaligus meningkatkan efisiensi penggunaan sumber daya.
NVIDIA juga merekomendasikan rasio 1:1 antara GPU Rubin CPX dan GPU Rubin reguler pada rack decode.
Mencapai 30 PetaFLOPS dengan NVFP4
Dari sisi komputasi, Rubin CPX disebut mampu menghasilkan hingga 30 PetaFLOPS menggunakan format NVFP4.
Accelerator ini menggunakan desain monolithic die, sehingga seluruh kemampuan komputasinya berada dalam satu chip utama. Selain unit komputasi AI, NVIDIA juga mengintegrasikan kemampuan pemrosesan video langsung ke dalam GPU.
Rubin CPX dilengkapi dengan:
- 4× NVENC untuk encoding video
- 4× NVDEC untuk decoding video
- 168 GB HBM4
- Hingga 30 PetaFLOPS NVFP4
- Desain GPU monolithic die
Integrasi empat NVENC dan empat NVDEC memungkinkan workload multimedia diproses langsung oleh accelerator tanpa harus mengandalkan komponen pemrosesan eksternal.
Dirancang untuk LLM hingga Triliunan Parameter
Kebutuhan terhadap accelerator seperti Rubin CPX muncul seiring meningkatnya ukuran model AI. Model bahasa generasi baru semakin besar dan dapat memiliki triliunan parameter, sementara context window juga terus diperpanjang.
Dalam kondisi seperti ini, pemrosesan input awal atau prefill dapat menjadi salah satu bagian paling berat dalam pipeline inferensi. Kapasitas memori besar dan bandwidth tinggi dari HBM4 memungkinkan CPX menyimpan context serta KV cache dalam jumlah besar dan memprosesnya dengan lebih cepat.
Dengan pendekatan ini, NVIDIA pada dasarnya membangun sistem inferensi yang terdiri dari dua kelompok GPU: CPX untuk prefill dan Rubin reguler untuk decode.
Pemisahan tersebut memungkinkan masing-masing GPU dioptimalkan untuk karakteristik workload yang berbeda. CPX dapat difokuskan pada pemrosesan context berukuran sangat besar, sementara GPU Rubin reguler menangani proses menghasilkan token secara bertahap.
Proyek Rubin CPX Sempat Ditunda
NVIDIA sebelumnya telah mengumumkan rencana pengembangan Rubin CPX sebagai accelerator khusus untuk workload agentic AI berskala besar. Pada rancangan awal, GPU tersebut direncanakan menggunakan 128 GB GDDR7.
Namun, setelah pengumuman tersebut, proyek Rubin CPX dilaporkan sempat dihentikan atau ditunda. Kini NVIDIA disebut kembali mengembangkan produk tersebut dengan perubahan besar pada sistem memorinya.
Penggunaan HBM4 menunjukkan bahwa kebutuhan bandwidth dan kapasitas memori untuk workload yang ditargetkan Rubin CPX kemungkinan dianggap lebih penting dibandingkan mempertahankan desain GDDR7 sebelumnya.
Jika informasi tersebut terealisasi, Rubin CPX akan menjadi salah satu komponen penting dalam strategi NVIDIA untuk meningkatkan performa inferensi AI, khususnya ketika model semakin besar dan workload prefill membutuhkan kapasitas memori yang sangat tinggi.
Sumber: Ming-Chi Kuo, NVIDIA
