BOSGAME Demonstrasikan Cluster AI MAX+ 395 7 Node untuk Private AI Lokal
BOSGAME mendemonstrasikan sistem AI MAX+ 395 7-Node Cluster sebagai pendekatan modular untuk menjalankan private AI dan inferensi large language model secara lokal. Sistem ini dibangun dari tujuh unit BOSGAME M5 AI Mini PC yang saling terhubung melalui USB4 Direct Connection.
Dalam demonstrasinya, BOSGAME menjalankan inferensi terdistribusi untuk model DeepSeek-V3.1 dengan 671 miliar parameter. Pengujian ini memperlihatkan bagaimana beberapa perangkat mini PC dapat digabungkan menjadi satu lingkungan komputasi AI yang lebih besar, terutama untuk workload yang melampaui kapasitas memori satu sistem mandiri.
Kebutuhan komputasi AI lokal terus meningkat seiring makin besarnya ukuran model dan kompleksitas workload. Pada banyak skenario, satu AI PC belum tentu memiliki memori dan resource komputasi yang cukup untuk menjalankan model besar. Di sisi lain, server AI tradisional sering kali membutuhkan investasi tinggi, infrastruktur khusus, serta proses deployment yang lebih kompleks.
Melalui pendekatan scale-out, BOSGAME mencoba menawarkan jalur yang lebih fleksibel. Cluster ini memungkinkan beberapa node bekerja bersama untuk membagi proses inferensi, sehingga organisasi atau developer dapat menjalankan workload AI yang lebih berat tanpa harus langsung membangun server AI konvensional.
Secara total, konfigurasi tujuh node tersebut menyediakan 896GB Unified Memory, dengan hingga 672GB yang dapat dialokasikan sebagai Unified VRAM. Pool memori sebesar ini menjadi faktor penting untuk workload AI yang sangat bergantung pada kapasitas memori, khususnya saat menjalankan model LLM berukuran besar secara lokal.
Koneksi USB4 Direct Connection memungkinkan node-node tersebut beroperasi bersama tanpa arsitektur server terpusat tradisional. Desain ini juga mendukung model ekspansi bertahap, di mana pengguna dapat memulai dari satu unit M5 AI Mini PC, lalu menambah kapasitas seiring meningkatnya kebutuhan proyek.
Selain inferensi AI, platform ini juga diarahkan untuk pengembangan AI lokal melalui layanan API berbasis Llama.cpp. BOSGAME menyebut cluster tersebut dapat digunakan untuk software development, debugging, operasi Kubernetes, inisiatif AI perusahaan, hingga edge AI computing.
Nilai penting dari pendekatan ini bukan hanya pada performa, tetapi juga kontrol data. Dengan menjalankan workload di infrastruktur lokal, organisasi dapat mengelola data dan lingkungan deployment secara lebih mandiri, tanpa sepenuhnya bergantung pada layanan cloud eksternal.
Demonstrasi BOSGAME mencerminkan meningkatnya minat terhadap infrastruktur private AI yang dapat diskalakan. Jika pendekatan modular seperti ini terus berkembang, mini PC berbasis AI berpotensi menjadi alternatif menarik bagi developer, tim riset, dan perusahaan yang membutuhkan komputasi AI lokal dengan biaya dan kompleksitas yang lebih terkendali.
Sumber: Bosgame
