DDR-5 MemoryHardwareRAMSSDsStorage

Patriot AI Matrix Hadirkan SSD dan RAM DDR5 untuk AI Lokal

Patriot Memory memperkenalkan AI Matrix, lini modul RAM DDR5 dan SSD NVMe M.2 2280 untuk menjalankan model AI secara lokal. Rangkaian ini dibagi menjadi tiga kelas, yaitu PRO, Mid, dan Entry. Setiap kelas memasangkan kapasitas RAM dengan SSD dari generasi PCIe berbeda, sesuai kisaran ukuran model yang disasar Patriot.

Menjalankan AI di perangkat sendiri memungkinkan data tetap berada di sistem lokal dan mengurangi kebutuhan membayar layanan API per token. Saat ukuran model bertambah, kapasitas RAM dibutuhkan untuk menampung bobot model dan konteks. Penyimpanan juga berperan saat memuat checkpoint berukuran besar atau membaca kumpulan dokumen untuk retrieval-augmented generation (RAG).

Tiga Kelas RAM dan SSD Patriot AI Matrix

PRO menyasar model 34–70 miliar parameter untuk RAG perusahaan, alur kerja multibahasa, dan tugas yang memanggil beberapa alat secara berurutan. SSD MS560 memakai PCIe 5.0 x4 dengan pilihan 1 TB, 2 TB, dan 4 TB. Varian 4 TB mencapai kecepatan baca dan tulis sekuensial hingga 14.000 dan 11.000 MB/s. Pasangannya adalah kit UDIMM MD57N 64 GB (2 × 32 GB) dengan kecepatan hingga 6.000 MT/s melalui overclocking.

Mid ditujukan untuk model 14–34 miliar parameter, termasuk asisten lokal, pembuatan kode, dan tugas multimodal. SSD MS450 menggunakan PCIe 4.0 x4 dengan kapasitas 1 TB, 2 TB, atau 4 TB. Kecepatan baca dan tulis sekuensialnya mencapai 5.000 dan 4.500 MB/s. Kit DDR5 MD55N berkapasitas 32 GB (2 × 16 GB) mendukung hingga 6.000 MT/s melalui overclocking.

Entry menyasar model 7–14 miliar parameter untuk penerjemahan, penulisan, dan bantuan pemrograman. SSD MS350 menggunakan PCIe 3.0 x4 dan tersedia dalam kapasitas 512 GB, 1 TB, serta 2 TB. Kecepatan baca dan tulis sekuensialnya mencapai 3.000 dan 2.000 MB/s. Kit DDR5 MD35N atau MD34N hadir dengan kapasitas 32 GB (2 × 16 GB) pada 5.600 MT/s.

Patriot Menjadwalkan Pengujian Model Setiap Bulan

Patriot menyatakan modul DRAM menggunakan chip yang telah diseleksi untuk menjaga stabilitas saat pemrosesan konteks dan pembuatan token berlangsung terus-menerus. SSD memakai NAND yang dipilih untuk menangani pemuatan model dan siklus baca-tulis dataset yang berulang.

Patriot menguji tiap kelas setiap bulan menggunakan model seperti Llama, Gemma, dan CodeLlama. Pengujian mencakup pemrosesan 512 token prompt (pp512), pembuatan 128 token (tg128), dan beban berkelanjutan untuk memeriksa kestabilan operasi serta suhu. Kisaran parameter tersebut merupakan panduan konfigurasi Patriot. Kebutuhan memori aktual bergantung pada model, kuantisasi, dan panjang konteks.

Sumber: Patriot Memory

Leave a Reply

Your email address will not be published. Required fields are marked *


Back to top button