Mistral AI mengumumkan peluncuran keluarga model Mistral 3, serangkaian model open-source multibahasa dan multimodal yang dioptimalkan untuk platform superkomputasi dan edge milik NVIDIA.
Mistral Large 3: Mixture-of-Experts (MoE)
- 41 miliar parameter aktif, 675 miliar total parameter, dan context window 256K.
- Arsitektur MoE hanya mengaktifkan bagian model yang paling relevan untuk setiap token, menghasilkan efisiensi tinggi tanpa mengorbankan akurasi.
- Dikombinasikan dengan sistem NVIDIA GB200 NVL72, model ini memberikan skala besar dengan optimisasi paralelisme dan hardware.
- Hasil uji menunjukkan 10x peningkatan performa dibanding generasi sebelumnya NVIDIA H200, dengan biaya per-token lebih rendah dan efisiensi energi lebih tinggi.
Konsep Distributed Intelligence
Kolaborasi ini menjadi langkah menuju era yang disebut Mistral AI sebagai “distributed intelligence”, menjembatani terobosan riset dengan aplikasi nyata di perusahaan.
Ministral 3: Model Ringan untuk Edge
Selain model besar, Mistral AI juga merilis 9 model kecil Ministral 3 yang dioptimalkan untuk perangkat edge NVIDIA:
- NVIDIA Spark, RTX PC/laptop, dan Jetson devices.
- Mendukung framework populer seperti Llama.cpp dan Ollama, memungkinkan pengembang dan penggemar mencoba AI ringan dengan performa tinggi di edge.
Integrasi dengan NVIDIA NeMo & Inference Frameworks
- Model Mistral 3 terhubung dengan NVIDIA NeMo tools (Data Designer, Customizer, Guardrails, Agent Toolkit) untuk memudahkan kustomisasi dan mempercepat transisi dari prototipe ke produksi.
- Optimisasi inference melalui TensorRT-LLM, SGLang, dan vLLM memastikan efisiensi dari cloud hingga edge.
- Model tersedia di platform open-source dan penyedia layanan cloud, serta akan segera hadir sebagai NVIDIA NIM microservices.
Kesimpulan
Kolaborasi NVIDIA dan Mistral AI menghadirkan keluarga model Mistral 3 yang terbuka, efisien, dan siap digunakan di berbagai skenario—dari pusat data hingga perangkat edge. Inisiatif ini memperkuat demokratisasi teknologi AI frontier dan mempercepat inovasi di tingkat global.
Sumber: NVIDIA Blog