SK hynix Perkenalkan Solusi AiM Terbaru untuk Akselerasi AI di AI Infra Summit 2025
Santa Clara, California – SK hynix memamerkan inovasi terbaru dalam solusi memori berbasis AiM (AI in Memory) pada ajang AI Infra Summit 2025 yang digelar 9–11 September lalu. Ajang yang sebelumnya dikenal sebagai AI Hardware & Edge AI Summit ini menghadirkan lebih dari 3.500 peserta dan 100 mitra global dengan tema “Powering Fast, Efficient & Affordable AI”.
AiMX: Generasi Baru PIM-Based AI Memory
Di stan bertema “Boost Your AI: AiM is What You All Need”, SK hynix menampilkan AiMX, solusi berbasis Processing-In-Memory (PIM) yang ditujukan untuk mengatasi keterbatasan memori dalam beban kerja AI berskala besar.
Demo langsung menggunakan server Supermicro GPU SuperServer SYS-421GE-TNRT3 dengan dua NVIDIA H100 GPU dan empat kartu AiMX memperlihatkan performa nyata dalam inferensi model bahasa besar (LLM).
Atasi Memory Wall dalam LLM
Pada sistem berbasis GPU murni, proses compute-bound dan memory-bound ditangani bersamaan sehingga dapat menimbulkan inefisiensi, terutama saat konteks input semakin panjang. Dengan sistem terdisagregasi berbasis AiMX, pekerjaan dibagi menjadi dua fase:
- Memory-bound → dieksekusi oleh akselerator AiMX
- Compute-bound → dijalankan di GPU
Pendekatan ini memungkinkan pemrosesan lebih banyak permintaan pengguna sekaligus menangani input prompt yang lebih panjang secara efisien.
Peningkatan Perangkat Lunak
Selain arsitektur baru, SK hynix juga memperkenalkan peningkatan perangkat lunak pada kartu AiMX. Integrasi dengan framework vLLM yang populer dalam pengembangan layanan AI meningkatkan stabilitas dan mendukung generasi token panjang, bahkan pada model reasoning dengan proses inferensi kompleks.
Manfaat dan Efisiensi
Dengan kombinasi arsitektur dan perangkat lunak yang diperbarui, solusi AiM terbaru menghadirkan:
- Peningkatan kinerja inferensi LLM
- Pengurangan konsumsi daya
- Efisiensi biaya operasional dibanding sistem berbasis GPU murni
Visi ke Depan
Pada hari kedua acara, Euicheol Lim, VP sekaligus Head of Solution Advanced Technology SK hynix, menyampaikan presentasi bertajuk “Memory/Storage: Crushing the Token Cost Wall of LLM Service: Attention Offloading With PIM – GPU Heterogeneous System”. Ia memaparkan metode untuk memangkas biaya pemrosesan token dalam layanan LLM serta menyoroti peran teknologi memori AI dalam transformasi digital industri.
Dengan inovasi ini, SK hynix menegaskan komitmennya untuk menjadi pemimpin dalam solusi memori AI generasi berikutnya, menghadirkan teknologi yang efisien, hemat energi, dan siap menjawab tantangan layanan AI di masa depan.
Sumber: SK hynix
