Myrtle.ai Dorong Inference Machine Learning Mikrodetik dengan Vollo di Napatech SmartNIC
Myrtle.ai kembali mendorong batas performa AI dengan mengumumkan bahwa Vollo, solusi inference machine learning ultra-cepat mereka, kini mampu beroperasi dalam skala mikrodetik menggunakan SmartNIC dari Napatech. Terobosan ini menargetkan kebutuhan inference latensi rendah yang ekstrem pada sektor-sektor seperti keuangan, jaringan, dan pertahanan.
Latensi Inference di Bawah 10 Mikrodetik ⚡
Dengan menjalankan Vollo di atas Napatech SmartNIC, Myrtle.ai berhasil mencapai latensi inference di bawah 10 mikrodetik. Angka ini menandai peningkatan signifikan dibanding solusi ML konvensional berbasis CPU atau GPU, yang sering kali berada pada kisaran milidetik. Kinerja ultra-low latency ini sangat penting bagi aplikasi real-time yang tidak mentoleransi penundaan, seperti high-frequency trading atau sistem pertahanan aktif.
Solusi ML di Dalam Jaringan (In-Network ML)
Vollo mengadopsi pendekatan “in-network ML”, yaitu inference model yang berjalan langsung pada jalur data jaringan. Alih-alih mengirim paket data ke prosesor utama, SmartNIC Napatech melakukan inference langsung pada data yang sedang ditransmisikan. Strategi ini memotong waktu proses drastis dan mengurangi kebutuhan bandwidth internal server.
Keunggulan ini membuka jalan bagi pengembangan sistem AI yang sepenuhnya inline, tanpa memerlukan komputasi tambahan dari CPU/GPU, sekaligus memungkinkan deployment AI langsung di edge data center atau core jaringan.
Fokus pada Efisiensi dan Skalabilitas
Solusi Vollo dikembangkan menggunakan field-programmable gate arrays (FPGA) pada SmartNIC Napatech, memungkinkan optimasi algoritmik secara hardware-level. Ini menghasilkan efisiensi daya dan performa yang jauh lebih tinggi, terutama untuk beban kerja inference ML yang ringan namun memerlukan kecepatan tinggi.
Myrtle.ai menyatakan bahwa pendekatan mereka memberikan keunggulan dalam efisiensi, determinisme latensi, dan skalabilitas untuk workload inference dalam jaringan — menjadikannya solusi ideal untuk ekosistem edge AI dan sistem latency-sensitive lainnya.
Sumber: Myrtle.ai Enables Microsecond ML Inference Latencies Running Vollo on Napatech SmartNICs
