Tiiny AI Pamerkan Terobosan: LLM 120 Miliar Parameter Berjalan Offline di PC Berusia 14 Tahun
Tiiny AI Inc., startup deep‑tech asal Amerika Serikat yang berfokus pada komputasi AI personal, memperkenalkan demonstrasi teknis yang langsung menarik perhatian industri. Perusahaan tersebut berhasil menjalankan model bahasa besar (LLM) berukuran 120 miliar parameter secara penuh di perangkat lokal—tanpa internet, tanpa cloud, dan tanpa GPU—menggunakan PC konsumen berusia 14 tahun.
Dalam demonstrasi yang direkam dalam satu pengambilan tanpa jeda, Tiiny AI menampilkan kemampuan OpenAI GPT‑OSS 120B yang dijalankan melalui perangkat Tiiny AI Pocket Lab, sebuah mini PC berukuran saku yang baru-baru ini diakui oleh Guinness World Records sebagai “MiniPC Terkecil yang Mampu Menjalankan LLM 100B Secara Lokal.” Perangkat tersebut dihubungkan ke PC tahun 2011 dengan prosesor Intel Core i3‑530, RAM 2 GB DDR3, dan monitor CRT, namun tetap mampu memuat dan menjalankan model secara lokal dengan kecepatan mendekati 20 token per detik.
Menurut Tiiny AI, demonstrasi ini membuktikan bahwa kecerdasan model besar tidak lagi membutuhkan kluster GPU masif atau infrastruktur cloud. Pendekatan ini menandai pergeseran menuju AI personal yang dapat dijalankan secara privat dan offline di perangkat sehari‑hari.
Tiiny AI Pocket Lab akan dipamerkan secara langsung di CES 2026, lengkap dengan demonstrasi, pratinjau teknis, dan fitur untuk pengembang. Perusahaan menekankan transparansi penuh dalam demonstrasi tersebut, memperlihatkan sistem tanpa koneksi internet dan tetap mampu menjalankan tugas penalaran kompleks secara mulus.
Kemampuan ini dimungkinkan oleh teknologi internal Tiiny AI, termasuk TurboSparse, metode aktivasi sparse tingkat neuron yang meningkatkan efisiensi inferensi tanpa mengorbankan kecerdasan model, serta PowerInfer, mesin inferensi heterogen yang mendistribusikan beban kerja antara CPU dan NPU. Kombinasi keduanya memungkinkan LLM berskala besar berjalan pada konsumsi daya yang jauh lebih rendah dibanding sistem berbasis GPU tradisional.
Perangkat Pocket Lab sendiri beroperasi dalam batas daya 65 W dan mampu menjalankan model hingga 120 miliar parameter sepenuhnya di perangkat. Pendekatan ini menawarkan kecerdasan setara cloud dengan konsumsi energi yang lebih hemat serta privasi data penuh, sekaligus menandai pergeseran dari AI berbasis sewa menuju AI personal yang sepenuhnya dimiliki pengguna.
Spesifikasi Utama Tiiny AI Pocket Lab:
- CPU: ARMv9.2 12‑core
- AI Compute: Modul heterogen (SoC + dNPU) ≈190 TOPS
- Memori & Penyimpanan: 80 GB LPDDR5X + 1 TB SSD
- Kapasitas Model: Hingga 120B parameter secara on‑device
- Efisiensi Daya: 30 W TDP, konsumsi sistem 65 W
- Dimensi & Berat: 14,2 × 8 × 2,53 cm, ±300 g
- Ekosistem: Deploy satu klik untuk berbagai LLM open‑source
- Konektivitas: Berfungsi sepenuhnya offline
Dengan pencapaian ini, Tiiny AI menegaskan visinya untuk menghadirkan AI canggih yang lebih privat, hemat energi, dan dapat diakses oleh semua orang.
Sumber: Tiiny AI Press Release
