Google Gemini Diuji dengan Full Access ke File, Aplikasi, dan Web di Mac

Google dilaporkan sedang mengembangkan kemampuan baru untuk Gemini Desktop di macOS yang dapat memberikan AI akses lebih luas ke file, aplikasi, dan web. Jika fitur tersebut dirilis, Gemini berpotensi membaca, membuat, memodifikasi, hingga menghapus file di Mac serta menjalankan tindakan melalui aplikasi tanpa meminta izin pengguna setiap kali.

Kemampuan tersebut ditemukan dalam pengaturan tersembunyi bernama “Additional sandbox options” di aplikasi Gemini Desktop. Fitur ini belum tersedia secara publik dan Google belum mengumumkannya secara resmi.

Karena masih berada dalam tahap pengujian, fungsi, mekanisme permission, hingga jadwal peluncurannya masih dapat berubah sebelum tersedia untuk pengguna.

Gemini Bisa Mendapat Akses Lebih Luas ke File Mac

Gemini Desktop saat ini dapat bekerja dengan resource tertentu yang secara eksplisit diberikan kepada AI.

Namun, Additional sandbox options mengindikasikan Google sedang mengeksplorasi tingkat akses yang jauh lebih luas.

Ketika opsi tertentu diaktifkan, Gemini berpotensi memperoleh izin untuk membaca, membuat, mengubah, atau menghapus file di berbagai lokasi pada Mac.

Akses tersebut tidak lagi terbatas pada folder yang secara khusus telah dihubungkan pengguna ke Gemini.

Kemampuan seperti ini akan membuat Gemini lebih menyerupai AI agent yang dapat berinteraksi langsung dengan operating system daripada chatbot yang hanya menerima dan menghasilkan informasi melalui conversation interface.

Bisa Berinteraksi dengan Mail, Safari, dan Messages

Akses Gemini juga berpotensi diperluas ke native application pada macOS.

Berdasarkan informasi yang muncul dalam interface Gemini Desktop, AI dapat berkomunikasi dengan aplikasi seperti Mail, Safari, dan Messages, kemudian melakukan tindakan melalui aplikasi tersebut.

Artinya, Gemini secara teoritis dapat menjalankan workflow yang melibatkan beberapa aplikasi sekaligus.

Sebagai contoh, AI agent dapat memperoleh informasi dari sebuah file, membuka browser untuk mencari data tambahan, kemudian menggunakan aplikasi lain untuk melanjutkan tugas.

Kemampuan lintas aplikasi seperti ini merupakan bagian penting dari konsep computer-use AI karena model tidak lagi hanya memberikan instruksi kepada pengguna, tetapi dapat menjalankan sebagian tindakan secara langsung.

Beberapa Tindakan Bisa Berjalan Tanpa Konfirmasi

Interface tersembunyi yang ditemukan dalam Gemini Desktop memberikan petunjuk mengenai bagaimana permission tersebut akan bekerja.

Google menjelaskan bahwa mengaktifkan additional sandbox options akan memperluas kemampuan dan resource yang dapat diakses Gemini pada Mac.

Bergantung pada pengaturan yang diaktifkan, Gemini juga dapat memperoleh izin untuk melakukan tindakan tanpa meminta persetujuan pengguna terlebih dahulu.

Hal ini dapat mengurangi interupsi ketika AI menjalankan workflow yang terdiri dari banyak langkah.

Jika setiap operasi file atau interaksi aplikasi membutuhkan confirmation dialog, autonomous workflow dapat menjadi jauh lebih lambat.

Namun, peningkatan tingkat otonomi juga membuat pengelolaan permission dan batas tindakan AI menjadi semakin penting.

Sensitive Actions Tetap Memerlukan Konfirmasi

Meski Gemini berpotensi mendapatkan akses yang luas, Google tampaknya tetap mempertahankan confirmation requirement untuk tindakan tertentu yang dianggap sensitif.

Gemini diperkirakan tetap meminta persetujuan sebelum melakukan beberapa aktivitas berisiko tinggi.

Tindakan tersebut mencakup membeli produk atau mentransfer uang, membuat online account, menerima legal terms atas nama pengguna, serta memodifikasi sensitive personal information.

Pendekatan tersebut memungkinkan AI menjalankan tugas rutin dengan lebih sedikit interupsi tanpa memberikan kebebasan penuh terhadap tindakan yang memiliki konsekuensi finansial, hukum, atau privasi.

Mekanisme ini menyerupai pola permission pada AI agent lain, ketika pengguna terlebih dahulu memberikan akses ke komputer tetapi tindakan berisiko tinggi tetap membutuhkan persetujuan eksplisit.

Gemini Bergerak dari Chatbot Menjadi AI Agent

Fitur yang sedang diuji tersebut merupakan bagian dari perkembangan yang lebih luas menuju computer-use AI.

Dalam model penggunaan tradisional, pengguna bertanya kepada AI melalui chat dan kemudian menjalankan sendiri tindakan yang direkomendasikan.

AI agent mengubah pola tersebut.

Alih-alih hanya menjelaskan cara melakukan sesuatu, model dapat memperoleh akses ke tool yang diperlukan dan menjalankan sebagian workflow atas nama pengguna.

Dengan akses ke filesystem, web browser, dan native apps, Gemini dapat berpotensi menyelesaikan tugas yang sebelumnya membutuhkan banyak perpindahan aplikasi secara manual.

Hal tersebut dapat mencakup pengelolaan dokumen, pencarian informasi, pemrosesan file, hingga workflow yang menghubungkan beberapa aplikasi.

Sandbox Menjadi Bagian Penting dari Keamanan AI Agent

Keberadaan istilah Additional sandbox options menunjukkan bahwa tingkat akses Gemini kemungkinan akan dikendalikan melalui mekanisme permission dan sandbox.

Sandbox digunakan untuk membatasi resource yang dapat diakses sebuah aplikasi atau proses.

Memberikan akses tambahan berarti sebagian pembatasan tersebut harus diperluas berdasarkan persetujuan pengguna.

Pendekatan ini menjadi penting karena AI agent berbeda dari aplikasi biasa.

Model dapat menerima natural-language instruction dan kemudian menentukan sendiri serangkaian langkah untuk mencapai tujuan tersebut.

Kesalahan interpretasi, malicious instruction dari konten eksternal, maupun tindakan yang tidak sesuai dengan maksud pengguna dapat memiliki konsekuensi lebih besar ketika AI memiliki kemampuan memodifikasi filesystem atau mengontrol aplikasi.

Prompt Injection Bisa Menjadi Tantangan

Computer-use AI juga menghadapi tantangan keamanan seperti prompt injection.

Dalam skenario tersebut, AI agent dapat menemukan malicious instruction yang disisipkan ke halaman web, dokumen, email, atau konten lain yang sedang diproses.

Jika model gagal membedakan instruksi pengguna dengan instruksi berbahaya dari sumber eksternal, AI berpotensi melakukan tindakan yang sebenarnya tidak diinginkan pengguna.

Risikonya meningkat ketika agent memiliki permission untuk membaca dan memodifikasi file, mengakses komunikasi, atau menjalankan tindakan melalui aplikasi.

Karena itu, pembatasan permission, sandboxing, confirmation untuk sensitive actions, serta kemampuan AI membedakan trusted dan untrusted instruction menjadi komponen penting dalam implementasi computer-use.

Belum diketahui secara detail mekanisme keamanan apa yang akan digunakan Google jika Full Access benar-benar dirilis.

Kebijakan macOS Bisa Memengaruhi Implementasi

Implementasi fitur tersebut juga bergantung pada mekanisme keamanan yang diterapkan Apple di macOS.

Apple menggunakan berbagai permission dan sandboxing mechanism untuk membatasi bagaimana aplikasi dapat mengakses personal files, data, dan aplikasi lainnya.

Dengan semakin berkembangnya AI agent, kontrol terhadap aplikasi yang dapat bertindak atas nama pengguna kemungkinan menjadi area penting dalam evolusi keamanan desktop.

Karena itu, kemampuan Gemini yang terlihat dalam versi pengujian belum tentu akan bekerja dalam bentuk yang sama ketika dirilis secara publik.

Google perlu menyesuaikan computer-use capability dengan permission model dan security restriction yang berlaku di macOS.

Belum Ada Jadwal Peluncuran

Google belum mengumumkan Full Access Gemini Desktop maupun Additional sandbox options secara resmi.

Belum diketahui kapan fitur tersebut akan tersedia, apakah hanya akan diberikan kepada sebagian pengguna, atau akan menjadi bagian dari paket Gemini tertentu.

Model Gemini yang akan menjalankan computer-use capability tersebut juga belum diketahui.

Karena fitur masih tersembunyi dalam aplikasi, seluruh detail yang ditemukan saat ini sebaiknya dianggap sebagai indikasi pengembangan dan bukan spesifikasi final.

Meski demikian, pengujian tersebut menunjukkan arah pengembangan Gemini yang semakin jelas: dari AI assistant berbasis percakapan menuju agent yang dapat berinteraksi langsung dengan file, website, dan native application.

Jika kemampuan tersebut akhirnya diluncurkan, keseimbangan antara automation dan keamanan permission akan menjadi faktor penting karena Gemini tidak lagi hanya memberikan jawaban, tetapi juga dapat melakukan perubahan nyata pada komputer pengguna.

Sumber: TestingCatalog