OpenAI Tambahkan Watermark Tak Terlihat pada Teks ChatGPT dan Codex di Uni Eropa

OpenAI bersiap menerapkan invisible watermark pada output teks tertentu yang dihasilkan ChatGPT dan Codex di Uni Eropa menggunakan teknologi baru bernama textGrain.

Berbeda dari watermark visual, textGrain tidak menambahkan tanda yang terlihat ketika pengguna membaca atau menyalin teks. Sistem tersebut bekerja dengan sedikit memengaruhi pilihan kata model sehingga menghasilkan pola statistik yang dapat dideteksi menggunakan tool khusus.

OpenAI mengatakan penerapan watermark untuk eligible ChatGPT dan Codex text output di Uni Eropa akan dilakukan secara bertahap dalam beberapa minggu mendatang.

Namun, perusahaan juga mengakui teknologi watermark teks memiliki keterbatasan. Editing yang relatif sederhana, penggunaan sinonim, translation, serta teks yang terlalu pendek dapat mengurangi tingkat keberhasilan deteksi secara signifikan.

Watermark Tidak Terlihat saat Teks Dibaca atau Disalin

textGrain dirancang sebagai statistical watermark, bukan metadata atau karakter visual yang ditempelkan pada output.

Saat model menghasilkan teks, teknologi tersebut sedikit memengaruhi word choice tanpa mengubah makna utama dari jawaban.

Serangkaian pilihan kata tersebut kemudian membentuk statistical pattern yang dapat diperiksa menggunakan detector.

Bagi pengguna biasa, teks tetap terlihat seperti output ChatGPT atau Codex pada umumnya.

Watermark juga tidak muncul sebagai label ketika teks disalin ke document, website, email, atau aplikasi lain.

Pendekatan ini berbeda dari watermark pada gambar yang biasanya dapat berupa tanda visual atau metadata tambahan.

ChatGPT dan Codex di Uni Eropa Akan Mendapat Watermark

OpenAI mengatakan invisible watermark akan diterapkan pada eligible ChatGPT dan Codex text output di European Union.

Peluncurannya akan berlangsung dalam beberapa minggu.

Perusahaan belum menjadikan fitur tersebut sebagai global default.

Artinya, pengguna ChatGPT dan Codex di luar cakupan implementasi Uni Eropa tidak otomatis mendapatkan text watermark yang sama hanya karena teknologi textGrain telah tersedia.

Langkah tersebut menjadi bagian dari upaya provenance, yaitu menyediakan mekanisme untuk membantu mengidentifikasi kemungkinan asal sebuah konten.

Developer API Bisa Mengaktifkan Watermark Secara Opsional

Selain deployment ChatGPT dan Codex di Uni Eropa, OpenAI juga membuka teknologi watermark kepada API developer secara global.

Mulai sekarang, developer dapat opt in untuk mengaktifkan watermark pada supported model.

Namun, fitur tersebut tetap disabled by default.

Dengan pendekatan ini, developer dapat menentukan apakah output dari aplikasi mereka perlu memiliki statistical watermark.

Implementasi semacam ini dapat berguna pada platform yang membutuhkan mekanisme provenance tambahan untuk content moderation, educational environment, publishing workflow, atau penggunaan lain yang membutuhkan indikasi bahwa sebuah teks kemungkinan dihasilkan model AI.

OpenAI Membuka Akses ke Watermark Detector

OpenAI juga membuka application untuk mendapatkan akses ke watermark detector.

Pada tahap awal, akses detector tidak diberikan secara terbuka kepada seluruh pengguna.

Perusahaan mengatakan tool tersebut akan tersedia bagi approved researchers dan expert organizations.

Pembatasan ini kemungkinan memungkinkan OpenAI mempelajari bagaimana detector digunakan sebelum mempertimbangkan distribusi yang lebih luas.

Detector bertugas menganalisis statistical pattern dalam teks untuk menentukan apakah pola textGrain dapat ditemukan.

Namun, hasil detector tidak dapat dianggap sebagai bukti absolut bahwa sebuah teks dibuat atau tidak dibuat menggunakan AI.

Mengganti 10% Kata Bisa Menurunkan Deteksi secara Signifikan

OpenAI secara terbuka mengakui bahwa text watermarking memiliki kelemahan terhadap editing.

Dalam pengujian terhadap passage sepanjang 400 token, sistem dapat mendeteksi watermark pada sekitar 92% teks sebelum dilakukan modifikasi tertentu.

Ketika 10% kata diganti dengan sinonim, tingkat deteksi turun menjadi sekitar 66%.

Perubahan yang lebih besar menghasilkan penurunan jauh lebih drastis.

Ketika 25% kata diganti, tingkat deteksi watermark turun menjadi hanya sekitar 17%.

Hasil tersebut menunjukkan statistical watermark dapat terdegradasi dengan cepat apabila output mengalami rewriting.

Panjang Teks Sangat Memengaruhi Akurasi

Jumlah token juga menjadi faktor penting dalam keberhasilan detection.

Pada target false-positive rate 1%, OpenAI mendeteksi watermark pada sekitar 80% response psikologi sepanjang 200 token.

Ketika panjang response meningkat menjadi sekitar 400 token, tingkat deteksi naik menjadi sekitar 95%.

Hal ini masuk akal secara statistik karena detector mendapatkan lebih banyak word-choice signal ketika teks lebih panjang.

Sebaliknya, teks pendek memiliki lebih sedikit data untuk dianalisis sehingga confidence terhadap keberadaan watermark menjadi lebih rendah.

Artinya, detector kemungkinan lebih efektif untuk essay atau response panjang dibandingkan satu atau dua kalimat singkat.

Teks Matematika Lebih Sulit Dideteksi

Efektivitas textGrain juga berbeda berdasarkan jenis konten.

OpenAI menemukan detection menjadi lebih sulit pada bidang seperti matematika.

Salah satu penyebabnya adalah model memiliki lebih sedikit kebebasan dalam menentukan pilihan kata ketika menjawab pertanyaan yang memiliki struktur atau terminology yang relatif tetap.

Statistical watermark bergantung pada adanya beberapa pilihan bahasa yang masih dapat menghasilkan response berkualitas sama.

Pada creative atau explanatory writing, model mungkin memiliki banyak pilihan untuk menyampaikan sebuah konsep.

Dalam matematika, source code, formula, nama fungsi, technical terminology, dan jawaban faktual tertentu tidak selalu memiliki variasi bahasa yang cukup besar.

Keterbatasan tersebut dapat mengurangi signal yang tersedia bagi watermark detector.

Tidak Terdeteksi Bukan Berarti Ditulis Manusia

OpenAI secara khusus memperingatkan bahwa ketiadaan watermark tidak membuktikan human authorship.

Ada beberapa kondisi yang dapat menyebabkan teks AI tidak lagi menghasilkan positive detection.

Output mungkin terlalu pendek, telah diedit, diterjemahkan, atau mengalami transformasi lain yang mengubah statistical pattern.

Karena itu, detector tidak seharusnya digunakan dengan logika sederhana bahwa teks tanpa watermark pasti ditulis manusia.

Teks yang awalnya dihasilkan menggunakan ChatGPT atau Codex masih dapat kehilangan detectable watermark setelah melalui proses editing tertentu.

Watermark Juga Tidak Mengidentifikasi Pengguna

Detection textGrain juga memiliki batasan dari sisi attribution.

Menurut OpenAI, watermark yang berhasil terdeteksi tidak mengungkap siapa yang menghasilkan teks tersebut.

Detector tidak memberikan informasi mengenai account pengguna, prompt yang digunakan, maupun conversation tempat output dibuat.

Watermark juga tidak dapat menentukan berapa banyak bagian dari final document yang ditulis manusia.

Sebagai contoh, seseorang dapat menghasilkan draft menggunakan AI kemudian menulis ulang sebagian besar isinya secara manual.

Dalam kondisi tersebut, keberadaan atau ketiadaan watermark tidak dapat memberikan ukuran akurat mengenai persentase kontribusi manusia dan AI.

textGrain Bukan Alat untuk Membuktikan Plagiarisme

Keterbatasan tersebut penting terutama dalam penggunaan AI detector di lingkungan pendidikan dan profesional.

Hasil positive detection hanya menunjukkan adanya statistical signal yang sesuai dengan watermark, bukan bukti lengkap mengenai bagaimana sebuah document dibuat.

Sebaliknya, negative detection juga tidak dapat membuktikan bahwa seseorang menulis seluruh teks secara manual.

Hal ini membedakan watermark dari metode forensic yang dapat mengidentifikasi sumber secara deterministik.

Dengan false-positive target dan tingkat detection yang berubah berdasarkan panjang serta editing, hasil textGrain tetap perlu diinterpretasikan dalam konteks yang lebih luas.

Translation Juga Dapat Merusak Watermark

Selain rewriting menggunakan sinonim, translation menjadi salah satu transformasi yang dapat membuat watermark sulit dideteksi.

Hal ini terjadi karena penerjemahan dapat mengubah hampir seluruh pilihan kata dan struktur kalimat yang sebelumnya membentuk statistical pattern.

Bahkan jika makna akhir tetap sama, token dan word choice pada bahasa tujuan dapat berbeda secara signifikan.

Dengan demikian, teks yang awalnya memiliki textGrain watermark dapat kehilangan signal setelah diterjemahkan.

Kondisi ini menjadi tantangan besar bagi provenance system karena konten online sering melewati proses translation, summarization, paraphrasing, dan editing sebelum dipublikasikan kembali.

Kualitas GPT-6 Astra Disebut Tidak Terpengaruh Signifikan

Salah satu tantangan dalam text watermarking adalah menjaga kualitas output.

Jika model dipaksa memilih kata tertentu hanya untuk membentuk pola statistik, terdapat risiko response menjadi kurang natural atau kurang akurat.

OpenAI mengatakan pengujiannya terhadap GPT-6 Astra tidak menemukan dampak berarti terhadap kualitas ketika textGrain diaktifkan.

Benchmark performance dilaporkan tetap broadly similar antara model yang menggunakan watermark dan konfigurasi tanpa watermark.

Hal tersebut menunjukkan perusahaan berupaya membuat watermark cukup kuat untuk dideteksi tanpa terlalu membatasi kemampuan model memilih kata yang menghasilkan response berkualitas tinggi.

Namun, efektivitas sebenarnya tetap bergantung pada jenis konten, panjang output, serta seberapa banyak teks dimodifikasi setelah generation.

Watermark AI Masih Memiliki Keterbatasan Fundamental

textGrain menunjukkan pendekatan berbeda terhadap persoalan AI-generated content detection.

Alih-alih mencoba menebak apakah sebuah teks terlihat seperti tulisan AI, sistem menanam statistical pattern ketika output pertama kali dihasilkan.

Pendekatan tersebut memiliki keuntungan karena provenance signal berasal dari proses generation itu sendiri.

Namun, hasil pengujian OpenAI juga menunjukkan batasannya dengan jelas.

Mengganti seperempat kata pada passage 400 token dapat menurunkan detection dari sekitar 92% menjadi hanya 17%. Teks pendek juga menghasilkan tingkat detection lebih rendah, sementara translation dapat membuat signal semakin sulit ditemukan.

Dengan demikian, textGrain lebih tepat dipandang sebagai provenance signal tambahan, bukan metode yang dapat menentukan secara absolut apakah sebuah teks dibuat oleh manusia atau AI.

OpenAI Mulai Menerapkan Text Provenance di Uni Eropa

Peluncuran textGrain pada ChatGPT dan Codex di Uni Eropa menjadi langkah baru dalam upaya OpenAI menyediakan provenance mechanism untuk generative AI.

Eligible text output akan mulai menerima invisible watermark dalam beberapa minggu mendatang, sementara API developer di seluruh dunia sudah dapat memilih untuk mengaktifkan fitur tersebut pada supported model.

Pada saat yang sama, akses detector mulai dibuka secara terbatas kepada researcher dan expert organization yang disetujui.

Namun, OpenAI sendiri menegaskan bahwa teknologi tersebut tidak sempurna.

Watermark dapat melemah akibat editing atau translation, tidak dapat mengidentifikasi pengguna, tidak mengungkap prompt maupun conversation, dan tidak dapat menentukan seberapa besar kontribusi manusia terhadap final work.

Karena itu, keberadaan maupun ketiadaan textGrain watermark tidak seharusnya digunakan sebagai satu-satunya dasar untuk menentukan asal sebuah tulisan.

Sumber: OpenAI