AI Tilly Norwood Wajibkan Pemindaian Wajah dan Analisis Mood Setiap Penelepon

Karakter AI Tilly Norwood kembali menjadi perhatian setelah sebuah layanan video call yang memungkinkan pengguna berbicara langsung dengannya ternyata menerapkan sejumlah sistem analisis terhadap penelepon.

Sebelum dapat melakukan panggilan, pengguna diwajibkan melewati pemeriksaan usia menggunakan video selfie. Selama panggilan berlangsung, sistem juga menganalisis kamera dan suara pengguna untuk memperkirakan kondisi emosional mereka.

Tilly Norwood sendiri merupakan aktris AI yang menjadi kontroversial setelah tampil dalam proyek film berbasis AI berjudul Misaligned. Karakter tersebut kembali viral setelah mengalami glitch ketika tampil dalam program Piers Morgan Uncensored dan tiba-tiba berbicara dalam bahasa Mandarin.

Layanan bernama Talking Tilly kemudian memungkinkan publik melakukan video call dengan karakter AI tersebut. Namun, ketentuan privasi layanan menunjukkan bahwa interaksi tersebut melibatkan lebih banyak pemrosesan data dibandingkan yang mungkin disadari pengguna.

Pengguna Harus Melakukan Face Scan Sebelum Panggilan

Sebelum panggilan pertama dapat dimulai, pengguna harus melewati pemeriksaan usia otomatis.

Layanan tersebut menggunakan Didit, perusahaan verifikasi identitas asal Spanyol, untuk menganalisis video selfie dan memperkirakan usia pengguna. Jika sistem tidak dapat menentukan usia dengan cukup jelas, pengguna akan diminta mengunggah kartu identitas resmi sebagai alternatif.

Menurut Xicoia Ltd, perusahaan Inggris yang berada di balik Tilly Norwood, video selfie dikirim langsung dari perangkat pengguna ke Didit untuk proses verifikasi.

Perusahaan menyatakan bahwa proses tersebut tidak membuat faceprint atau template biometrik. Xicoia juga menyebut selfie maupun foto identitas tidak disimpan setelah proses pemeriksaan selesai.

Sebagai gantinya, layanan hanya menyimpan perkiraan kelompok usia serta nomor referensi yang berkaitan dengan pemeriksaan tersebut.

Pemeriksaan usia ini berlaku untuk pengguna di seluruh dunia dan tidak dapat dilewati. Persyaratan tersebut baru ditambahkan ke ketentuan layanan pada September, bersamaan dengan sejumlah perubahan lain seperti larangan penggunaan untuk keperluan pekerjaan dan sistem keamanan otomatis baru.

Sistem Juga Menganalisis Mood Pengguna

Pemindaian wajah bukan satu-satunya bentuk analisis yang dilakukan Talking Tilly.

Selama setiap panggilan berlangsung, sistem memantau feed kamera pengguna serta mendengarkan intonasi suara untuk memperkirakan kondisi emosional mereka.

Informasi tersebut kemudian digunakan agar karakter AI dapat memberikan respons yang dianggap sesuai dengan suasana hati pengguna.

Yang menjadi perhatian adalah analisis tersebut tidak dapat dinonaktifkan untuk satu sesi panggilan tertentu. Dengan kata lain, pengguna yang tidak ingin kamera dan suara mereka dianalisis untuk memperkirakan kondisi emosional tidak memiliki opsi untuk mematikan fitur tersebut ketika melakukan panggilan.

Baik pemeriksaan usia maupun analisis kondisi emosional menggunakan dasar hukum legitimate interests, bukan persetujuan pengguna (consent). Riwayat perubahan kebijakan Xicoia menunjukkan bahwa dasar tersebut ditetapkan pada September.

Panggilan Direkam dan Diproses oleh Penyedia Layanan Eksternal

Interaksi dengan Tilly juga tidak berlangsung sepenuhnya secara lokal.

Panggilan direkam dan ditranskripsikan, kemudian diproses secara langsung menggunakan penyedia layanan berbasis Amerika Serikat. Respons karakter AI dihasilkan menggunakan model Gemini dari Google melalui platform video percakapan Tavus.

Artinya, pengguna yang melakukan video call dengan Tilly pada dasarnya berinteraksi dengan rangkaian sistem AI dan layanan pihak ketiga yang memproses video, suara, transkrip, serta respons percakapan.

Transkrip percakapan dapat disimpan hingga delapan minggu dan dapat ditinjau oleh staf Xicoia maupun mitra pihak ketiga.

Sementara itu, karakter Tilly juga dapat mempertahankan memori percakapan sebelumnya untuk memberikan pengalaman yang lebih personal. Menurut kebijakan layanan, memori tersebut dapat dihapus berdasarkan permintaan pengguna.

Sistem Moderasi Sempat Salah Mendeteksi Percakapan

Talking Tilly juga menggunakan sistem otomatis untuk menyaring percakapan dari bahasa kasar atau konten yang dianggap abusif.

Jika sistem mendeteksi bahasa yang melanggar aturan, rekaman percakapan dapat ditahan dan tidak langsung diberikan kepada pengguna.

Dalam pengujian yang dilakukan penulis sumber, salah satu dari tiga panggilan justru ditahan karena dianggap mengandung bahasa “hateful or abusive language”, meskipun percakapannya hanya membahas cuaca dan berita utama.

Kebijakan layanan menyebutkan bahwa rekaman yang salah ditandai dapat diperiksa oleh manusia dan kemudian dirilis.

Dalam pembaruan pada 19 September, Xicoia mengonfirmasi bahwa rekaman tersebut memang salah ditandai oleh sistem. Setelah ditinjau, rekaman akhirnya dirilis.

Terlepas dari hasil tersebut, rekaman percakapan hanya disimpan secara terbatas dan akan dihapus secara permanen setelah 24 jam dalam konteks rekaman yang ditahan.

Lima Menit Gratis, Setelah Itu Berbayar

Talking Tilly menyediakan lima menit pertama secara gratis. Setelah itu, pengguna harus membeli tambahan waktu untuk melanjutkan percakapan.

Pilihan yang tersedia meliputi:

• £0,99 untuk tambahan lima menit sekali pakai
• £13 untuk 15 menit
• £22 untuk 30 menit
• Maksimum 35 menit waktu berbayar untuk setiap pengguna

Namun, terdapat batasan penting yang perlu diperhatikan pengguna.

Seluruh menit yang dibeli hanya berlaku sampai layanan Talking Tilly dihentikan secara permanen pada 27 September pukul 23.59 waktu Pasifik. Waktu yang belum digunakan setelah layanan ditutup akan hangus.

Dengan demikian, pembelian waktu tambahan bukan merupakan kredit yang dapat digunakan secara permanen.

Kebijakan Ini Sejalan dengan Regulasi Inggris

Kewajiban melakukan pemeriksaan usia melalui wajah pada layanan AI mungkin terlihat tidak biasa. Namun, kebijakan tersebut sejalan dengan arah regulasi digital di Inggris.

Sejak Juli 2025, layanan situs dewasa yang melayani pengguna Inggris diwajibkan menerapkan mekanisme pemeriksaan usia, termasuk melalui pengunggahan identitas atau estimasi usia berbasis wajah.

Pemerintah Inggris juga berencana menerapkan pemeriksaan serupa bagi pembuatan akun media sosial baru oleh pengguna di bawah usia 16 tahun mulai musim semi 2027.

Pengumuman pemerintah Inggris mengenai kebijakan tersebut turut menyinggung chatbot AI yang berfungsi sebagai companion dalam konteks penegakan aturan untuk pengguna berusia 18 tahun ke atas.

Menariknya, dokumentasi keamanan Talking Tilly sendiri menegaskan bahwa Tilly bukanlah sebuah companion.

Akibatnya, kebijakan kepatuhan terhadap regulasi yang berasal dari Inggris dapat berdampak pada pengguna Talking Tilly di berbagai negara, bukan hanya di Inggris.

Glitch Tilly Norwood Kembali Menimbulkan Pertanyaan

Selain masalah privasi, Tilly Norwood juga menjadi perhatian karena penampilannya di Piers Morgan Uncensored.

Dalam sebuah klip yang ditonton lebih dari delapan juta kali, karakter AI tersebut mengalami glitch ketika sedang diwawancarai dan tiba-tiba berbicara dalam bahasa Mandarin.

Saat diajak berbicara melalui Talking Tilly, karakter tersebut memberikan penjelasan bahwa kejadian di acara tersebut “bukan persis versi jawaban yang disetujui”.

Tilly juga memberikan informasi cuaca di dunia “cloud”-nya menggunakan satuan Fahrenheit, meskipun karakter tersebut digambarkan sebagai sosok asal Inggris.

Talking Tilly dijadwalkan berhenti beroperasi secara permanen pada 27 September, hanya beberapa hari setelah kemunculannya di program tersebut.

Apakah glitch tersebut benar-benar merupakan kesalahan teknis atau bagian dari strategi promosi film Misaligned belum dapat dipastikan berdasarkan informasi yang tersedia. Xicoia sendiri menggambarkan Tilly sebagai proyek yang bertujuan menunjukkan perkembangan teknologi video berbasis AI.

Yang lebih jelas adalah bagaimana sebuah karakter AI yang tampak seperti layanan hiburan sederhana ternyata melibatkan berbagai lapisan pemrosesan data, mulai dari verifikasi usia menggunakan wajah, analisis suara dan ekspresi untuk memperkirakan mood, perekaman percakapan, transkripsi, hingga penggunaan model AI dan platform pihak ketiga.

Kasus Tilly Norwood menunjukkan bahwa ketika berinteraksi dengan karakter AI melalui kamera dan mikrofon, pengguna perlu memperhatikan bukan hanya apa yang dikatakan chatbot, tetapi juga data apa yang dikumpulkan dan bagaimana data tersebut diproses.

Sumber: Xicoia Ltd