Apple memperketat kebijakan moderasi App Store untuk mencegah aplikasi dan perangkat kecerdasan buatan (AI) dipakai membuat gambar telanjang atau mengubah foto biasa menjadi konten seksual tanpa persetujuan. Pengembang kini dituntut lebih aktif menyaring konten, menyediakan saluran pelaporan, dan menindak akun yang menyalahgunakan layanan.
Aturan yang diperbarui itu memperjelas tanggung jawab pengembang atas konten buatan pengguna, termasuk gambar seksual non-konsensual yang dihasilkan dengan bantuan AI. Apple telah lama melarang materi pornografi dan aplikasi yang dirancang untuk membuat gambar seksual eksplisit. Melalui ketentuan baru, perusahaan mempertegas cara larangan tersebut harus diterapkan di dalam aplikasi.
Kewajiban moderasi konten di App Store
Pengembang aplikasi yang memuat konten buatan pengguna wajib menyaring gambar bermuatan seksual yang dibuat tanpa persetujuan orang yang menjadi subjeknya. Kewajiban itu mencakup konten yang dihasilkan menggunakan perangkat AI, bukan hanya gambar yang diunggah secara langsung oleh pengguna.
Pengembang juga harus menyediakan sarana agar pengguna dapat melaporkan konten yang dinilai tidak pantas. Mereka diwajibkan memblokir akun yang menyalahgunakan layanan, mencegah unggahan yang melanggar aturan, serta segera menghapus konten yang lolos dari sistem penyaringan.
Dengan ketentuan tersebut, Apple meminta pengembang tidak berhenti pada penyediaan fitur moderasi di atas kertas. Sistem pengamanan perlu dijalankan secara aktif agar konten terlarang tidak terus beredar di aplikasi. Pengembang juga harus menindaklanjuti laporan dan pelanggaran yang ditemukan.
Aplikasi dapat dihapus dari App Store jika pengembang dinilai gagal menyiapkan pengamanan yang memadai. Risiko serupa berlaku apabila pengembang tidak memperbaiki pelanggaran setelah mendapat peringatan. Ketentuan ini membuat tanggung jawab atas moderasi konten menjadi bagian penting dari kelayakan aplikasi untuk tetap tersedia di platform Apple.
Fitur nudifikasi tersembunyi terancam dihapus
Apple turut memperjelas larangan terhadap praktik bait-and-switch, yakni ketika aplikasi menyamarkan tujuan atau kemampuannya saat menjalani proses peninjauan. Aturan ini menyasar, antara lain, aplikasi yang baru menghadirkan fitur untuk merekayasa foto menjadi gambar telanjang setelah memperoleh persetujuan distribusi.
Jika dalam proses peninjauan Apple menemukan aplikasi memalsukan tujuan utama dan diam-diam memiliki fitur rekayasa foto telanjang, aplikasi itu dapat langsung dihapus dari platform. Pembuatnya juga dapat dikeluarkan secara permanen dari Apple Developer Program.
Aplikasi “nudify” menggunakan AI untuk memanipulasi foto seseorang sehingga tampak telanjang atau menghasilkan representasi intim tanpa izin. Penegasan aturan tentang fitur tersembunyi menutup ruang bagi pengembang untuk menghindari pemeriksaan dengan tidak mengungkapkan kemampuan tersebut sejak awal.
Apple juga mempertegas bahwa aplikasi yang memfasilitasi perdagangan manusia atau eksploitasi anak dapat ditarik dari App Store dan diblokir dari distribusi alternatif. Dengan demikian, penegakan aturan terkait eksploitasi tidak hanya menyangkut ketersediaan aplikasi di toko utama Apple.
Kontroversi AI ikut melatari perubahan aturan
Pembaruan kebijakan ini muncul setelah Apple mendapat kritik terkait penyalahgunaan AI untuk membuat gambar seksual tanpa persetujuan. Pada awal tahun ini, pengguna X memanfaatkan Grok untuk menghasilkan deepfake seksual non-konsensual, termasuk gambar yang melibatkan anak di bawah umur, menurut laporan Telset.
Apple tidak menarik X maupun Grok dari App Store setelah kontroversi tersebut. Namun, perusahaan disebut telah mengancam akan mencabut Grok dalam komunikasi dengan sejumlah senator. Peristiwa itu menjadi bagian dari tekanan publik yang mendorong perhatian lebih besar terhadap tanggung jawab platform dan pengembang.
Desakan juga muncul dalam acara WWDC Apple pada Juni, ketika para demonstran menyerukan agar perusahaan menghapus Grok, X, dan teknologi nudifikasi dari App Store. Pada Juli, jaksa kota San Francisco meminta Apple mencabut 13 aplikasi nudify. Apple menyatakan telah melakukan penghapusan tersebut.
Langkah terbaru Apple memperjelas kewajiban pengembang dalam mencegah dan menghapus konten seksual non-konsensual, sekaligus menegaskan konsekuensi bagi aplikasi yang menyembunyikan fungsi berbahaya. Penerapan aturan di lapangan akan menjadi ujian berikutnya: pengembang perlu memastikan fitur moderasi benar-benar bekerja, sementara pengguna tetap dapat melaporkan penyalahgunaan yang mereka temukan.
