Para pelaku jahat memanfaatkan alat musik AI generatif untuk menciptakan lagu-lagu homofobik, rasial, dan propaganda - dan mempublikasikan panduan yang menginstruksikan orang lain untuk melakukannya.
Menurut ActiveFence, layanan untuk mengelola operasi kepercayaan dan keamanan di platform online, telah terjadi lonjakan pembicaraan dalam komunitas "penggunaan ujaran kebencian" sejak Maret tentang cara memanfaatkan alat penciptaan musik AI untuk menulis lagu-lagu ofensif yang menargetkan kelompok minoritas. Lagu-lagu yang dihasilkan AI yang dibagikan dalam forum-forum dan papan diskusi ini bertujuan untuk menimbulkan kebencian terhadap kelompok etnis, gender, ras, dan agama, kata para peneliti ActiveFence dalam laporan mereka, sambil merayakan tindakan martir, penyakitan diri, dan terorisme.
Lagu-lagu penuh kebencian dan berbahaya bukanlah fenomena baru. Tapi ketakutan adalah bahwa, dengan hadirnya alat-alat musik gratis yang mudah digunakan, lagu-lagu itu akan dibuat secara massal oleh orang-orang yang sebelumnya tidak memiliki sarana atau pengetahuan - sama seperti generator gambar, suara, video, dan teks telah mempercepat penyebaran informasi yang keliru, disinformasi, dan ujaran kebencian.
\"Ini adalah tren-tren yang semakin intens ketika lebih banyak pengguna belajar cara menghasilkan lagu-lagu ini dan membagikannya dengan orang lain,\" kata Noam Schwartz, co-founder dan CEO ActiveFence, kepada TechCrunch dalam sebuah wawancara. \"Pelaku ancaman dengan cepat mengidentifikasi kerentanan spesifik untuk menyalahgunakan platform tersebut dengan cara yang berbeda dan menghasilkan konten berbahaya.\"
Menciptakan lagu \"kebencian\"
Alat-alat musik AI generatif seperti Udio dan Suno memungkinkan pengguna menambahkan lirik kustom ke lagu-lagu yang dihasilkan. SUrvei dari ActiveFence menemukan tautan-tautan ke lagu-lagu yang dihasilkan AI yang meniru teori konspirasi tentang orang-orang Yahudi dan menganjurkan pembunuhan massal mereka; lagu-lagu yang mengandung slogan-slogan yang terkait dengan kelompok teroris ISIS dan Al-Qaeda; dan lagu-lagu yang memujikan kekerasan seksual terhadap wanita.
Dampak lagu
Schwartz berpendapat bahwa lagu-lagu - berbeda dengan teks misalnya - membawa beban emosional yang membuatnya menjadi kekuatan yang kuat bagi kelompok-kelompok kebencian dan perang politik. Dia menunjuk pada Rock Against Communism, serangkaian konser rock kekuatan putih di Inggris pada akhir tahun 70-an dan awal tahun 80-an yang melahirkan subgenre musik "kebencian" antisemit dan rasial.
\"AI membuat konten berbahaya lebih menarik - bayangkan seseorang yang memberikan narasi berbahaya tentang suatu populasi tertentu dan kemudian bayangkan seseorang menciptakan lagu berima yang membuatnya mudah bagi semua orang untuk menyanyikan dan mengingat,\" katanya. \"Mereka memperkuat solidaritas kelompok, mengindoctrinasi anggota kelompok peripheral, dan juga digunakan untuk mengejutkan dan menyinggung pengguna internet yang tidak terafiliasi.\"
Tapi perbaikan bisa membuktikan hanya sementara ketika pengguna menemukan metode yang mengalahkan moderasi baru. Beberapa lagu propaganda teroris yang dihasilkan AI yang diidentifikasi ActiveFence, misalnya, diciptakan dengan menggunakan eufemisme dan transliterasi berbahasa Arab - eufemisme yang tidak terdeteksi oleh generator musik, diduga karena filter mereka tidak kuat dalam bahasa Arab.
Lagu berbahaya yang dihasilkan AI siap disebarkan ke mana-mana jika mengikuti jejak media AI yang lain. Wired mendokumentasikan tahun ini bagaimana klip Adolf Hitler yang dimanipulasi AI mendapatkan lebih dari 15 juta penonton di X setelah dibagikan oleh pengaruh konspirasi sayap kanan. di antara pakar lainnya, sebuah badan penasihat PBB telah menyatakan kekhawatiran bahwa konten rasial, antisemit, Islamofobik, dan xenofobik bisa ditambah daya oleh AI generatif.\"Layanan AI generatif memungkinkan pengguna yang tidak memiliki sumber daya atau keterampilan menciptakan dan teknis untuk membangun konten yang menarik dan menyebar gagasan yang dapat bersaing untuk perhatian di pasar gagasan global,\" kata Schwartz. \"Dan pelaku ancaman, setelah menemukan potensi kreatif yang ditawarkan oleh layanan-layanan baru ini, bekerja untuk menghindari moderasi dan menghindari terdeteksi - dan mereka berhasil.\"
