Deepfake Müzik Nedir? Ve Nasıl Oluşturulur?

Müzik, birinin sesini sentezlemek için çok karmaşık olduğu için uzun bir süre derin sahtekarlık dünyasından uzak durabildi. AI teknolojisindeki gelişmelerle bunların hepsi değişti. Yeni vokal parçaları üretmek için kullanılabilecek ünlü sanatçıların ses klonlarıyla sonuçlandı.

AI araçlarının ortalama insanlar için daha erişilebilir hale gelmesiyle birlikte, derin müzik, büyüyen bir sorundur. İşte ne olduğu ve nasıl yaratıldığı.

Deepfake Müziğin Evrimi

En sevdiğiniz sanatçının Spotify veya YouTube'da şarkı söylediğini duyduğunuzda, bunun sahte olabileceğini pek düşünmezsiniz, ancak AI gelişmeleri bunu gerçeğe dönüştürdü. Sahte görüntüler ve videoların yanı sıra, derin müzik de var.

AI araçları, bir AI modelini seslerinin ses örnekleri üzerinde eğiterek bir kişinin şarkı söyleme sesini aslına uygun şekilde yeniden üretebilir. Sanatçının hayranları veya AI teknolojisinin hayranları tarafından yaratılan daha fazla insan, vokal doppelgängers yaratmaya çalışıyor.

İnsanlar, IBM 7094'ün şarkı söyleyen ilk bilgisayar olduğu 1961 yılına kadar, yıllarca bir bilgisayar kullanarak sesi sentezlemeye çalışıyorlar. duyabilirsin Daisy Bell'i bir YouTube klibinde söyleyen bilgisayar tarafından oluşturulan ses ve bu anın ne kadar muhteşem olduğunu hayal etmeye çalışın.

21. yüzyıla hızlı ileri sarın ve AI teknolojisi, sentezlenmiş sesin kalitesini iyileştirdi ve insanların seslerini klonlamak gibi, çoğumuzun şu ana kadar asla mümkün olmadığını düşündüğümüz şeyleri yapmamızı sağladı.

Roberto Nickson'ın sesini sanatçı ve rapçi Kanye West'e dönüştürdüğü bu klibe bir bakın. Videoyu izlemek esrarengiz hissettiriyor, kulağa gerçekten Kanye gibi geliyor ama izlemesi de rahatsız edici. Sanatçının nasıl düşünebileceği veya hissedebileceği hakkında çok fazla düşünmeden ve izin almadan, birinin sesini kendine mal etmek olarak görülebilir.

Daisy Bell'in bilgisayar versiyonundan farklı olarak, AI vokal klonlama, birinin benzersiz vokalini belirlememize yardımcı olan tınıdaki tüm ince farklılıkları içeren birinin sesi profil. Ancak, lisanssız ve izinsiz yapılan deepfake müziğin bazı ciddi sorunları vardır, bunlara daha sonra değineceğiz.

Deepfake Şarkıları Nasıl Oluşturulur?

Deepfake şarkılar oluşturmak için farklı yöntemler kullanılıyor ancak bunların çoğu AI teknolojisini kullanıyor. gibi açık kaynaklı projeler GitHub'da SoftVC VITS Singing Voice Conversion projesiörneğin, adında ne diyorsa onu yapan bir yapay zeka modeli geliştirmiştir: bir ses örneğini şarkı sesine dönüştürür.

Bu model, şarkı söyleyen birinin mevcut ses dosyasını alır ve başka birinin sesine dönüştürür. Orijinal sesin sözleri ve ritmi gibi şeyler korunur ancak ton, tını ve kişisel vokal nitelikleri, eğitim veri kümesi tarafından belirtilen sese dönüştürülür.

Orijinal sanatçıyla aynı tarz ve türde vuruşlar ve melodiler oluşturmak gibi şarkının diğer bölümlerinin yine de manuel olarak üretilebileceğini unutmayın.

Kanye West'in sesinin derin bir sahtesini oluşturmak için, gerçek Kanye'nin sesinin örneklerini içerecek olan üçüncü taraf bir veri setinin SoftVC VITS modeline girilmesi gerekiyordu. Veri kümesini içeren dosya, o zamandan beri yazar tarafından kaldırıldı; bu, yetkisiz veri kümeleriyle gelebilecek belirsiz yasal alan düşünüldüğünde şaşırtıcı değil.

Ticari bir uygulamaya dönüştürülmemiş olsa da, Google İşbirliği'nde SoftVC VITS modeli bu daha kullanıcı dostu.

Etik ve yasal sınırlar getirilene kadar, kullanımı daha kolay ses klonlama uygulamalarının pop-up—bir metin açıklamasını sanatçının stilini taşıyan şarkılara dönüştüren Drayk.it uygulamasından çok farklı değil Drake. Daha sonra kapatıldı.

Deepfake müzik oluşturmak için kullanılan diğer bazı araçlar, aşağıdakiler gibi büyük dil modellerini içerir: ChatGPT, ünlü bir sanatçının tarzında şarkı sözleri yazmak için kullanılabilecek; Ve OpenAI'nin Müzik Kutusu Ve Google'ın MusicLM'sitamamen sıfırdan ham ses biçiminde müzik oluşturabilen üretken yapay zeka modelleridir.

Farkı duyabiliyor musun?

Ghostwriter adlı anonim bir kullanıcı tarafından oluşturulan bir parça, Drake ve The Weeknd sanatçıları tarafından söylenen sözleri içerdiği için Nisan 2023'te TikTok'ta viral oldu. Elbette bunlar sanatçıların gerçek sesleri değil, sahte sesleriydi.

Vokaller orijinalin bu kadar iyi bir kopyası olmasaydı, bir hit olmayabilirdi. Biraz kazı yaparak, gerçek olup olmadığını oldukça hızlı bir şekilde anlayabilirsiniz, ancak sadece kulaklarınızı kullanarak, yalnızca gerçek olup olmadığını tahmin edebilirsiniz.

İsterseniz yapay zeka tarafından oluşturulmuş bir görüntüyü tanımlayın arayabileceğiniz en azından birkaç görsel sapma var. Sese gelince, aslına uygun olmayan ses veya parçadaki aksaklıklar gibi işaretler, müzik yapımında her zaman kullanılan yaratıcı seçimler olduğundan pek bir anlam ifade etmez.

Daha da ilginç olanı, birçok insanın, Drake veya The Weeknd'in gerçek sesleri olmadığını keşfettikten sonra bile şarkıyı gerçekten sevmesidir. Hayranlar, her şeyin yapay zeka ile basitçe üretilmediğini ve gerçek beceri ve çalışmanın şarkı sözlerini yazmaya, vuruşları bestelemeye ve her şeyi bir araya getirmeye gittiğine dikkat çekti.

Parça, sonraki günlerde kaldırılmadan önce Spotify ve YouTube'a ulaştı, ancak hayranlar şarkıyı mp3 olarak indirmeden önce değil. "Heart On My Sleeve, Drake ft. Hafta Sonu".

Çok yakında, yapay zeka tarafından üretilen ses klonları ile gerçek insan sesi arasındaki farkı tespit etmek neredeyse imkansız hale gelecek. Bunu akılda tutarak, insanlar bunun ilk etapta AI teknolojisinin iyi bir kullanımı mı, hatta yasal bir kullanımı mı olduğunu sorguluyor.

Deepfake Müzikle İlgili Sorunlar

Bir yandan, insanlar en sevdikleri sanatçıların hayran yapımı mashup'larını dinlemekten zevk alıyor ve onu gerçeğe dönüştüren yaratıcılığa saygı duyuyor. Ancak, ilk etapta ses klonlarına sahip olma yeteneği, yetkilendirilmiş veya yetkilendirilmemiş veri kümelerine dayanır.

İzinsiz olarak, bir kişinin sesinin örnekleri, daha sonra bir yapay zeka ses dönüştürme modelini eğitmek için kullanılan bir veri kümesinde toplanır. karşılaştığı soruna benzer görüntülerini eğitim veri kümelerinden kaldırmak isteyen sanatçılar Dall-E veya Midjourney gibi AI görüntü oluşturucularını eğitmek için kullanılır.

Telif hakkı yasası da deepfake müzikle uğraşmaya pek hazır değil. 2020'de sanatçı Jay-Z, YouTube'u William Shakespeare'in "To Be or Not to Be" monologundan yapay zeka tarafından oluşturulan sesini kaldırmaya zorlamada başarısız oldu.

Spotify veya YouTube'a bir deepfake şarkı yüklendiğinde, kim para kazanıyor sorusu da ortaya çıkıyor. Bir başkasının sesini neredeyse birebir kopyalayan bir şarkıdan para kazanabilmeli misiniz?

Holly Herndon orijinal eser yaratmak için ses modelini kullanması karşılığında insanların onu telafi etmesi için bir sistem yaratmaya çalışan bir sanatçı. Nick Cave gibi diğer sanatçılar ise AI'ya karşı konuştu, yazı:

Şarkılar ıstıraptan doğar, bununla kastettiğim, karmaşık, içsel insan yaratma mücadelesine dayanır ve bildiğim kadarıyla algoritmalar hissetmez.

Bazen, AI tarafından oluşturulan metin yaratıcılıktan yoksun olabilir tamamen ama yine de çevrimiçi olarak yayınlanıyorlar. AI, çok az çaba harcanmış çok sayıda kötü müzikle sonuçlanabilir.

Müzik ve Yapay Zeka Arasında Bir Denge Bulma

Deepfake müzik, yetkisiz veri kümeleri üzerinde eğitilmiş yapay zeka araçları ve yapay zeka modelleri kullanılarak oluşturulur. Bazı modeller açık kaynaklıdır ve ücretsiz olarak erişilebilir, diğer yandan bunları kullanıcı dostu bir uygulamada paketlemek için başka girişimlerde bulunulmuştur.

Deepfake müzik modellerini veya uygulamalarını daha fazla insan ele geçirdikçe, sanatçı üzerindeki etkiyi düşünmeye değer. Eğitim veri kümeleri için izin almak ve sanatçı için tazminat almak, yapay zeka müzik teknolojisi üzerinde beliren sorunlardan sadece birkaçı.