OpenAI, üretken yapay zeka gelişimine öncülük ederken, birçok kişi Google'ı geride kalmakla suçladı. Ancak Google, geride kalmamak için 2023 Google I/O konferansında yeni bir büyük dil modeli olan PaLM 2'yi piyasaya sürdü.
Bir dizi uygulama için dört farklı boyutta gelecek şekilde ayarlanan Google'ın yeni LLM'si, görünüşe göre şimdiden birkaç Google hizmetine güç veriyor ve çok daha fazlası gelecek.
PaLM 2 Nedir?
10 Mayıs'ta düzenlenen Google I/O 2023'te Google CEO'su Sunda Pichai, Google'ın en son oyuncağını açıkladı: Palm 2.
Pathways Language Model 2'nin kısaltması olan Google'ın yükseltilmiş LLM'si, PaLM'nin ikinci tekrarıdır ve ilk sürüm Nisan 2022'de piyasaya sürülecektir. PaLM'yi hatırlayamıyor musunuz? O zamanlar büyük bir haberdi ve biraz sohbet etme, basit şakalar yapma vb. Altı ay ileri sar ve OpenAI'nin GPT-3.5'i her şeyi sudan çıkardı, PaLM dahil.
O zamandan beri, OpenAI, GPT-4'ü başlattı, GPT-3.5'te büyük bir yükseltme. Yine de, daha yeni model çok sayıda araca entegre edilirken, en önemlisi Microsoft'un Bing AI Chat'i, Google hedef alıyor PaLM 2 ile OpenAI ve GPT-4'te ve yükseltilmiş LLM'nin önemli gibi görünen bir boşluğu kapatacağını umacak - Google Bard lansmanı pek de gürültülü olmadı başarı.
Pichai, PaLM 2'nin dört farklı model boyutunda geleceğini duyurdu: Gecko, Otter, Bison ve Unicorn.
Gecko o kadar hafiftir ki mobil cihazlarda çalışabilir ve çevrimdışıyken bile cihazdaki harika etkileşimli uygulamalar için yeterince hızlıdır. Bu çok yönlülük, PaLM 2'nin daha fazla kişiye yardımcı olmak için tüm ürün sınıflarını daha fazla şekilde desteklemek üzere ince ayarlanabileceği anlamına gelir.
Saniyede yaklaşık 20 jetonu işleyebilen Gecko ile - jetonlar, üretken AI modelleri tarafından kullanılmak üzere gerçek kelimelere atanan değerlerdir - mobil konuşlandırılabilir AI araçları için bir oyun değiştirici gibi görünüyor.
PaLM 2 Eğitim Verileri
Google, PaLM 2'nin eğitim verileriyle tam olarak gelecek değildi, yeni piyasaya sürüldüğü düşünüldüğünde anlaşılabilir. Ancak Google'ın PaLM 2 Raporu [PDF], PaLM 2'nin daha derin bir matematik, mantık ve bilim anlayışına sahip olmasını istediğini ve eğitim külliyatının büyük bir bölümünün bu konulara odaklandığını söyledi.
Yine de, PaLM'nin beceriksiz olmadığını belirtmekte fayda var. Ne zaman Google PaLM ortaya çıkardığında, o zamanlar devasa bir rakam olan 540 milyar parametre üzerinde eğitildiğini doğruladı.
OpenAI'nin GPT-4'ünün bir trilyondan fazla parametre kullandığı iddia ediliyor, bazı spekülasyonlar bu rakamı 1,7 trilyona kadar çıkarıyor. Google, PaLM 2'nin OpenAI'nin LLM'leriyle doğrudan rekabet etmesini istediğinden, daha fazla değilse de en azından karşılaştırılabilir bir rakama sahip olacağı kesindir.
PaLM 2'ye yönelik bir diğer önemli destek, dil eğitimi verileridir. Google, PaLM 2'ye daha fazla derinlik ve bağlamsal anlayış kazandırmak ve çeviri yeteneklerini artırmak için 100'den fazla dilde eğitim vermiştir.
Ama sadece konuşulan diller değil. Google'ın daha iyi bilimsel ve matematiksel muhakeme sunması için PaLM 2 talebiyle bağlantı kuran LLM, ayrıca 20'den fazla programlama dilinde eğitim almış olması, onu programcılar için olağanüstü bir değer haline getiriyor.
PaLM 2 Halihazırda Google Hizmetlerini Destekliyor—Ancak Hâlâ İnce Ayar Gerekiyor
PaLM 2'yi elimize alıp neler yapabileceğini görmemiz uzun sürmeyecek. Şansınız varsa, PaLM 2 uygulamalarının ve hizmetlerinin lansmanı Bard'dan daha iyi olacaktır.
Ancak (teknik olarak!) PaLM 2'yi zaten kullanmış olabilirsiniz. Google, PaLM 2'nin Android, YouTube, Gmail, Google Docs, Google Slides, Google Sheets ve daha fazlası dahil olmak üzere 25 ürününde zaten dağıtıldığını ve kullanıldığını doğruladı.
Ancak PaLM 2 raporu ayrıca, özellikle bir dizi dilde toksik tepkilere yönelik yapılması gereken daha çok iş olduğunu da ortaya koyuyor.
Örneğin, spesifik olarak zehirli komutlar verildiğinde, PaLM 2, zamanın yüzde 30'undan daha fazlasında toksik tepkiler üretir. Ayrıca, belirli dillerde—İngilizce, Almanca ve Portekizce—PaLM 2 zehirli tepkiler verdi. zamanın yüzde 17'sinden fazlası, bu rakamı zorlayan ırksal kimlikler ve dinler dahil istemlerle daha yüksek.
LLM eğitim verilerini ne kadar araştırmacı temizlemeye çalışırsa çalışsın, bazılarının gözden kaçması kaçınılmazdır. Bir sonraki aşama, bu zehirli tepkileri azaltmak için PaLM 2'yi eğitmeye devam etmektir.
Büyük Dil Modelleri İçin Bir Patlama Dönemi
OpenAI, büyük bir dil modelini piyasaya süren ilk kişi değildi, ancak GPT-3, GPT-3.5 ve GPT-4 modelleri, şüphesiz üretken yapay zeka konusunda mavi dokunmatik kağıdı yaktı.
Google'ın PaLM 2'sinin çözülmesi gereken bazı sorunları var, ancak halihazırda birkaç Google hizmetinde kullanılıyor olması, şirketin en son LLM'sine duyduğu güveni gösteriyor.