Google PaLM 2 vs. OpenAI GPT-4: Fark Nedir?

Google, 10 Mayıs 2023'te Google I/O 2023'te Pathways Dil Modeli'nin (PaLM 2) yeni neslini tanıttı. Yeni büyük dil modeli (LLM), selefine (PaLM) göre çok fazla gelişmeye sahip ve sonunda en büyük rakibi OpenAI'nin GPT-4'ünü almaya hazır olabilir.

Ancak Google ne kadar iyileştirme yaptı? PaLM 2, Google'ın olmasını umduğu fark yaratıcısı mı ve daha da önemlisi, pek çok benzer yetenekle PaLM 2'nin OpenAI'nin GPT-4'ünden farkı nedir?

PaLM 2 vs. GPT-4: Performansa Genel Bakış

PaLM 2, yeni ve geliştirilmiş yeteneklerle doludur selefinin üzerinde. PaLM 2'nin GPT-4'e göre benzersiz avantajlarından biri, çok fazla yerleşik işlem gücüne sahip olmayan belirli uygulamalara özgü daha küçük boyutlarda mevcut olmasıdır.

Tüm bu farklı boyutların Gecko, Otter, Bison ve Unicorn adlı kendi daha küçük modelleri vardır; en küçüğü Gecko, ardından Otter, Bison ve son olarak en büyük model olan Unicorn gelir.

Google ayrıca, WinoGrande ve DROP'ta GPT-4'e göre muhakeme yeteneklerinde bir gelişme olduğunu iddia ediyor, birincisi ARC-C'de dar bir marj çekiyor. Ancak, PaLM ve SOTA söz konusu olduğunda, yönetim kurulu genelinde önemli bir gelişme var.

Google'ın 91 sayfalık verilerine göre PaLM 2 matematikte de daha iyi PaLM 2 araştırma makalesi [PDF]. Ancak, Google ve OpenAI'nin test sonuçlarını yapılandırma biçimleri, iki modeli doğrudan karşılaştırmayı zorlaştırıyor. Google, muhtemelen PaLM 2'nin neredeyse GPT-4 kadar iyi performans göstermemesi nedeniyle bazı karşılaştırmaları da ihmal etti.

MMLU'da GPT-4 86.4, PaLM 2 ise 81.2 puan aldı. Aynısı, GPT-4'ün puan aldığı HellaSwag için de geçerli 95.3, ancak PaLM 2 yalnızca 86.8'i ve GPT-4 ve PaLM 2'nin 96.3 ve 89.7 aldığı ARC-E'yi toplayabildi, sırasıyla.

PaLM 2 ailesinin en büyük modeli PaLM 2-L'dir. Tam boyutunu bilmesek de, en büyük PaLM modelinden önemli ölçüde daha küçük olduğunu ancak daha fazla eğitim hesaplaması kullandığını biliyoruz. Google'a göre, PaLM 540 milyar parametreye sahiptir, bu nedenle "önemli ölçüde daha küçük", PaLM 2'yi 10 ila 300 milyar parametre arasında herhangi bir yere koymalıdır. Bu rakamların, Google'ın PaLM 2 makalesinde söylediklerine dayanan varsayımlar olduğunu unutmayın.

Bu sayı 100 milyara yakın veya altındaysa, parametreler açısından PaLM 2 büyük ihtimalle daha küçüktür. GPT-3.5. Potansiyel olarak 100 milyarın altındaki bir modelin GPT-4 ile başa baş gidebileceğini ve hatta bazı görevlerde onu yenebileceğini düşünmek etkileyici. GPT-3.5 başlangıçta her şeyi sudan çıkardıPaLM dahil, ancak PaLM 2 oldukça iyileşti.

GPT-4 ve PaLM 2 Eğitim Verilerindeki Farklılıklar

Google, PaLM 2'nin eğitim veri setinin boyutunu açıklamamış olsa da, araştırma raporunda yeni LLM'nin eğitim veri setinin önemli ölçüde daha büyük olduğunu bildiriyor. OpenAI, GPT-4'ü ortaya çıkarırken de aynı yaklaşımı benimsedi ve eğitim veri setinin boyutu hakkında hiçbir iddiada bulunmadı.

Ancak Google, daha derin bir matematik, mantık, muhakeme ve bilim anlayışına odaklanmak istedi; bu, PaLM 2'nin eğitim verilerinin büyük bir kısmının yukarıda bahsedilen konulara odaklandığı anlamına geliyor. Google, makalesinde PaLM 2'nin eğitim öncesi külliyatının web belgeleri de dahil olmak üzere birden çok kaynaktan oluştuğunu söylüyor. kitaplara, kodlara, matematiğe ve konuşmalara dayalı verilerle, en azından öncekilerle karşılaştırıldığında, genel olarak iyileştirmeler sağlıyor. Avuç içi.

Modelin eğitilmiş olduğu düşünülürse, PaLM 2'nin konuşma becerileri de başka bir seviyede olmalıdır. 100'den fazla dilde, daha iyi bir bağlamsal anlayış ve daha iyi çeviri sağlamak için yetenekler.

GPT-4'ün eğitim verilerinin doğrulandığı kadarıyla, OpenAI bize modeli halka açık verileri ve lisansladığı verileri kullanarak eğittiğini söyledi. GPT-4'ün araştırma sayfası Veriler, matematik problemlerinin doğru ve yanlış çözümlerini, zayıf ve güçlü muhakeme, kendi içinde çelişkili ve tutarlı ifadeler ve çok çeşitli ideolojileri ve fikirler."

GPT-4'e bir soru sorulduğunda, tümü sorgunuzla alakalı olmayabilecek çok çeşitli yanıtlar üretebilir. Kullanıcının amacına uygun hale getirmek için OpenAI, insan geri bildirimi ile takviyeli öğrenmeyi kullanarak modelin davranışında ince ayar yaptı.

Bu modellerden herhangi birinin üzerinde eğitildiği tam eğitim verilerini bilmesek de, eğitim amacının çok farklı olduğunu biliyoruz. Eğitim amacındaki bu farkın, gerçek dünyadaki bir dağıtımda iki model arasında nasıl bir fark yarattığını bekleyip görmemiz gerekecek.

PaLM 2 ve GPT-4 Sohbet Robotları ve Hizmetleri

Her iki LLM'ye de erişen ilk portal, ilgili sohbet robotlarını, PaLM 2'den Bard ve GPT-4'ün ChatGPT'sini kullanıyor. Bununla birlikte, GPT-4, ChatGPT Plus ile bir ödeme duvarının arkasındadır ve ücretsiz kullanıcılar yalnızca GPT-3.5'e erişebilir. Bard ise herkes için ücretsizdir ve 180 ülkede mevcuttur.

Bu, GPT-4'e ücretsiz olarak erişemeyeceğiniz anlamına da gelmez. Microsoft'un Bing AI Chat'i GPT-4 kullanır ve tamamen ücretsizdir, herkese açıktır ve Google'ın alandaki en büyük rakibi olan Bing Search'ün hemen yanında kullanılabilir.

Google I/O 2023, PaLM 2 ve üretken yapay zeka entegrasyonunun Google Workspace'i nasıl iyileştireceğine dair duyurularla doluydu Google Dokümanlar, E-Tablolar, Slaytlar, Gmail ve arama devinin sunduğu hemen hemen her hizmete gelen yapay zeka özellikleriyle ilgili deneyim. Ayrıca Google, PaLM 2'nin Android ve YouTube da dahil olmak üzere 25'in üzerinde Google ürününe entegre edildiğini onayladı.

Buna karşılık Microsoft, Microsoft Office program paketine ve hizmetlerinin çoğuna AI özelliklerini zaten getirdi. Şu anda, AI savaşında kafa kafaya giden iki rakip şirketin benzer tekliflerinin kendi sürümlerinde her iki LLM'yi deneyimleyebilirsiniz.

Ancak, GPT-4 erken çıktığından ve Google'ın orijinal Bard ile yaptığı birçok hatayı önlemek için dikkatli olduğundan, üçüncü taraf geliştiriciler, yeni başlayanlar ve hizmetlerine yetenekli bir AI modelini dahil etmek isteyen hemen hemen herkes için fiili LLM uzak. bizde var kontrol etmek isterseniz GPT-4 uygulamalarının listesi.

Bu, geliştiricilerin PaLM 2'ye geçmeyecekleri veya en azından denemeyecekleri anlamına gelmez, ancak Google'ın bu cephede OpenAI ile arayı kapatması gerekiyor. PaLM 2'nin ücretli bir API'nin arkasında kilitli olmak yerine açık kaynaklı olması, GPT-4'ten daha geniş çapta benimsenme potansiyeline sahip olduğu anlamına gelir.

PaLM 2, GPT-4'ü Yenebilir mi?

PaLM 2 hala çok yeni, bu nedenle GPT-4'ü alıp alamayacağına dair yanıt henüz yanıtlanmayı bekliyor. Bununla birlikte, Google'ın vaat ettiği her şey ve onu yaymak için kullanmaya karar verdiği agresif tavırla, PaLM 2, GPT-4'ün parasını deneyebilir gibi görünüyor.

Bununla birlikte, GPT-4 hala oldukça yetenekli bir modeldir ve daha önce bahsedildiği gibi, birkaç karşılaştırmada PaLM 2'yi geçer. Bununla birlikte, PaLM 2'nin birden fazla küçük modeli, ona reddedilemez bir avantaj sağlıyor. Gecko'nun kendisi o kadar hafiftir ki, çevrimdışıyken bile mobil cihazlarda çalışabilir. Bu, PaLM 2'nin GPT-4'ü kullanmakta zorlanabilecek tamamen farklı bir ürün ve cihaz sınıfını destekleyebileceği anlamına gelir.

AI Yarışı Kızışıyor

PaLM2'nin piyasaya sürülmesiyle, yapay zeka hakimiyeti yarışı kızıştı çünkü bu, GPT-4'e karşı çıkan ilk değerli rakip olabilir. Eğitimde olan "Gemini" adlı daha yeni bir çok modlu AI modeli ile Google burada herhangi bir yavaşlama belirtisi göstermiyor.