Çok sayıda yapay zeka destekli sohbet robotu mevcut, ancak hangisi en iyi Yüksek Lisans'ı kullanıyor? Hangisinin en iyi olduğunu bulmak için LLM'leri nasıl karşılaştırabileceğiniz aşağıda açıklanmıştır.
Çevrimiçi olarak sunulan çok sayıda sohbet robotu varken ihtiyaçlarınızı karşılayanı seçmek son derece zor olabilir. Herhangi iki sohbet robotunu manuel olarak karşılaştırabilmenize rağmen, bu oldukça fazla zaman ve çaba gerektirecektir.
Daha iyi ve daha basit bir yol, popüler sohbet robotlarına güç veren farklı LLM'leri karşılaştırmak için Chatbot Arena'yı kullanmaktır. Aşağıda açıkladığımız çeşitli modelleri karşılaştırmak için birkaç mod sunar.
Chatbot Arena Nedir?
LMSYS Org tarafından oluşturulan Chatbot Arena, çeşitli LLM'leri kıyaslayan bir platformdur. Çeşitli modelleri sıralamak için Elo Derecelendirme sistemini kullanır.
Chatbot Arena, kullanıcıların LLM'leri karşılaştırması ve derecelendirmesi için birkaç yol sunar. Gönderilen geri bildirimlere dayanarak Chatbot Arena, farklı LLM'leri genel liderlik sıralamasında sıralıyor. Proje sponsorluğunda
HuggingFace, ChatGPT'ye açık kaynaklı bir alternatif.Anonim LLM'leri Chatbot Arena ile Karşılaştırma
Chatbot Arena'nın savaş modu, LLM'leri anonim olarak karşılaştırmanıza olanak tanır. Örneğin şunları yapabilirsiniz: ChatGPT (GPT 3.5) ve Claude'u karşılaştırın. Bu, Chatbot Arena'nın herhangi iki dil modelini kendisinin seçtiği ve adlarını açıklamadan bunları karşılaştırmanıza olanak tanıdığı anlamına gelir.
İlk komut istemine girdiğinizde, Chatbot Arena her iki modelden de yanıtlar alıp bunları yan yana sunar. Platform, farklı bir konuşma başlatmak için yanıtları yeniden oluşturmanıza (her iki Yüksek Lisans için) ve geçmişi temizlemenize olanak tanır. Net bir kazanan seçene kadar daha fazla soru sormaya devam edebilirsiniz.
Daha sonra A modelinin mi yoksa B modelinin mi daha iyi olduğunu seçebilirsiniz. Kazananı seçerken Chatbot Arena her iki botun da adlarını gösterir. Kararınız önceki algınızdan veya modellere ilişkin popülerliğinizden etkilenmediğinden bu mod harika çalışıyor. Chatbot Arena ayrıca sıcaklık, En İyi P ve maksimum çıkış jetonları gibi parametreleri ayarlamanıza da olanak tanır.
Seçilen LLM'leri Chatbot Arena ile Karşılaştırma
Herhangi iki LLM'yi karşılaştırmak istiyorsanız Chatbot Arena'nın yan yana moduna geçebilirsiniz. LLM'leri kendiniz seçebilmeniz dışında, bu mod neredeyse savaş moduyla aynı şekilde çalışır. Parametreleri ayarlayabilir, yanıtları yeniden oluşturabilir, geçmişi temizleyebilir ve sonunda bir kazanan seçebilirsiniz.
Ancak bu modda mevcut olan Yüksek Lisans'ların sayısı sınırlıdır. Llama 2, Vicuna ve ChatGLM'nin farklı sürümlerini seçebilirsiniz. GPT-4, GPT-3.5, Claude 1, Claude 2 vb. gibi popüler LLM'ler şu anda bu modda mevcut olmasa da Chatbot Arena bunları eklemeyi planlıyor.
Chatbot Arena'yı Kullanarak Yüksek Lisans Derecelerini Karşılaştırın
İhtiyaçlarınıza uygun bir chatbot bulmak istiyorsanız veya sadece farklı LLM'leri test etmek istiyorsanız, Chatbot Arena harika bir platformdur.
Farklı dil modellerini yan yana karşılaştırmanın basitleştirilmiş bir yolunu sağlar. Kullanıcıların geri bildirimlerine dayalı bir sıralama tablosu oluşturduğundan, testleri kendiniz çalıştırmanıza gerek kalmadan çeşitli modellerin sıralamalarını doğrudan görüntüleyebilirsiniz.