Şu Anda Deneyebileceğiniz En İyi 7 Yerel/Çevrimdışı LLM

Kullanıcılar genellikle bir API aracılığıyla bir kullanıcı arabirimi kullanarak büyük dil modellerine (LLM'ler) erişir. API'leri kullanmak çeşitli avantajlar sağlamasına rağmen, sürekli internet ihtiyacı gibi sınırlamalar da getirir. bağlantı, sınırlı özelleştirmeler, olası güvenlik sorunları ve model yeteneklerini sınırlayan şirketler ödeme duvarı.

Artık HuggingFace'te bulunan sayısallaştırılmış LLM'ler ve H20, Text Gen ve GPT4All gibi AI ekosistemleri ile LLM ağırlıklarını bilgisayarınıza yüklemenize izin vererek, artık ücretsiz, esnek ve güvenli bir seçeneğiniz var. Al.

Başlamak için, şu anda kullanabileceğiniz en iyi yerel/çevrimdışı LLM'lerden yedi tanesini burada bulabilirsiniz!

1. Hermes GPTQ

Nous Research tarafından 300.000 talimattan oluşan bir veri seti kullanılarak ince ayarı yapılmış son teknoloji dil modeli. Hermes, Meta'nın LlaMA2 LLM'sini temel alır ve çoğunlukla sentetik GPT-4 çıkışları kullanılarak ince ayar yapılmıştır.

LlaMA2'nin temel model olarak kullanılması, Hermes'in bağlam boyutunu iki katına çıkarmasına veya maksimum belirteç boyutunun 4.096 olmasına olanak tanır. Uzun bağlam boyutunu ve bir kodlayıcı mimarisini bir araya getiren Hermes'in uzun yanıtlar ve düşük halüsinasyon oranları verdiği bilinmektedir. Bu, Hermes'i çeşitli uygulamalar için harika bir model yapar. doğal dil işleme (NLP) kod yazma, içerik oluşturma ve sohbet robotu olma gibi görevler.

Yeni Hermes GPTQ'nun çeşitli nicelemeleri ve sürümleri vardır. Mükemmel performansa sahipken konuşlandırması en kolay sürüm olduğundan, öncelikle Hermes-Llama2 13B-GPTQ modelini denemenizi öneririz.

2. Falcon Talimatı GPTQ

Falcon'un nicelleştirilmiş bu versiyonu, TII'nin ham Flacon-7b modeli üzerinde ince ayarı yapılmış yalnızca kod çözücü mimarisine dayalıdır. Temel Falcon modeli, halka açık internetten sağlanan olağanüstü 1,5 trilyon jeton kullanılarak eğitildi. Apache 2 kapsamında lisanslanan, yönerge tabanlı yalnızca kod çözücü modeli olan Falcon Instruct, dil çevirisi ve veri girişi için kullanılacak bir model arayan küçük işletmeler için mükemmeldir.

Ancak, Falcon'un bu sürümü ince ayar için ideal değildir ve yalnızca çıkarım yapmak içindir. Falcon'da ince ayar yapmak istiyorsanız, NVIDIA DGX gibi kurumsal düzeyde eğitim donanımına erişim gerektirebilen ham modeli kullanmanız gerekecektir. AMD Instinct Yapay Zeka Hızlandırıcıları.

3.GPT4ALL-J Harika

GPT4All-J Groovy, Nomic AI tarafından ince ayarı yapılmış ve Apache 2.0 altında lisanslanmış, yalnızca kod çözücülü bir modeldir. GPT4ALL-J Groovy, metin oluşturmada harika olduğu bilinen orijinal GPT-J modelini temel alır. istemlerden. GPT4ALL -J Groovy, hızlı ve yaratıcı metin oluşturma uygulamaları için harika olan bir sohbet modeli olarak ince ayarlanmıştır. Bu, GPT4All-J Groovy'yi içerik oluşturuculara ister şiir, ister müzik veya hikaye olsun, yazma ve yaratıcı çalışmalarda yardımcı olma konusunda ideal kılar.

Ne yazık ki, temel GPT-J modeli yalnızca İngilizce bir veri kümesi üzerinde eğitildi; bu da, bu ince ayarlı GPT4ALL-J modelinin bile yalnızca İngilizce olarak sohbet edebileceği ve metin oluşturma uygulamaları gerçekleştirebileceği anlamına gelir.

4.WizardCoder-15B-GPTQ

Kodlama için özel olarak ince ayarlanmış bir model mi arıyorsunuz? Oldukça küçük boyutuna rağmen WizardCoder, LlaMA-65B, InstructCodeT5+ ve CodeGeeX gibi diğer modelleri geride bırakan en iyi kodlama modellerinden biri olarak biliniyor. Bu model, modelin daha iyi anlayabileceği, kodlamayla ilgili daha etkili bir istem olacak şekilde istemlerinizi otomatik olarak düzenleyen, kodlamaya özgü Evol-Instruct yöntemi kullanılarak eğitilmiştir.

4 bitlik bir modele nicemlenen WizardCoder, artık normal PC'lerde kullanılabilir; burada bireyler onu deney yapmak için ve daha basit programlar ve betikler için bir kodlama asistanı olarak kullanabilir.

5. Sihirbaz Vicuna Sansürsüz-GPTQ

Wizard-Vicuna GPTQ, LlaMA modeline dayalı olarak Wizard Vicuna'nın nicelleştirilmiş bir versiyonudur. Halka sunulan çoğu LLM'nin aksine, Wizard-Vicuna hizalaması kaldırılmış sansürsüz bir modeldir. Bu, modelin çoğu modelle aynı güvenlik ve ahlaki standartlara sahip olmadığı anlamına gelir.

Muhtemelen poz vermesine rağmen AI hizalama kontrol sorunu, sansürsüz bir LLM'ye sahip olmak, herhangi bir kısıtlama olmaksızın yanıt vermesine izin verilerek modelin en iyisini de ortaya çıkarır. Bu ayrıca kullanıcıların, yapay zekanın belirli bir istemi temel alarak nasıl davranması veya yanıtlaması gerektiğine ilişkin kendi özel hizalamalarını eklemelerine olanak tanır.

6. Orca Mini-GPTQ

Eşsiz bir öğrenme yöntemiyle eğitilmiş bir modelle deney yapmak mı istiyorsunuz? Orca Mini, Microsoft'un Orca araştırma makalelerinin resmi olmayan bir model uygulamasıdır. Veri setinin yalnızca istemler ve yanıtlar yerine açıklamalarla dolu olduğu öğretmen-öğrenci öğrenme yöntemi kullanılarak eğitildi. Bu, teorik olarak, tipik LLM'lerin nasıl çalıştığı gibi girdi ve çıktı çiftlerini aramak yerine modelin sorunu anlayabildiği daha akıllı bir öğrenciyle sonuçlanmalıdır.

Yalnızca üç milyar parametreyle Orca Mini GPTQ'nun daha az güçlü sistemlerde bile çalıştırılması kolaydır. Ancak, yanlış bilgi, önyargılı ve saldırgan tepkiler ürettiği için bu model profesyonel herhangi bir şey için kullanılmamalıdır. Bu model, Orca ve yöntemlerini öğrenmek ve denemek için kullanılmalıdır.

7.LlaMA 2 Sohbet GPTQ

LlaMA 2, bu listedeki çoğu modeli ortaya çıkaran orijinal LlaMA LLM'nin halefidir. LlaMA 2, her biri 7-70 milyar parametre kullanılarak eğitilmiş birkaç LLM koleksiyonudur. Genel olarak, LlaMA 2, halka açık talimat veri kümelerinden alınan 2 trilyon token veri kullanılarak önceden eğitildi.

LlaMA 2'nin ticari ve araştırma amaçlı kullanılması amaçlanmıştır. Bu nedenle, bu model en iyi, belirli görevlerde daha iyi performans için ince ayar yapıldıktan sonra kullanılır. Bu özel LlaMA 2 sohbet GPTQ modeli, İngilizce diyalog için ince ayar yapılmış ve optimize edilmiştir. şirketler ve kuruluşlar için çok az veya hiç ekstra eğitim olmadan bir sohbet robotu olarak kullanmak için mükemmel model gerekli. Şartlara göre 700 milyondan az kullanıcısı olan şirketler LlaMA 2'yi Meta veya Microsoft'tan herhangi bir lisans ücreti ödemeden kullanabilirler.

Yerel Büyük Dil Modellerini Bugün Deneyin

Yukarıda listelenen modellerden bazıları, parametreler açısından birkaç versiyona sahiptir. Genel olarak, daha yüksek parametreli sürümler daha iyi sonuçlar verir ancak daha güçlü donanım gerektirirken, daha düşük parametreli sürümler daha düşük kaliteli sonuçlar verir ancak daha düşük kaliteli donanımlarda çalışabilir. Bilgisayarınızın modeli çalıştırabileceğinden emin değilseniz, önce daha düşük parametreli sürüme gitmeyi deneyin, ardından performans düşüşünün artık kabul edilemez olduğunu hissedene kadar devam edin.

Bu listedeki sayısallaştırılmış modeller yalnızca birkaç gigabayt yer kapladığından ve GPT4All ve Text-Generation-WebUI, tek tıklamayla yükleyicileri aracılığıyla kolayca kurulabilir, birkaç model ve model sürümünün denenmesi uzun sürmemelidir. çok zaman ve çaba.

Peki ne bekliyorsun? Bugün yerel bir model deneyin!