Linux'ta Geniş Dil Modeli Nasıl Çalıştırılır (ve Neden Çalıştırmalısınız)

Büyük dil modelleri, yaşama ve çalışma biçiminizde devrim yaratma potansiyeline sahiptir ve konuşmaları sürdürebilir ve soruları değişken doğruluk dereceleriyle yanıtlayabilir.

Birini kullanmak için genellikle bir LLM sağlayıcısında bir hesaba ve bir web sitesi veya özel uygulama aracılığıyla oturum açmanız gerekir. Ancak kendi büyük dil modelinizi Linux üzerinde tamamen çevrimdışı çalıştırabileceğinizi biliyor muydunuz?

Neden Linux'ta Büyük Bir Dil Modeli Çalıştırmalısınız?

Büyük dil modelleri (LLM'ler) bugünlerde her yerdedir ve doğal dili işleyebilir ve uygun yanıtlar verebilir, bu da sizi bir insanın yanıt verdiğine inandırabilir. Microsoft, Bing'in yapay zeka destekli yeni bir sürümünü kullanıma sunuyor, Alfabenin ise Bard artık Google aramalarının ayrılmaz bir parçası.

Arama motorlarından uzakta, soruları yanıtlamak, şiir yazmak ve hatta ev ödevinizi yapmak için sözde "AI chatbot'ları" kullanabilirsiniz.

Ancak LLM'lere çevrimiçi olarak erişerek, herhangi bir zamanda geri çekilebilecek olan üçüncü taraf bir sağlayıcının iyi niyetine güvenirsiniz.

Ayrıca kullanım kısıtlamalarına tabisiniz. Örneğin, OpenAI'den Nazi Almanya'sında geçen 6.000 kelimelik bir erotik roman yazmasını isteyin ve "Özür dilerim ama sizin için bu hikayeyi oluşturamayacağım" gibi bir yanıt alacaksınız.

Çevrimiçi LLM'lere girdiğiniz her şey, onları daha fazla eğitmek için kullanılır ve gizli kalmasını isteyebileceğiniz veriler, başka birinin sorusuna verilen yanıtın bir parçası olarak gelecekte tükürülebilir.

Ayrıca, sistem kullanıcılarla dolup taştığı ve abone olmak için can attığı için hizmet eksikliğine maruz kalırsınız, böylece talep yüksek olduğunda platforma erişebilirsiniz.

Dalai, Meta'nın LLaMa LLM'si ve Stanford'un Alpaca'sının ücretsiz ve açık kaynaklı bir uygulamasıdır. Mütevazı bir donanımda rahatça çalışır ve kullanışlı bir web arabirimi ve bir dizi bilgi istemi şablonu sunar; böylece ne isterseniz sorabilirsiniz. Bir yöneticinin hesabınızı kapatacağından, LLM'nin yanıt vermeyi reddedeceğinden veya bağlantınızın kesileceğinden korkmadan düşürmek.

Linux'ta yerel olarak bir LLM kurduğunuzda, sizindir ve onu istediğiniz gibi kullanabilirsiniz.

Dalai Linux'a Nasıl Kurulur?

Dalai'yi Linux'a kurmanın en kolay yolu Docker ve Docker Compose kullanmaktır. Bunlara zaten sahip değilseniz, nasıl yapacağınızla ilgili kılavuzumuza bakın. Docker ve Docker Compose'u kurun.

Bunun dışında, Dalai'yi kurmaya hazırsınız. Dalai GitHub deposunu klonlayın ve içine taşımak için cd komutunu kullanın:

git klonu https://github.com/cocktailpeanut/dalai.git && cd dalay

Dalai'yi bir web arayüzüyle çalışır duruma getirmek için önce Docker Compose dosyasını oluşturun:

docker-compose yapı

Docker Compose, Python 3.11, Node Version Manager (NVM) ve Node.js'yi indirip yükleyecektir.

Dokuzun yedinci aşamasında, Docker Compose Dalai'yi indirirken yapı donmuş gibi görünecektir. Endişelenmeyin: Bir şeyler olup bittiğinden emin olmak için bant genişliği kullanımınızı kontrol edin ve terminalinizdeki sanal organizmaların evrimini simüle edin sen beklerken.

Sonunda, komut istemine döndürüleceksiniz.

Dalai ve LLaMa/Alpaca modellerinin çalışması için çok fazla bellek gerekir. Herhangi bir resmi özellik olmasa da, 7B modeli için 4 GB, 13B modeli için 8 GB, 30B modeli için 16 GB ve 65B modeli için 32 GB iyi bir kaba kılavuzdur.

Alpaca modelleri nispeten küçüktür, 13B modeli mütevazı bir 7,6 GB'a ulaşır, ancak LLaMA ağırlıkları çok büyük olabilir: eşdeğer 13B indirme 60,21 GB olarak gelir ve 65B modeli sabit diskinizde epik bir yarım terabayt yer kaplar. disk.

Kaynaklarınız için hangi modelin en uygun olduğuna karar verin ve yüklemek için aşağıdaki komutu kullanın:

docker-compose dalai npx'i çalıştır dalai alpaka 13B'yi kur

Veya:

docker-compose dalai npx'i çalıştır dalai lama 13B'yi kur

Dalai aracılığıyla indirilen modellerin bozuk olma ihtimali vardır. Durum buysa, onları alın Sarılma Yüz yerine.

Komut istemine döndükten sonra, Docker Compose'u ayrılmış modda açın:

docker-oluştur -d

Kapsayıcının aşağıdakilerle düzgün çalışıp çalışmadığını kontrol edin:

docker-compose ps

Her şey olması gerektiği gibi çalışıyorsa, bir web tarayıcısı açın ve yerel ana bilgisayar: 3000 adres çubuğunda.

Linux'ta Kendi Geniş Dil Modelinizle Eğlenin

Web arayüzü açıldığında, istemlerinizi yazabileceğiniz bir metin kutusu göreceksiniz.

Etkili bilgi istemleri yazmak zordur ve Dalai geliştiricileri, Dalai'den yararlı bir yanıt almanıza yardımcı olacak bir dizi şablon sağladı.

Bunlar AI-Diyalog, sohbet robotu, Varsayılan, Talimat, Yeniden yazmak, Çevirmek, Ve Tweet hissi.

Beklediğiniz gibi, AI-Diyalog Ve sohbet robotu şablonlar, LLM ile bir tür konuşma yapmanıza izin verecek şekilde yapılandırılmıştır. İkisi arasındaki temel fark, chatbot'un "son derece zeki" olması gerekirken, AI-Dialog'un "yardımsever, kibar, itaatkar, dürüst ve kendi sınırlarını bilmesi".

Tabii ki, bu sizin "AI" nız ve sizi memnun ederse, istemi sohbet robotunun aptal olması ve AI-diyalog özelliklerinin "sadist" ve "yardımcı olmayan" olması için değiştirebilirsiniz. O size kalmış.

test ettik Çevirmek bir BBC haberinin açılış paragrafını kopyalayıp Dalai'den bunu İspanyolcaya çevirmesini isteyerek çalışır. Çeviri iyiydi ve onu tekrar İngilizceye çevirmek için Google Çeviri'de çalıştırdığımızda oldukça okunabilir olduğunu ve orijinal parçanın gerçeklerini ve duygularını yansıttığını gördük.

Aynı şekilde, Yeniden yazmak şablon, metni ikna edici bir şekilde yeni bir makalenin açılışına döndürdü.

bu Varsayılan Ve Talimat istemler, soru sormanıza veya doğrudan Dalai'ye talimat vermenize yardımcı olacak şekilde yapılandırılmıştır.

Dalai'nin yanıttaki doğruluğu, kullandığınız modele bağlı olarak büyük ölçüde değişecektir. 30B modeli, 7B modelinden çok daha kullanışlı olacaktır. Ancak o zaman bile, LLM'lerin bir cümledeki bir sonraki kelimeyi tahmin etmeye yönelik karmaşık sistemler olduğu hatırlatılır.

Ne 7B ne de 13B Alpaka modelleri, "Kattaki Kedi" adlı kısa öykünün 200 kelimelik doğru bir özetini sağlayamadı. Rain", Ernest Hemingway tarafından yazılmış ve her ikisi de tamamen inandırıcı olay örgüsü çizgileri ve hikayenin ne olduğuna dair ayrıntılar oluşturmuştur. içerir.

Ve "kendi sınırlarını bilen" "yardımsever, kibar, itaatkar, dürüst" AI-Dialog ve "son derece zeki" Chatbot, tartışmalı istemler, Dalai'ye doğrudan bir Talimat veya Varsayılan istek verebilirsiniz ve o, istediğiniz şeyi yazacaktır - nasıl isterseniz BT.

Linux Makinenizdeki Büyük Bir Dil Modeli Sizindir

Kendi Linux kutunuzda büyük bir dil modeli çalıştırarak, gözetime veya hizmetin geri çekilmesine tabi olmazsınız. Kurumsal içerik politikasını ihlal etmenin sonuçlarından korkmadan uygun gördüğünüz şekilde kullanabilirsiniz.

Bilgi işlem kaynaklarınız azsa, mütevazı bir Raspberry Pi'de yerel olarak bir LLM bile çalıştırabilirsiniz.