AMD'nin Instinct AI Hızlandırıcıları Nelerdir?

Hiç şüphe yok ki NVIDIA, çeşitli popüler GPU serileriyle paralel bilgi işlem alanına hakim olmaya devam ediyor. Ancak AMD'nin en yeni ve en büyük iki süper bilgisayarı (Frontier ve El Capitan) donatan Instinct AI hızlandırıcıları sayesinde ve topluluğun açık kaynaklı ROCm platformuna artan desteğiyle, NVIDIA şimdiye kadarki en büyük rakibini bulmuş olabilir.

Peki, AMD'nin Instinct AI hızlandırıcıları tam olarak nedir? Onları güçlü yapan nedir ve NVIDIA'nın Tensor GPU'larıyla nasıl karşılaştırılır?

AMD Instinct İşlemci Nedir?

AMD'nin Instinct işlemcileri, yüksek performanslı bilgi işlem (HPC) ve yapay zeka hızlandırmalı işleme için kullanılan kurumsal sınıf donanımlardır. Normal, tüketici sınıfı GPU'ların aksine, Instinct GPU'lar, yazılım ve donanım yenilikleri yoluyla yapay zeka öğrenimini ve diğer yüksek performanslı görevleri daha iyi işlemek için uzmanlaşmıştır.

AMD'nin Instinct serisi GPU'ları, saniyede çift hassasiyetli işlemlerde 1,1 EFLOP'ta performans göstererek Exascale bariyerini aşan ilk süper bilgisayara güç sağlamak için kullanıldı. Instinct GPU'ları kullanan süper bilgisayarlar şu anda kanser tedavilerini, sürdürülebilir enerjiyi ve iklim değişikliğini araştırmak için kullanılıyor.

Instinct İşlemciler Yapay Zekayı ve HPC'yi Nasıl Hızlandırır?

İçin dünyanın en güçlü ana akım sunucuları ve süper bilgisayarları Exascale düzeyinde işlemeye ulaşmak için AMD'nin Instinct hızlandırıcılarının çeşitli teknolojik yükseltmeler ve yeniliklerle donatılması gerekiyordu.

AMD Instinct GPU'larda kullanılan bazı yeni ve güncellenmiş teknolojilerden bahsedelim.

1. Hesaplama DNA'sı (CDNA)

En son AMD Instinct hızlandırıcıları (MI100'den başlayarak) şirketin CDNA mimarisini kullandı.

CDNA, Matrix Core teknolojisi aracılığıyla öncelikle paralel işleme, bellek hiyerarşisi ve optimize edilmiş bilgi işlem performansları gibi özelliklere odaklanır. Tek sunucularda çalışan HPC ve yapay zeka veya makine öğrenimi bile CDNA'nın yanı sıra devasa Exascale bilgisayarlar tarafından desteklenebilir.

AMD'nin Matrix Core teknolojisi, karma hassasiyetli işlemleri destekleyerek yapay zeka öğrenimini hızlandırır. Farklı hassasiyette hesaplama yeteneği, Instinct GPU'ların ihtiyaç duyulan hassasiyet düzeyine göre matris işlemlerini verimli bir şekilde hesaplamasını sağlar.

En popüler hesaplama hassasiyeti formatları arasında FP64, FP32, FP16, BF16 ve INT8 bulunur. FP Kayan Nokta, BF Beyin Kayan Noktası ve INT Tamsayı anlamına gelir. Biçime karşılık gelen sayı ne kadar yüksek olursa, hesaplama o kadar kesin olur. 64-bit'te çalışmak, çift kesinlik olarak bilinir. 32 bit ile tek kesinlik, 16 bit ile yarı kesinlik vb.

Derin öğrenme modellerinin eğitiminin büyük bir kısmı çok fazla hassasiyet gerektirmediğinden, matris hesaplama yeteneğine sahip olmak çıkarım için yarı hassasiyette ve hatta çeyrek hassasiyette işlemler, iş yükünü önemli ölçüde azaltır, böylece yapay zekayı hızlandırır öğrenme.

2. Yüksek Bant Genişliğine Sahip Bellek (HBM)

Her bir AMD Instinct AI hızlandırıcı, 880'e kadar Matris Çekirdeği ile birlikte gelir. AMD'nin 383 TFLOP yarı duyarlıklı hesaplama yapabilen Matrix Core işlemcileri ile ultra hızlı belleğe sahip olmak gereklidir. AMD'nin en son Instinct teklifleri, normal DDR4 veya DDR5 RAM yerine Yüksek Bant Genişliği Belleği (HBM) ile donatılmıştır.

Geleneksel belleğin aksine, HBM, 3B yığınlı mimari olarak bilinen şeyi kullanır. Bu tür bir mimari, DRAM kalıplarının birbirinin üzerine dikey olarak istiflendiği bir tasarım yaklaşımını ifade eder. Bu, kalıpların hem dikey hem de yatay eksende istiflenmesine izin verir, dolayısıyla 3D istifleme terimi de buradan gelir.

Bu 3B istifleme teknolojisiyle, HBM'ler modül başına birkaç yüz gigabayta kadar fiziksel bellek kapasitelerine sahip olabilirken, DRR5 modül başına yalnızca onlarca gigabayta kadar kapasiteye sahip olabilir. Kapasitenin yanı sıra, HBM'lerin aktarım hızı açısından daha yüksek performansa ve normal DDR bellekten daha iyi güç verimliliğine sahip olduğu da bilinmektedir.

3. Sonsuzluk Kumaşı

Instinct GPU'larda yer alan bir diğer yenilik ise AMD'nin Infinity Fabric teknolojisidir. Infinity Fabric, CPU'ları ve GPU'ları akıllı dinamik bir şekilde birbirine bağlayan bir tür ara bağlantı sistemidir. Bu, bileşenlerin birbirleriyle verimli bir şekilde iletişim kurmasını sağlar.

Infinity Fabric ile, bileşenleri normal bir veri yolu ile bağlamak yerine, bileşenler artık bant genişliklerinin saniyede birkaç yüz gigabayta kadar çıkabildiği ağ benzeri bir ağda bağlı.

Kafes benzeri ara bağlantının yanı sıra, Infinity Fabric ayrıca her kalıba gömülü sensörleri dinamik olarak kontrol frekansı, veri aktarım hızları ve diğer uyarlanabilir davranışlar, performansı optimize etme ve en aza indirme gecikme

4. ROCm Geliştirme Platformu

NVIDIA'nın CUDA'sı (bilgi işlem birleşik cihaz mimarisi), yapay zeka modellerini eğitmek için en yaygın kullanılan geliştirme platformudur. CUDA ile ilgili sorun, yalnızca NVIDIA GPU'larla çalışmasıdır. Bu, NVIDIA'nın HPC ve AI GPU hızlandırıcılar için pazar paylarının ezici çoğunluğuna sahip olmasının ana nedenlerinden biridir.

AMD, HPC ve AI pazarından daha büyük bir pay almak istediğinden, kendi platformları olan ROCm'yi (Radeon Open Compute) geliştirmek zorunda kaldılar. ROCm, Instinct GPU'ların AI hızlandırıcı olarak kullanılmasına izin veren açık kaynaklı bir yazılım platformudur.

Instinct donanımının bir parçası olması gerekmese de, Instinct GPU serisinin hayatta kalması söz konusu olduğunda ROCm esastır. ROCm ile geliştiriciler ve araştırmacılar ROCm araçlarını, derleyiciyi, çekirdek sürücülerini, bir dizi kitaplığı ve TensorFlow ve PyTorch gibi çerçevelere erişimi elde ederek kendi yazılımlarıyla geliştirebilirler. tercihli AI programlama dili.

Instinct AI Hızlandırıcıları, Radeon GPU AI Hızlandırıcıları ile Nasıl Karşılaştırılır?

AMD, işletmeler için Instinct GPU serisini ve normal tüketiciler için Radeon GPU'ları sunuyor. Daha önce tartışıldığı gibi Instinct GPU, AMD'nin CDNA mimarisini, HBM'yi ve Infinity Fabric ara bağlantısını kullanır. Tersine, Radeon, AMD'nin RDNA mimarisini, DDR6 belleğini ve Infinity Cache'i kullanır.

Daha az yetenekli olmasına rağmen, Radeon serisi yapay zeka hızlandırıcıları, hesaplama birimi başına bir veya iki yapay zeka hızlandırıcı çekirdeği uygulayan güçlü bir etkiye sahiptir. En son Radeon RX7900 XT GPU hesaplama birimi başına iki AI hızlandırıcı çekirdeğine sahip olup, 103 TFLOP tepe yarı kesinlik ve 52 TFLOP tek kesinlikli tepe hesaplamaya izin verir.

Instinct serisi GPU'lar LLM'ler ve HPC için daha uygun olsa da, Radeon AI hızlandırıcıları önceden eğitilmiş modellerde ince ayar yapmak, çıkarım yapmak ve grafik açısından yoğun görevler için kullanılabilir.

AMD İçgüdüsü vs. NVIDIA Tensörü

göre bir TrendForce anketi, NVIDA, sunucu GPU'ları için %80 pazar payına sahipken, AMD yalnızca %20 pazar payına sahiptir. NVIDIA'nın bu ezici başarısının nedeni, GPU tasarımı ve montajında ​​uzmanlaşmış bir şirket olmalarıdır. Bu, diğer tekliflere kıyasla çok daha iyi performans gösteren GPU'lar tasarlamalarına olanak tanır.

AMD'nin Instinct MI205X ve NVIDIA'nın H100SXM5'ini aşağıdaki özellikleri kullanarak karşılaştıralım: AMD'nin resmi web sitesi Ve NVIDIA'nın kendi veri sayfası:

Tabloda görebileceğiniz gibi, AMD'nin MI250X'i çift hassasiyet ve yarı hassasiyet açısından daha iyi performans gösteriyor. hesaplamalar, NVIDIA'nın H100SXMS'si ise yarı kesinlik ve çeyrek kesinlik matrisi açısından çok daha iyi hesaplamalar. Bu, AMD'nin MI250X'ini HPC için daha uygun hale getirirken, NVIDIA'nın yapay zeka öğrenimi ve çıkarımı ile H100SXMS'sini daha uygun hale getirir.

AMD'nin Instinct İşlemcilerinin Geleceği

AMD'nin en son teklifi olan MI250X, HPC için tasarlanmış olsa da, yakında çıkacak olan MI300'leri daha çok yapay zeka eğitim odaklı. Bu AI hızlandırıcının, GPU ve CPU'yu tek bir pakette birleştiren bir APU olduğu duyurulur. Bu, MI300'ün, GPU ve CPU'nun yalnızca bir bellek kullanacağı CNDA3 Birleşik Bellek APU mimarisini kullanmasına izin vererek verimliliği artırır ve fiyatı düşürür.

AMD, bugün AI hızlandırıcı pazarında NVIDIA ile rekabet etmeyecek olsa da, MI300 piyasaya sürüldüğünde ve ROCm gösterişli, AMD'nin Instinct serisi, AI hızlandırıcı pazarının önemli bir bölümünü kapmak için yeterince iyi olabilir. NVIDIA.