Google'ın TensorFlow platformu, makine öğrenimi için araçlar ve kaynaklar sağlayarak kullanıcılarının bir yapay zekayı eğitmesine olanak tanır. Yapay zeka mühendisleri uzun süredir yapay zekayı eğitmek için geleneksel CPU'ları ve GPU'ları kullanıyor. Bu işlemciler çeşitli makine öğrenimi süreçlerini işleyebilmelerine rağmen, yine de çeşitli günlük görevler için kullanılan genel amaçlı donanımlardır.
AI eğitimini hızlandırmak için Google, Tensör İşleme Birimi (TPU) olarak bilinen bir Uygulamaya Özel Entegre Devre (ASIC) geliştirdi. Ancak, Tensör İşleme Birimi nedir ve AI programlamayı nasıl hızlandırırlar?
Tensör İşlem Birimleri (TPU) Nedir?
Tensör İşleme Birimleri Google'ın ASIC, makine öğrenimi için. TPU'lar, karmaşık matris ve vektör işlemlerini çözmek için derin öğrenme için özel olarak kullanılır. TPU'lar, matris ve vektör işlemlerini ultra yüksek hızlarda çözecek şekilde düzenlenmiştir, ancak talimatları vermek ve yürütmek için bir CPU ile eşleştirilmelidir. TPU'lar yalnızca Google'ın
TensorFlow veya TensorFlow Lite platformu, bulut bilişim veya yerel donanımdaki lite sürümü aracılığıyla.TPU uygulamaları
Google, 2015'ten beri TPU'ları kullanıyor. Ayrıca, Google Street View metin işleme, Google Fotoğraflar ve Google Arama Sonuçları (Rank Brain) için bu yeni işlemcilerin kullanımını da onayladılar. Ayrıca, en iyi Go oyuncularını ve Satranç, Go ve Satrançta önde gelen programlara karşı kazanan AlphaZero sistemini yenen AlphaGo olarak bilinen bir yapay zeka yaratmanın yanı sıra. Şogi.
TPU'lar dolandırıcılık tespiti, bilgisayarla görme, doğal dil gibi çeşitli derin öğrenme uygulamalarında kullanılabilir. işleme, sürücüsüz arabalar, sesli yapay zeka, tarım, sanal asistanlar, hisse senedi ticareti, e-ticaret ve çeşitli sosyal tahminler.
TPU'lar Ne Zaman Kullanılır?
TPU'lar derin öğrenme için yüksek düzeyde özel donanım olduklarından, CPU gibi genel amaçlı bir işlemciden beklediğiniz diğer birçok işlevi kaybeder. Bunu akılda tutarak, AI eğitimi sırasında TPU kullanmanın en iyi sonucu vereceği belirli senaryolar vardır.
TPU kullanmak için en iyi zaman, arama motorları için öneri sistemleri gibi modellerin ağırlıklı olarak matris hesaplamalarına dayandığı işlemler içindir. TPU'lar, AI'nın tamamlanması birkaç hafta veya ay sürecek büyük miktarda veri noktasını analiz ettiği modeller için de harika sonuçlar verir. Yapay zeka mühendisleri, özel TensorFlow modelleri olmayan örnekler için TPU'ları kullanır ve sıfırdan başlamaları gerekir.
TPU'lar Ne Zaman Kullanılmamalı
Daha önce belirtildiği gibi, TPU'ların optimizasyonu, bu tür işlemcilerin yalnızca belirli iş yükü işlemlerinde çalışmasına neden olur. Bu nedenle, geleneksel bir CPU ve GPU kullanmayı tercih etmenin daha hızlı sonuçlar vereceği durumlar vardır. Bu örnekler şunları içerir:
- Maksimum esneklikle hızlı prototipleme
- Mevcut veri noktalarıyla sınırlı modeller
- Basit ve hızlı bir şekilde eğitilebilen modeller
- Modeller değiştirilemeyecek kadar zahmetli
- C++ ile yazılmış özel TensorFlow işlemlerine dayanan modeller
TPU Sürümleri ve Spesifikasyonları
Google, TPU'larını duyurduğundan beri, halk, TPU'ların en son sürümleri ve özellikleri hakkında sürekli olarak güncellendi. Aşağıda, teknik özelliklere sahip tüm TPU sürümlerinin bir listesi bulunmaktadır:
| TPUv1 | TPUv2 | TPUv3 | TPUv4 | Edgev1 | |
|---|---|---|---|---|---|
| Tanıtım Tarihi | 2016 | 2017 | 2018 | 2021 | 2018 |
| İşlem düğümü (nm) | 28 | 16 | 16 | 7 | |
| Kalıp boyutu (mm²) | 331 | <625 | <700 | <400 | |
| Çip Üzerinde Bellek | 28 | 32 | 32 | 144 | |
| Saat Hızı (MHz) | 700 | 700 | 940 | 1050 | |
| En Küçük Bellek Yapılandırması (GB) | 8 DDR3 | 16 HBM | 32 HBM | 32 HBM | |
| TDP (Watt) | 75 | 280 | 450 | 175 | 2 |
| TOPS (Saniyedeki Tera İşlemleri) | 23 | 45 | 90 | ? | 4 |
| ÜST/B | 0.3 | 0.16 | 0.2 | ? | 2 |
Gördüğünüz gibi, TPU saat hızları o kadar da etkileyici görünmüyor, özellikle günümüzün modern masaüstü bilgisayarları 3-5 kat daha hızlı saat hızlarına sahip olduğunda. Ancak tablonun alt iki satırına bakarsanız, TPU'ların yalnızca 0,16-0,3 watt güç kullanarak saniyede 23-90 tera işlemi gerçekleştirebildiğini görebilirsiniz. Bir sinir ağı arayüzü kullanıldığında TPU'ların modern CPU'lardan ve GPU'lardan 15-30 kat daha hızlı olduğu tahmin edilmektedir.
Yayınlanan her sürümde, daha yeni TPU'lar önemli iyileştirmeler ve yetenekler gösterir. İşte her sürüm için birkaç önemli nokta.
- TPUv1: Kamuya duyurulan ilk TPU. 8 bitlik matris çarpma motoru olarak tasarlanmıştır ve yalnızca tamsayıları çözmekle sınırlıdır.
- TPUv2: Mühendisler, TPUv1'in bant genişliği açısından sınırlı olduğunu belirttiğinden beri. Bu sürüm şimdi 16GB RAM ile bellek bant genişliğini ikiye katlıyor. Bu sürüm artık kayan noktaları çözerek eğitim ve çıkarım için faydalı olabilir.
- TPUv3: 2018'de piyasaya sürülen TPUv3, iki katı işlemciye sahiptir ve TPUv2'den dört kat daha fazla yonga ile dağıtılır. Yükseltmeler, bu sürümün önceki sürümlere göre sekiz kat daha fazla performansa sahip olmasını sağlar.
- TPUv4: Bu, 18 Mayıs 2021'de duyurulan TPU'nun en son sürümüdür. Google'ın CEO'su, bu sürümün TPU v3'ün iki katından fazla performansa sahip olacağını açıkladı.
- Kenar TPU: Bu TPU sürümü, genel işlemde diğer TPU sürümlerinden daha az güç kullanmak üzere optimize edilmiş daha küçük işlemler içindir. Edge TPU, yalnızca iki watt güç kullanmasına rağmen saniyede dört adede kadar terra işlemini çözebilir. Edge TPU, yalnızca Google'ın Pixel 4 akıllı telefonu gibi küçük el cihazlarında bulunur.
TPU'lara Nasıl Erişilir? Bunları Kimler Kullanabilir?
TPU'lar, Google tarafından TensorFlow platformuyla kullanılmak üzere tasarlanmış tescilli işlem birimleridir. Bu işlemcilere üçüncü tarafların erişimine 2018'den beri izin verilmektedir. Bugün TPU'lara (Edge TPU'lar hariç) yalnızca Google'ın bulut üzerinden bilgi işlem hizmetleri. Edge TPU donanımı, Google'ın Pixel 4 akıllı telefonu ve Coral olarak bilinen prototipleme kiti aracılığıyla satın alınabilir.
Coral, veri ve güç için USB 3.0 Tip C kullanan bir USB hızlandırıcıdır. Cihazınıza her 2W güç için 4 TOPS kapasiteli Edge TPU bilgi işlem sağlar. Bu kit, Windows 10, macOS ve Debian Linux kullanan makinelerde çalışabilir (Raspberry Pi ile de çalışabilir).
Diğer Özel Yapay Zeka Hızlandırıcılar
Yapay zekanın son on yılda tüm öfkesi ile Big Tech, sürekli olarak makine öğrenimini olabildiğince hızlı ve verimli hale getirmenin yollarını arıyor. Google'ın TPU'ları tartışmasız derin öğrenme için geliştirilen en popüler ASIC olsa da, Intel, Microsoft, Alibaba ve Qualcomm gibi diğer teknoloji şirketleri de kendi AI hızlandırıcılarını geliştirdiler. Bunlara Microsoft Brainwave, Intel Neural Compute Stick ve Graphicore'un IPU'su (Intelligence Processing Unit) dahildir.
Ancak daha fazla AI donanımı geliştirilirken, ne yazık ki çoğu henüz piyasada mevcut değil ve çoğu asla olmayacak. Yazarken, gerçekten AI hızlandırıcı donanımı satın almak istiyorsanız, en popüler seçenekler bir Coral prototipleme kiti, bir Intel NCS, bir Graphicore Bow Pod veya bir Asus IoT AI Accelerator satın almaktır. Yalnızca özel AI donanımına erişmek istiyorsanız, Google'ın bulut bilişim hizmetlerini veya Microsoft Brainwave gibi diğer alternatifleri kullanabilirsiniz.
