Microsoft, Hot Chips 2024’te ilk özel yapay zeka çipi olan Maia 100’ün ayrıntılarını sundu.
Microsoft’un verdiği bilgilere göre, bu yeni sistem, performansı artırmak ve masrafları azaltmak amacıyla baştan sona sorunsuz çalışacak şekilde tasarlanıyor. Özel olarak üretilmiş sunucu kartları, benzersiz raflar ve Azure OpenAI gibi yapay zeka hizmetlerinin etkinliğini ve gücünü artırmaya odaklanan bir yazılım sistemi içeriyor.
Maia 100 – Ne biliyoruz
Microsoft, Maia’yı Ignite 2023’te tanıtmış ve kendi yapay zeka hızlandırıcı çipini oluşturduğunu paylaşmıştı. Bu yılın başlarında Build geliştirici etkinliğinde ise daha fazla bilgi verilmişti. Maia 100, TSMC’nin 5 nm teknolojisi kullanılarak üretilen en büyük işlemcilerden biri ve Azure platformunda kapsamlı yapay zeka görevlerini yerine getirmek için tasarlanıyor.
Maia 100 SoC mimari özellikleri ise şu şekilde:
- Yüksek hızlı bir tensör birimi (16xRx16), eğitim ve çıkarım için hızlı işleme sunarken, ilk olarak 2023 MX Konsorsiyumunda Microsoft tarafından tanıtılan MX veri formatı gibi düşük hassasiyetli veri türleri de dahil olmak üzere çok çeşitli veri türlerini destekler.
- Vektör işlemcisi, FP32 ve BF16 dahil olmak üzere çok çeşitli veri türlerini destekler. Bunun için özel komut seti mimarisi (ISA) ile oluşturulan gevşek bir şekilde bağlanmış bir superscalar motordur.
- Doğrudan Bellek Erişimi (DMA) motoru, farklı tensör parçalama şemalarını destekler.
- Donanım semaforları Maia sisteminde asenkron programlamayı mümkün kılar.
Maia 100, çok hızlı veri işlemeye olanak tanıyan RoCE’ye benzer özel bir protokol ile Ethernet tabanlı bir ağ bağlantısı kullanır. Belirli veri işlemleri için 4800 Gbps’ye ve tüm iletişim için 1200 Gbps’ye kadar çıkabilir. Maia 100 çipinin özellikleri şöyle:
- Çip Boyutu: 820 mm²
- TDP’ye göre tasarım: 700 W
- Provizyon TDP: 500 W
- Paketleme: COWOS-S interposer teknolojisi ile TSMC N5 işlemi
- HBM BW/Cap: 1.8 TB/s @ 64 GB HBM2E
- En Üst Tensör POPS: 6bit: 3, 9bit: 1.5, BF16: 0.8
- L1/L2: 500 MB
- Backend Ağ BW: 600 GB/s (12X400gbe)
- Ana Bilgisayar BW (PCIe): 32 GB/s PCIe Gen5X8
Maia Yazılım Geliştirme Kiti (SDK), programcıların PyTorch ve Triton modellerini Maia ile kullanmak üzere uyarlamalarına yardımcı olacak. SDK, bu modellerin Azure OpenAI Hizmetleri ile kullanılmasını kolaylaştırmak için çeşitli araçlar içerecek. Programcılar, derin sinir ağları için açık kaynaklı bir alana özgü dil (DSL) olan Triton’u veya yüksek performans ve ayrıntılı kontrol sunan özel bir model olan Maia API’yi kullanarak Maia sistemi için kod yazabilecekler. Maia PyTorch’u doğrudan destekler, böylece geliştiriciler PyTorch modellerini kodlarında yalnızca küçük ayarlamalar yaparak çalıştırabilirler.
