Microsoft rozwija własne układy do obsługi sztucznej inteligencji i zapowiada kolejny krok w tym kierunku. Maia 300 ma być najpotężniejszym akceleratorem AI firmy, a jego wdrażanie w centrach danych ma ruszyć w 2027 roku. Microsoft liczy, że nowy sprzęt zwiększy wydajność usług takich jak Teams, Copilot i Cowork.
Układ zaprojektowany do obsługi AI
Maia 300 powstał przede wszystkim z myślą o wnioskowaniu, czyli uruchamianiu wytrenowanych modeli i generowaniu przez nie odpowiedzi. Tego rodzaju obciążenia są kluczowe dla chatbotów, narzędzi wspierających pracę oraz agentów AI wykonujących wieloetapowe zadania. Według Microsoftu akcelerator ma zapewnić o 40 proc. więcej tokenów na megawat niż inne czołowe systemy oparte na GPU.
Firma zapowiada również znaczący wzrost wydajności całych serwerowni. Rack wyposażony w 96 układów Maia 300 ma osiągać nawet siedmiokrotnie większą przepustowość generowania tokenów niż odpowiednik z układami Maia 200. Ma to umożliwić obsługę większej liczby równoczesnych interakcji i bardziej wymagających zadań.
Rosnąca skala infrastruktury AI sprawia, że coraz ważniejsza staje się kontrola kosztów. Wydatki na AI rosną — firmy walczą o kontrolę, tylko jedna trzecia zna koszty.
Pamięć i wydajniejsze przesyłanie danych
Ważnym elementem konstrukcji jest pamięć. Maia 300 ma korzystać z ośmiu stosów HBM4, oferujących łącznie przepustowość do 18 TB/s, przy deklarowanym poborze energii na poziomie 950 W. Microsoft chce też wykorzystywać pamięć SRAM znajdującą się na układzie jako przestrzeń roboczą, co może zmniejszyć obciążenie pamięci HBM podczas intensywnych obliczeń.
Akcelerator ma wieloukładową konstrukcję, w której osobno zaprojektowano elementy odpowiedzialne za obliczenia, kontrolę pamięci i wejścia-wyjścia. Część obliczeniowa powstanie w procesie technologicznym TSMC N2P. Obsługa formatów o niskiej precyzji, w tym rozwiniętego MXFP4, ma dodatkowo ograniczać zapotrzebowanie na pamięć i przepustowość.
Własne akceleratory mogą dać Microsoftowi większą kontrolę nad rozwojem usług AI. Istotne będzie jednak to, jak rozwiązanie sprawdzi się w rzeczywistych centrach danych. Na ocenę jego wpływu na użytkowników trzeba poczekać do rozpoczęcia wdrożeń.
Skalowanie w centrach danych
Microsoft zaprojektował także połączenia między akceleratorami tak, by były integralną częścią przepływu danych, a nie tylko osobną warstwą sieciową. Maia 300 ma wykorzystywać szybkie połączenia między układami oraz autorski transport AI oparty na infrastrukturze Ethernet. Według firmy takie rozwiązanie ma pozwolić na skalowanie systemu od pojedynczego racka po całe centra danych.
Jeden rack ma mieścić 96 akceleratorów, łącznie 27,6 TB pamięci HBM i zapewniać 1,7 petabajta na sekundę zagregowanej przepustowości tej pamięci. Jego zapotrzebowanie na moc ma wynosić 167 kW. Taka gęstość obliczeniowa ma pomóc w obsłudze większych modeli i większej liczby użytkowników bez konieczności proporcjonalnego zwiększania liczby serwerów.
Co to może oznaczać dla usług Microsoftu?
Microsoft przewiduje, że Maia 300 wesprze rozwój wielu zastosowań AI — od agentów programistycznych w GitHubie po usługi dostępne przez Microsoft Foundry. Firma wspomina również o możliwych korzyściach dla Copilota, Cowork i Teams, a także o wykorzystaniu układu przez jej własne zespoły AI.
Nowy akcelerator rozwija rozwiązania zapoczątkowane przez Maia 200, który już obsługuje część produkcyjnych zadań, w tym funkcje AI w Microsoft 365 Copilot. Microsoft deklaruje, że Maia 200 zapewnia do 1,7 raza więcej tokenów na wat niż wiodąca infrastruktura GPU w wybranych zastosowaniach. Obsługa GitHub Copilot i Microsoft Foundry ma dołączyć do końca 2026 roku.
Na praktyczne efekty Maia 300 trzeba będzie jednak poczekać do rozpoczęcia wdrożeń. Jeśli deklaracje producenta się potwierdzą, własne układy mogą zwiększyć wydajność usług AI Microsoftu i pomóc firmie ograniczyć zależność od zewnętrznych akceleratorów. Na razie zapowiadane korzyści pozostają przede wszystkim obietnicą dotyczącą przyszłej infrastruktury.
950 W na układ i 167 kW na rack. Ciekawi mnie, czy te 40% tokenów na megawat uwzględnia też chłodzenie i całą infrastrukturę, czy tylko sam akcelerator.
„Najpotężniejszy” brzmi dobrze w nagłówku, ale do wdrożeń jeszcze rok z hakiem. Do tego czasu konkurencja pewnie zdąży pokazać kolejną generację. Zobaczymy, co z tych deklaracji zostanie.
18 TB/s z HBM4 robi wrażenie. Przy takiej przepustowości i 96 układach w racku wąskim gardłem może się okazać nie sam akcelerator, tylko komunikacja między rackami albo zasilanie. Te 167 kW to już konkretne wyzwanie dla serwerowni.
Korzystam z Copilota w pracy i największy problem to nie szybkość generowania, tylko jakość odpowiedzi przy dłuższych zadaniach. Jeśli Maia ma tylko sprawić, że błędne odpowiedzi pojawią się szybciej, to średnia korzyść 😉
Ciekawe, czy będzie dostępna jakaś forma wynajmu Maia 300 przez Foundry, czy sprzęt zostanie wyłącznie wewnętrzną infrastrukturą Microsoftu. Dla firm budujących własne pipeline’y ma to spore znaczenie.
Siedmiokrotna przepustowość względem Maia 200? Bez informacji o dokładnym obciążeniu i konfiguracji modeli taka liczba niewiele mówi. Benchmarki producenta to jedno, a koszt obsługi realnego ruchu to drugie.
Pół roku temu w Teams AI potrafił mi się zawiesić w środku spotkania, więc na razie bardziej interesuje mnie stabilność usług niż kolejne rekordy wydajności. Przydałoby się też mniej funkcji włączanych domyślnie.