Microsoft выпустила Maia 300: энергоэффективность вывода выше на 40%
Третья собственная ИИ-микросхема Microsoft выпускается по процессу TSMC N2P, несёт 288 ГБ памяти HBM4 с пропускной способностью 18 ТБ/с и даёт 13,8 ПФЛОПС в точности FP4 при потреблении 950 Вт. В стойку входят 96 микросхем, а кластер может включать до 12 тыс. ускорителей.
12 октября Microsoft официально представила Maia 300 — третью собственную микросхему для искусственного интеллекта. Она выпускается по технологическому процессу TSMC N2P, несёт 288 ГБ памяти HBM4 с пропускной способностью 18 ТБ/с, даёт 13,8 ПФЛОПС в точности FP4, а потребление системы на кристалле составляет 950 Вт.
Микросхема построена из нескольких кристаллов и поддерживает двунаправленную связь для наращивания с пропускной способностью 3,2 ТБ/с. В одну стойку помещаются 96 микросхем, а кластер может включать до 12 тыс. ускорителей. По данным Microsoft, пропускная способность Maia 300 по числу токенов на мегаватт будет примерно на 40% выше, чем у нынешних распространённых систем на графических процессорах, а выпуск токенов стойкой из 96 микросхем доходит до семикратного по сравнению с предыдущей Maia 200.
Maia 300 рассчитана прежде всего на задачи вывода и с 2027 года должна разворачиваться в дата-центрах гигаваттного масштаба. Первоначальная цель — мощности более чем на 300 тыс. микросхем, а в долгосрочной перспективе речь о миллионах микросхем и гигаваттных масштабах вычислений.
В отличие от Maia 200, которая применялась только внутри компании, Maia 300 помимо собственных продуктов Microsoft вроде Copilot и Azure AI планируется открыть и крупным облачным заказчикам, включая Anthropic, то есть вывести собственную разработку в коммерческое применение.
Проект собственных ИИ-микросхем Microsoft начался около 2018 года; первое поколение Maia и следующая Maia 200 применялись в основном для внутренних задач вывода, чтобы проверить осуществимость технологии и накопить опыт в проектировании архитектуры и управлении цепочкой поставок. По мере того как отрасль сместилась с обучения на вывод, а себестоимость вывода стала главным её противоречием, Microsoft позиционирует Maia 300 как микросхему именно для вывода, глубокой подгонкой поднимая энергоэффективность и пропускную способность под нужды этих задач.
Собственные микросхемы — один из способов для Microsoft уменьшить зависимость от NVIDIA. Графические процессоры NVIDIA долго занимают господствующее положение на рынке вычислений для ИИ, и облачные компании зависят от единственного поставщика и в закупках, и в затратах, и в сроках обновления. Благодаря своей разработке Microsoft может в отдельных задачах вроде вывода согласованно оптимизировать железо и программы, снизить зависимость от внешнего поставщика и получить больше власти над ценой вычислений и самостоятельности в цепочке поставок.
Такую стратегию избрала не только Microsoft. В последние годы собственные ИИ-микросхемы выпустили несколько крупнейших облачных компаний: Amazon ещё в 2018 году представила микросхему вывода Inferentia, затем микросхему обучения Trainium, и те уже развёрнуты в её облаке AWS в больших объёмах; Google с 2016 года развивает серию TPU, и новейшее поколение TPU v6e уже применяется для обучения и вывода моделей Gemini.
Alibaba Cloud выпустила микросхему вывода Hanguang 800, которая применяется в поиске, рекомендациях и городских системах управления; Meta тоже представила собственную микросхему MTIA для задач вывода на своих социальных платформах. Общая логика у всех одна: собственной разработкой добиться в своих задачах лучшей энергоэффективности и меньшей стоимости, чем у универсального графического процессора, и одновременно построить собственную вычислительную инфраструктуру, чтобы в состязании за вычисления для ИИ не зависеть целиком от внешнего поставщика.
С отраслевой точки зрения появление собственных микросхем у облачных компаний отражает расслоение спроса на вычисления для ИИ — переход от универсальности к специализации. На этапе обучения универсальные графические процессоры выигрывают за счёт мощных параллельных вычислений и зрелого окружения, а на этапе вывода задачи раздроблены и чувствительны к затратам, и это даёт место специализированным микросхемам.
Собственная разработка позволяет подогнать архитектуру под особенности своего дела: например, оптимизировать пропускную способность памяти под вывод больших языковых моделей или эффективность операций под распознавание изображений — и тем превзойти универсальное железо в конкретной задаче.
Впрочем, у собственных микросхем есть и трудности. Подгонка программного окружения требует долгих вложений, доверие заказчиков к непривычным микросхемам нужно ещё заслужить, а сама разработка требует больших затрат и длительного времени. Пока собственные микросхемы большинства облачных компаний применяются в основном внутри или для отдельных заказчиков и не образовали универсального программного набора, сравнимого с окружением CUDA от NVIDIA.
Поэтому собственные микросхемы скорее дополняют универсальные графические процессоры, чем заменяют их, и облачные компании обычно держатся смешанной стратегии «своё плюс закупленное», уравновешивая производительность, затраты и совместимость с окружением.