Microsoft представила новый чип Maia 200. Он создан для ускорения работы ИИ в дата-центрах Azure. Чип оптимизирован для генерации текста большими языковыми моделями.
Maia 200 повышает эффективность на 30%. Он обходит по этому показателю последнее железо Microsoft. Чип работает с моделями OpenAI, включая GPT.
Обучение и использование ИИ нагружают оборудование по-разному. Обучение требует долгих вычислений и связи. Использование завязано на скорость и стоимость ответа.
Чип изготовлен по 3-нанометровому процессу TSMC. В нём более 140 миллиардов транзисторов. Мощность — 10 петафлопс при потреблении 750 ватт.
Память разделена на быструю HBM и встроенную SRAM. Объём HBM — 216 гигабайт. Пропускная способность памяти — 7 терабайт в секунду.
Архитектура чипа иерархическая. Базовый блок — это вычислительный «тайл». Несколько «тайлов» образуют «кластер». Это позволяет гибко распределять данные.
Главная проблема — перемещение данных, а не вычисления. Maia 200 использует собственную сеть на кристалле. Она разделяет большие и маленькие потоки информации.
Чип также включает сетевой контроллер. Пропускная способность — 2,8 терабайта в секунду. В одну систему можно объединить до 6144 ускорителей.
Четыре чипа в стойке образуют полностью связанную группу. Большая часть трафика остаётся внутри неё. Это ускоряет параллельные вычисления.
