Математики Алис Гийонне и Ванесса Пикколо опубликовали исследование, в котором вывели глобальный закон для сопряжённых ядерных случайных матриц с тяжёлыми хвостами. Работа, размещённая на arXiv.org, описывает асимптотическое спектральное распределение матрицы YY^⊤, возникающей в двухслойной нейронной сети.
Учёные рассмотрели модель, где Y = f(WX). Случайные матрицы W и X имеют независимые одинаково распределённые элементы. Ключевое отличие — элементы матрицы весов W следуют распределению с тяжёлыми хвостами, например, симметричному α-устойчивому закону с α ∈ (0,2), а элементы входной матрицы X имеют лёгкие хвосты. Активационная функция f — ограниченная, гладкая, нечётная и нелинейная.
Исследование важно для теории глубокого обучения. Оно показывает, что тяжёлые хвосты в весах создают сильные корреляции между выходами нейронов. Это приводит к более богатому и принципиально иному спектральному поведению по сравнению со случаем лёгких хвостов. Такие распределения встречаются в разреженных матрицах, где в каждой строке лишь O(1) ненулевых элементов.
Результаты работы, изложенные на 48 страницах, расширяют математическое понимание динамики случайных матриц в машинном обучении. Это фундаментальный шаг к анализу нейросетей с нетривиальными статистическими свойствами параметров.
