Ученые НИУ ВШЭ нашли способ ускорить сжатие нейросетей в сотни раз, не теряя качества.
Ученые НИУ ВШЭ — Санкт-Петербург нашли способ ускорить сжатие нейросетей в десятки и даже сотни раз, применив методы статистической физики. Разработка позволяет уменьшать модели без снижения качества — и делает нейросети гораздо доступнее для работы на локальных серверах, в медучреждениях, банках и госструктурах.
Традиционное сжатие нейросетей требует множества экспериментов, чтобы определить, какие параметры можно убрать. Новый метод рассматривает модель как статистическую систему — подобно газу или магнитному материалу. Это позволило находить оптимальное соотношение размера и точности в 10–500 раз быстрее.
Команда проверила подход на моделях до 10 млрд параметров — тех, что можно запускать на мощных ноутбуках и небольших серверах. Метод показал стабильный результат в разных задачах: от обработки текста до распознавания изображений. Разработку уже можно применять на практике.
Сейчас ученые работают над следующим шагом — определением оптимального числа нейронов и блоков модели еще до начала обучения, что позволит существенно удешевить создание новых ИИ-систем.
