Pinterest победил ошибки памяти в Apache Spark
Каждый день в Pinterest падали сотни задач из-за нехватки памяти. Инженеры нашли способ заставить их работать.
оптимизация
Я освободил 10 ГБ на Pixel, отключив одно приложение
Мой телефон постоянно жаловался на нехватку места. Я нашёл виновника. Им оказалось одно стандартное приложение.
Apple научилась переносить настройки между моделями любого размера
Настройка нейросети — это долго и дорого. Теперь можно сделать это один раз для маленькой модели и перенести на гигантскую.
ИИ научили экономить мысли и не ошибаться
Исследователи придумали, как заставить ИИ думать быстрее и дешевле. Система генерирует несколько вариантов рассуждения, а потом оставляет лучшие.
NVIDIA открыла код KVzap. Метод сжимает кэш ИИ в 2-4 раза
NVIDIA открыла код метода KVzap. Он решает главную проблему больших языковых моделей — огромный кэш памяти.
Microsoft создала небольшую модель для решения задач оптимизации
В Microsoft Research представили небольшую, но узкоспециализированную языковую модель. Её назвали OptiMind. Она решает задачи оптимизации лучше больших собратьев.
Математики доказали эффективность оптимизатора Shampoo
Оптимизатор Shampoo, победитель крупного конкурса, получил строгое математическое обоснование. Китайские учёные объединили два подхода и вывели формулу.
Apple ускорила ИИ-модели без их переобучения
Исследователи из Apple нашли способ улучшить большие языковые модели. Они не стали их переучивать. Вместо этого они изменили сам процесс выдачи ответов.
ИИ может оптимизировать энергосистему и снизить потребление
Исследователи Массачусетского технологического института предлагают использовать методы машинного обучения для оптимизации работы энергосистем, что может повысить их эффективность и устойчивость.
RelayLLM: новый метод ускорения ИИ-рассуждений на 98%
Исследователи представили RelayLLM — фреймворк для эффективных рассуждений языковых моделей, который снижает вычислительные затраты на 98% за счёт точечного привлечения мощных моделей.
Градиенты в глубоком обучении предсказуемы и низкоранговы
Учёные формализовали концепцию предсказуемых многообразий градиентов, показав, что их эволюция во время обучения нейросетей имеет низкую временную сложность.
Amazon представила SharpZO для тонкой настройки VLM на устройствах
Исследователи Amazon Science представили SharpZO — новый гибридный метод оптимизации, позволяющий тонко настраивать визуально-языковые модели на периферийных устройствах, используя только прямое распространение.
Prompt Caching: техника для снижения затрат на LLM API
Prompt Caching — это метод оптимизации, который помогает сократить расходы на LLM API, выявляя и кэшируя семантически схожие пользовательские запросы.
QUITE: ИИ-агенты переписывают SQL-запросы без правил
Исследователи представили систему QUITE, которая использует агентов на основе больших языковых моделей для автоматической оптимизации SQL-запросов, преодолевая ограничения традиционных методов.
Гибридный ИИ-агент снижает затраты на запасы на 32%
Исследователи представили гибридный агент на основе LLM для управления товарными запасами, который снижает общие затраты на 32,1% по сравнению с прямым использованием GPT-4o.