Meta выпустила ИИ-модель, которая работает локально на компьютере и не требует облачных сервисов

Meta представила Muse Glimmer - модель искусственного интеллекта с открытыми весами, которую можно запускать непосредственно на персональном компьютере без постоянного подключения к облачным сервисам.

Модель имеет 30 млрд параметров и разработана подразделением Meta Superintelligence Labs. Она распространяется по лицензии Apache 2.0, что позволяет загружать, модифицировать и использовать ее в собственных проектах.

Какой компьютер нужен

Muse Glimmer может работать на Mac или PC с одной потребительской видеокартой. В полной точности модель требовала бы более 55 ГБ памяти, однако после 4-битного квантования ее размер удалось уменьшить до менее чем 20 ГБ.

Для запуска модели вместе с компонентами обработки изображений понадобится система с 24-32 ГБ доступной памяти. Meta тестировала ее, в частности, на Nvidia RTX 5090, Apple M5 Max и M4 Max.

Что умеет Muse Glimmer

Модель предназначена в первую очередь для агентных задач: она может составлять план действий, выполнять многошаговые операции, использовать внешние инструменты и восстанавливать работу после неудачных вызовов.

Muse Glimmer поддерживает работу с текстом и изображениями, может анализировать документы, графики и снимки экрана, писать программный код и выполнять административные задачи. Обучающие данные охватывают более 100 языков.

Модель создали методом дистилляции на основе более мощной системы Muse Spark. Веса Muse Glimmer уже опубликовали на Hugging Face, а поддержку llama.cpp, MLX, ExecuTorch, Ollama и LM Studio планируют добавить в ближайшее время.

По материалам: Business Insider, Fortune India