Meta випустила ШІ-модель, яка працює локально на комп'ютері та не потребує хмарних сервісів

Meta представила Muse Glimmer - модель штучного інтелекту з відкритими вагами, яку можна запускати безпосередньо на персональному комп'ютері без постійного підключення до хмарних сервісів.

Модель має 30 млрд параметрів і розроблена підрозділом Meta Superintelligence Labs. Вона поширюється за ліцензією Apache 2.0, що дозволяє завантажувати, модифікувати та використовувати її у власних проєктах.

Який комп'ютер потрібен

Muse Glimmer може працювати на Mac або PC з однією споживчою відеокартою. У повній точності модель потребувала б понад 55 ГБ пам'яті, однак після 4-бітного квантування її розмір вдалося зменшити до менш ніж 20 ГБ.

Для запуску моделі разом із компонентами обробки зображень знадобиться система з 24-32 ГБ доступної пам'яті. Meta тестувала її, зокрема, на Nvidia RTX 5090, Apple M5 Max і M4 Max.

Що вміє Muse Glimmer

Модель призначена насамперед для агентних завдань: вона може складати план дій, виконувати багатокрокові операції, використовувати зовнішні інструменти та відновлювати роботу після невдалих викликів.

Muse Glimmer підтримує роботу з текстом і зображеннями, може аналізувати документи, графіки та знімки екрана, писати програмний код і виконувати адміністративні завдання. Навчальні дані охоплюють понад 100 мов.

Модель створили методом дистиляції на основі потужнішої системи Muse Spark. Ваги Muse Glimmer вже опублікували на Hugging Face, а підтримку llama.cpp, MLX, ExecuTorch, Ollama та LM Studio планують додати найближчим часом.

За матеріалами: Business Insider, Fortune India