omlx в агентной панели

oMLX отдаёт модели вашего Mac агенту termide, который берёт у него окно каждой модели, показывает prefill и переключает модели прямо в сессии

oMLX запускает модели на Apple Silicon через MLX из приложения в строке меню: несколько моделей на одном сервере, загружаемые по мере запросов, и кэш промптов, который из памяти переходит на SSD и переживает перезапуск. Он говорит на OpenAI chat API, и агентная панель termide умеет на нём работать.

Как и llama.cpp, сервер своего агента не приносит: агента ведёт termide — его системный промпт, инструменты, проверки разрешений и сжатие контекста, — а oMLX отвечает на обращения к модели. Этот гайд — о том, что свойственно именно oMLX; общее для любого локального сервера описано в гайде по llama.cpp.

Что понадобится

  • Mac на Apple Silicon с macOS 15 или новее.
  • oMLX: приложение со страницы релизов или Homebrew (brew tap jundot/omlx https://github.com/jundot/omlx и brew install jundot/omlx/omlx, затем omlx start). Сервер слушает порт 8000.
  • Модель, которая вызывает инструменты, скачанная из панели администрирования (http://localhost:8000/admin) или положенная в его каталог моделей (~/.omlx/models): Qwen, GLM, Gemma и подобные. Агент работает только через вызовы инструментов.

Добавьте подключение

Откройте настройки клавишами Alt+P и перейдите на вкладку AI. Первым идёт раздел Подключения. + Добавить подключение добавляет OpenAI-совместимое; на его странице:

  • Базовый URL: http://127.0.0.1:8000/v1.
  • Модель: termide спрашивает у oMLX его модели, и тот показывает все из своего каталога, загруженные и нет.
  • Контекстное окно (запасное): оставьте пустым. oMLX сообщает окно каждой модели, и панель берёт его при запуске и при каждой смене модели, так что Context: совпадает с тем, что разрешает сервер.
  • Запросов одновременно: оставьте без ограничения. oMLX сам объединяет запросы в пакеты, по умолчанию до восьми за раз; задавайте поле, только чтобы termide не превышал меньшее значение --max-concurrent-requests.
  • Ключ API: основной ключ API oMLX, если вы не отключили его проверку для localhost. Ключ уходит в зашифрованное хранилище termide, а не в config.toml.
  • Использовать по умолчанию: отметьте, и новые агентные панели будут открываться на oMLX.
termide
Настройки, AI › omlx: Provider OpenAI compatible, Base URL http://127.0.0.1:8000/v1, открыт список моделей: Авто — на выбор провайдера, GLM-5.2-Air-oQ4, Qwen3.8-27B-oQ6, Qwen3.8-Flash-Next-oQ4e-mtp (текущая), gemma-4-31b-it-oQ4 и ввод id вручную
В списке моделей — все модели сервера oMLX; окно каждой тоже сообщает сервер.

То же самое в config.toml:

[ai]
connection = "omlx"                  # подключение для новых сессий

[ai.connections.omlx]
provider = "openai_compatible"
base_url = "http://127.0.0.1:8000/v1"
model = "Qwen3.8-Flash-Next-oQ4e-mtp" # пусто: первая модель из списка
# api_key_env = "OMLX_API_KEY"       # переменная с его основным ключом API

oMLX отдаёт и Anthropic Messages API, но брать стоит OpenAI-совместимое подключение: именно там termide читает окна моделей и прогресс prefill.

Первый запрос

Откройте агентную панель клавишами Alt+A. До первого токена панель показывает prefill: oMLX 0.7.1 и новее сообщают прогресс обработки промпта так же, как llama.cpp, и панель рисует полоску с числом прочитанных токенов и скоростью по тем, что не взяты из кэша. Для более старого oMLX вместо неё — прошедшее время и оценка размера промпта.

termide
Запрос на oMLX: окно в строке статуса, 262k, — то, что сервер сообщил для модели.

Чип Рассуждения включает и выключает размышления модели через enable_thinking шаблона чата, а в пределах одного запроса termide возвращает модели её рассуждения на каждом шаге — как на любом локальном сервере.

Несколько моделей, один сервер

Чип Модель в строке статуса показывает модели сервера и переключает между ними сессию; переключение действует со следующего запроса и остаётся за сессией. oMLX загружает модель, когда её впервые просят, поэтому такой запрос включает и время загрузки, а при нехватке памяти выгружает ту, к которой дольше всего не обращались; модели, которыми пользуетесь каждый день, закрепите в его панели, чтобы они оставались загруженными.

В списке видно ещё две особенности oMLX:

  • Псевдонимы. Модель, которой в панели дан псевдоним, показывается под ним.
  • Профили. Профиль, открытый как модель, показывается как <модель>:<профиль>, например qwen3-8b:thinking: та же загруженная модель с настройками профиля, которую можно выбрать для сессии из чипа.

Кэш промптов oMLX держит в памяти, а сверх неё — на SSD, даже после перезапуска сервера. Поэтому открытая заново длинная сессия читает большую часть промпта из кэша, а не обрабатывает его снова: в строке статуса это видно как большой ↻ рядом с маленьким ↑.

Маленькая модель для проверок

В режиме auto ревьюер решает то, на что иначе появилась бы карточка разрешения: ещё один запрос перед каждым таким действием. По умолчанию он работает на модели самой сессии. С oMLX его может взять меньшая модель того же сервера, без второго сервера:

[ai.auto_reviewer]
connection = "omlx"   # пусто: подключение сессии
model = "gemma"       # его модель: по id или его части

Модель ревьюера остаётся загруженной рядом с моделью сессии, так что оставьте в памяти место для обеих.

Остальное — от termide

Всё прочее работает как на любом локальном сервере, и гайд по llama.cpp проходит это по порядку: собственный системный промпт и инструменты termide, сжатие контекста у границы окна, режимы разрешений, что делает панель, когда сервер недоступен или контекст заполнен, и как сведения о сессии считают токены.

Полезно знать

  • Сервер может быть на другом Mac. Слушать за пределами loopback без основного ключа API oMLX отказывается: задайте ключ, запустите его с --host 0.0.0.0 и укажите тот Mac в Базовом URL.
  • oMLX — лишь пример. То же OpenAI-совместимое подключение работает с llama.cpp, vLLM, Ollama, LM Studio или hosted API вроде OpenAI и OpenRouter, а provider = "anthropic_compatible" — с Anthropic-совместимым.
  • termide песочницы не даёт. Его разрешения — это контроль, а не изоляция: разрешённое выполняется с вашими правами.
  • Другие подключения: Claude Code, Codex и Gemini CLI приносят своих агентов и подписки; подключение к oMLX — хорошее второе, на которое можно перевести сессию, когда у них кончился лимит.
  • Подробности — в руководстве по агенту.