Перейти к основному содержимому

Провайдеры

vLLM

vLLM может обслуживать модели с открытым исходным кодом (и некоторые пользовательские) через OpenAI-совместимый HTTP API. OpenClaw может подключиться к vLLM, используя API openai-completions. OpenClaw также может автоматически обнаруживать доступные модели из vLLM, когда вы соглашаетесь, установив VLLM_API_KEY (подходит любое значение, если ваш сервер не требует аутентификации) и не определяете явную запись models.providers.vllm.

Быстрый старт​

  1. Запустите vLLM с OpenAI-совместимым сервером.

Ваш базовый URL должен предоставлять конечные точки /v1 (например, /v1/models, /v1/chat/completions). vLLM обычно работает на:

  • http://127.0.0.1:8000/v1
  1. Согласитесь на обнаружение (любое значение подходит, если аутентификация не настроена):
export VLLM_API_KEY="vllm-local"
  1. Выберите модель (замените на один из ваших идентификаторов модели vLLM):
{
  agents: {
    defaults: {
      model: { primary: "vllm/your-model-id" },
    },
  },
}

Обнаружение моделей (неявный провайдер)​

Когда VLLM_API_KEY установлен (или существует профиль аутентификации) и вы не определяете models.providers.vllm, OpenClaw выполнит запрос:

  • GET http://127.0.0.1:8000/v1/models

…и преобразует возвращённые идентификаторы в записи моделей. Если вы явно зададите models.providers.vllm, автоматическое обнаружение пропускается, и вы должны определять модели вручную.

Явная конфигурация (ручные модели)​

Используйте явную конфигурацию, когда:

  • vLLM работает на другом хосте/порту.
  • Вы хотите зафиксировать значения contextWindow/maxTokens.
  • Ваш сервер требует настоящий ключ API (или вы хотите контролировать заголовки).
{
  models: {
    providers: {
      vllm: {
        baseUrl: "http://127.0.0.1:8000/v1",
        apiKey: "${VLLM_API_KEY}",
        api: "openai-completions",
        models: [
          {
            id: "your-model-id",
            name: "Локальная модель vLLM",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 128000,
            maxTokens: 8192,
          },
        ],
      },
    },
  },
}

Устранение неполадок​

  • Проверьте, доступен ли сервер:
curl http://127.0.0.1:8000/v1/models
  • Если запросы завершаются ошибками аутентификации, установите настоящий VLLM_API_KEY, соответствующий конфигурации вашего сервера, или настройте провайдера явно в models.providers.vllm.

Venice AIXiaomi MiMo