Control & Trust·production

IAM.Router

Политико-ориентированная маршрутизация LLM-трафика по модели, провайдеру и периметру.

Landing Приложение API endpoint ↗

Ключевые возможности

  • OpenAI-совместимый inference gateway
  • Маршрутизация local, on-prem и external моделей
  • Квоты, fallback, аудит решения и provider health

Пошаговые инструкции

Сценарии

Начинайте с результата: откройте сценарий, подготовьте prerequisites, выполните шаги и проверьте признаки успеха.

01 Настроить маршрут по модели, провайдеру и периметруLogical model alias выбирает только разрешённые endpoints в заданном порядке.
Для кого
AI platform engineer
Результат
Logical model alias выбирает только разрешённые endpoints в заданном порядке.

Перед началом

  • Provider credentials в Secret
  • Проверенный model endpoint
  • Tenant route policy

Шаги

  1. Добавьте endpointВ Providers создайте endpoint, укажите protocol, model id, perimeter и health check.
  2. Создайте logical aliasВ Models свяжите alias с совместимыми endpoints и ограничениями контекста.
  3. Соберите policyЗадайте tenant, sensitivity, allowed perimeter, priority и бюджет.
  4. Проверьте в PlaygroundВыполните запрос с logical alias и убедитесь, что Decision показывает ожидаемый route.
Как проверить результат

Decision содержит ожидаемые tenant, policy, provider/model и perimeter.

Если не работает

При неожиданном маршруте проверьте порядок правил, sensitivity label и актуальный provider health.

02 Настроить fallback и retry без двойного биллингаВременная ошибка провайдера обрабатывается ограниченным retry или переходом на совместимый маршрут.
Для кого
SRE или AI platform engineer
Результат
Временная ошибка провайдера обрабатывается ограниченным retry или переходом на совместимый маршрут.

Перед началом

  • Не менее двух совместимых endpoints
  • Idempotency key в клиенте
  • Общий request deadline

Шаги

  1. Классифицируйте ошибкиРазрешите retry только для timeout, 429 и выбранных 5xx; 4xx policy errors не повторяйте.
  2. Задайте backoffУкажите максимум попыток, exponential backoff, jitter и долю общего deadline.
  3. Добавьте fallbackСледующий endpoint должен поддерживать тот же контракт, sensitivity и perimeter.
  4. Проведите отказоустойчивый тестВременно исключите основной endpoint и проверьте единственный billable result.
Как проверить результат

Audit показывает последовательность попыток, итоговый route и один charge record.

Если не работает

Бесконечные повторы означают, что deadline/idempotency не проходят через клиент и gateway.

Разделы приложения

Открыть подробное руководство

Для каждого экрана приложения подготовлена отдельная страница с кнопками, безопасными примерами значений, CLI/API и восстановлением по кодам ошибок.

Открыть подробное руководство →

Роль в экосистеме

IAM.Router отделяет приложение от конкретного LLM-провайдера. Клиент отправляет OpenAI-совместимый запрос, а Router применяет tenant policy, выбирает модель и периметр, контролирует квоту и фиксирует решение.

Основной сценарий

POST /v1/chat/completions
Authorization: Bearer <scoped-key>
Content-Type: application/json

{"model":"policy/default","messages":[{"role":"user","content":"..."}]}

Запрошенное имя модели может быть logical alias. Итоговый провайдер определяется policy, health, требованиями к данным и доступным бюджетом.

Маршрутизация

Router поддерживает несколько классов исполнения:

  • local/on-prem — данные не покидают согласованный контур;
  • dedicated — выделенный endpoint для tenant или проекта;
  • external — разрешённый облачный провайдер;
  • fallback — следующий совместимый маршрут после retriable failure.

Retry выполняется только для безопасных повторов и ограничивается deadline. Provider error не должен бесконечно размножать один запрос или обходить policy.

Интеграции

IAM.Secure может инспектировать prompt/response до и после маршрута. IAM.Identity задаёт tenant scope. IAM.Bot, Marketplace и другие приложения используют Router как транспорт, сохраняя собственный domain state независимо от результата LLM-вызова.

Квоты и наблюдаемость

Отслеживаются tenant/model/provider, tokens, latency, route decision и error class. Для hosted-агентов бюджет резервируется до provider call и фиксируется после billable результата. Health провайдера — сигнал выбора маршрута, а не замена явной политике.

Безопасность

  • inference keys имеют tenant scope;
  • административные маршруты отделены от /v1/*;
  • секреты провайдеров не возвращаются клиенту;
  • DLP/route outcome проходит в audit trail;
  • production policy не ослабляется ради fallback.

Перед production

Проверьте список моделей, реальный completion для каждого разрешённого провайдера, timeout/retry, budget limits, поведение при 429/5xx и сохранность correlation id через весь маршрут.