Portkey

Portkey — это AI gateway и control layer для маршрутизации моделей, логирования, guardrails и стабильной работы LLM-приложений. Сервис добавлен как новый небольшой игрок или инфраструктурный слой для AI-агентов. Категория: «LLM observability и инфраструктура». Основные функции: AI gateway; model routing; retries; fallbacks; guardrails; logs; prompt management. Примеры использования: поставить fallback между моделями, ограничить рискованные ответы, видеть usage и ошибки. Практическая ценность таких инструментов в том, что они закрывают production-слой вокруг моделей: подтверждения человека, маршрутизацию между LLM, журналирование, контроль стоимости, качество промптов, guardrails и наблюдаемость. Без этого агент может хорошо отвечать в демо, но плохо работать в реальном продукте: непонятно, сколько он стоит, почему ошибся, какие данные использовал и кто подтвердил опасное действие. Перед внедрением важно настроить роли, срок хранения логов, скрытие персональных данных, лимиты, ручной review и fallback-поведение. Лучший старт — подключить сервис к одному агенту, собрать логи, измерить стоимость и ошибки, затем решать, какие workflows можно отдавать агенту шире. Тогда Portkey становится практичной инфраструктурой, а не просто ещё одним AI-сервисом.