ragas предоставляет фреймворк для оценки пайплайнов Retrieval Augmented Generation (RAG). Он предлагает набор метрик на основе последних исследований для оценки производительности текста, генерируемого с помощью RAG, и интегрируется с CI/CD для непрерывного мониторинга производительности.
Простая установка: Установите ragas с помощью простой команды pip или клонируйте репозиторий с GitHub
Разнообразные метрики: Оценивайте сгенерированный текст с использованием различных метрик, включая расстояние Левенштейна, ROUGE-N, ROUGE-L, BLEU, Bert Score и Entailment Score
Оценка набора данных: Оценивайте пайплайны RAG на наборах данных, сравнивая сгенерированный текст с данными истинного значения
Получение информации о производительности: Получайте информацию о производительности пайплайнов RAG и оценивайте фактическую согласованность и сходство между сгенерированным текстом и данными истинного значения
