Как бенчмарк закрытой модели, у которой нету метода loglikelihood?

[chorus12]

Добрый день.
Хотим поскорить закрытые модели - шаблон для Anthropic не работает(нет метода loglikelihood и токенизатора).
В самом фреймворке, который вы используете, есть метод генерации для закрытых моделей generate_until (no logprobs). Это как-то надо прикручивать к текущему коду оценки MERA?

[achervyakov]

Добрый день!
В данный момент скоринг моделей из Anthropic невозможен на нашем бенчмарке. Также OpenAI ChatCompletions невозможны, так как данные модели не возвращают логиты для поданных в них токенов (#10 и #5 ). Часть задач бенчмарка требует логиты для поданных в модель токенов (не для токенов генерации), что не позволяет скорить некоторые модели, доступные по API.
Скоринг моделей от OpenAI, которые возвращают логиты (например, davinci-002), вы можете осуществить в ветке openai_completions.
Мы работаем над усовершенствованием системы скоринга и будем рады вашим идеям и pull requests!