Amvera LLM Inference¶

Общая доступность LLM планируется 15 июля 2025 года.

Мы предлагаем вам несколько больших языковых моделей в одном месте через наш публичный API.

Аутентификация¶

Чтобы использовать Amvera LLM Inference API, необходимо пройти аутентификацию:

Для этого в ЛК, нужно зайти в любую модель в разделе LLM, и скопировать токен доступа. Затем, при обращении к моделе, укажите токен доступа в заголовке X-Auth-Token в следующем формате: [X-Auth-Token: Bearer <access_token>]

API¶

Доступные модели¶

llama8b — модель с 8 миллиардами параметров, оптимизированная для эффективной обработки текста.
llama70b — модель с 70 миллиардами параметров, обеспечивающая более высокое качество генерации и обработки текста.

Конечная точка модели¶

Для отправки запросов к моделям используйте следующую конечную точку: POST /yandex-foundation-models

Эта конечная точка позволяет отправлять запросы к выбранной модели. В зависимости от ваших нужд, в теле запроса можно выбрать одну из доступных моделей (llama8b или llama70b).

Пример запроса/ответа:¶

Request:

{
  "model": "llama8b", 
  "messages": [
    {
      "role": "user",
      "text": "Hi, how are you?"
    }
  ]
}